У меня есть модель ActiveRecord, Foo, которая имеет поле name. Я бы хотел, чтобы пользователи могли искать по имени, но я хотел бы, чтобы поиск игнорировал случай и любые акценты. Таким образом, я также сохраняю поле canonical_name, по которому нужно искать:
class Foo
validates_presence_of :name
before_validate :set_canonical_name
private
def set_canonical_name
self.canonical_name ||= canonicalize(self.name) if self.name
end
def canonicalize(x)
x.downcase. # something here
end
end
Мне нужно заполнить "что-то здесь", чтобы заменить акцентированные символы. Есть ли что-нибудь лучше, чем
x.downcase.gsub(/[àáâãäå]/,'a').gsub(/æ/,'ae').gsub(/ç/, 'c').gsub(/[èéêë]/,'e')....
И, если уж на то пошло, поскольку я не на Ruby 1.9, я не могу поместить эти символы Unicode в свой код. Фактические регулярные выражения будут выглядеть намного уродливее.
Rails уже встроен для нормализации, вам просто нужно использовать это, чтобы нормализовать вашу строку, чтобы сформировать KD, а затем удалить другие символы (например, акцентные знаки) следующим образом:
>> "àáâãäå".mb_chars.normalize(:kd).gsub(/[^\x00-\x7F]/n,'').downcase.to_s
=> "aaaaaa"
ActiveSupport::Inflector.transliterate (требуется Rails 2.2.1+ и Ruby 1.9 или 1.8.7)
пример:
>> ActiveSupport::Inflector.transliterate("àáâãäå").to_s
=> "aaaaaa"
Еще лучше использовать I18n:
1.9.3-p392 :001 > require "i18n"
=> false
1.9.3-p392 :002 > I18n.transliterate("Olá Mundo!")
=> "Ola Mundo!"
Я пробовал много таких подходов, но они не достигли одного или нескольких из этих требований:
Было ли это:
# coding: utf-8
string.tr(
"ÀÁÂÃÄÅàáâãäåĀāĂ㥹ÇçĆćĈĉĊċČčÐðĎďĐđÈÉÊËèéêëĒēĔĕĖėĘęĚěĜĝĞğĠġĢģĤĥĦħÌÍÎÏìíîïĨĩĪīĬĭĮįİıĴĵĶķĸĹĺĻļĽľĿŀŁłÑñŃńŅņŇňʼnŊŋÒÓÔÕÖØòóôõöøŌōŎŏŐőŔŕŖŗŘřŚśŜŝŞşŠšſŢţŤťŦŧÙÚÛÜùúûüŨũŪūŬŭŮůŰűŲųŴŵÝýÿŶŷŸŹźŻżŽž",
"AAAAAAaaaaaaAaAaAaCcCcCcCcCcDdDdDdEEEEeeeeEeEeEeEeEeGgGgGgGgHhHhIIIIiiiiIiIiIiIiIiJjKkkLlLlLlLlLlNnNnNnNnnNnOOOOOOooooooOoOoOoRrRrRrSsSsSsSssTtTtTtUUUUuuuuUuUuUuUuUuUuWwYyyYyYZzZzZz"
)
Вам нужно немного изменить список символов, чтобы уважать символ "-", но это легкая работа.
Мой ответ: метод String # параметризации:
"Le cœur de la crémiére".parameterize
=> "le-coeur-de-la-cremiere"
Для не-Rails программ:
Установите activesupport: gem install activesupport затем:
require 'active_support/inflector'
"a&]'s--3\014\xC2àáâã3D".parameterize
# => "a-s-3-3d"
Я думаю, что вы, может быть, действительно не можете пойти по этому пути. Если вы развиваетесь на рынке, у которого есть такие письма, ваши пользователи, вероятно, подумают, что вы своего рода... пип. Потому что "å" даже не приближается к "a" в каком-либо смысле для пользователя. Возьмите другую дорогу и прочитайте о поиске по-не-ascii. Это всего лишь один из тех случаев, когда кто-то изобрел юникод и сопоставление.
Очень поздний PS:
http://www.w3.org/International/wiki/Case_folding http://www.w3.org/TR/charmod-norm/#sec-WhyNormalization
Кроме того, у меня нет никакого способа, чтобы ссылка на сопоставление переходила на страницу msdn, но я оставляю ее там. Это должно было быть http://www.unicode.org/reports/tr10/
Разложите строку и удалите из нее неразрывные метки.
irb -ractive_support/all
> "àáâãäå".mb_chars.normalize(:kd).gsub(/\p{Mn}/, '')
aaaaaa
Вам также может понадобиться это, если используется в файле.rb.
# coding: utf-8
часть normalize(:kd) здесь разделяет диакритические знаки, где это возможно (например, одиночный символ "n с тильдой" разделяется на n, за которым следует объединенный диакритический символ тильды), а затем часть gsub удаляет все диакритические знаки.
Предполагается, что вы используете Rails.
"anything".parameterize.underscore.humanize.downcase
Учитывая ваши требования, это, вероятно, то, что я бы сделал... Я думаю, что это аккуратно, просто и будет оставаться в курсе будущих версий Rails и Ruby.
Обновление: dgilperez указал, что parameterize принимает аргумент разделителя, поэтому "anything".parameterize(" ") (устаревший) или "anything".parameterize(separator: " ") короче и чище.
Преобразуйте текст в форму нормализации D, удалите все кодовые страницы с меткой un-интервала unicode (Mn) и преобразуйте ее обратно в форму нормализации C. Это разделит все диакритики, и ваша проблема будет уменьшена до поиска без учета регистра.
См. http://www.siao2.com/2005/02/19/376617.aspx и http://www.siao2.com/2007/05/14/2629747.aspx для деталей.
Ключ состоит в использовании двух столбцов в вашей базе данных: canonical_text и original_text. Используйте original_text для отображения и canonical_text для поиска. Таким образом, если пользователь ищет "Visual Cafe", она видит результат "Visual Café". Если она действительно хочет другой элемент под названием "Visual Cafe", его можно сохранить отдельно.
Чтобы получить символы canonical_text в исходном файле Ruby 1.8, сделайте следующее:
register_replacement([0x008A].pack('U'), 'S')
Вероятно, вам нужно разделить Unicode ( "NFD" ). После разложения строки просто отфильтруйте что-либо не в [A-Za-z]. æ будет разлагаться на "ae", ã на "a" (приблизительно - диакритический станет отдельным символом), поэтому фильтрация оставляет разумное приближение.
Iconv:
http://groups.google.com/group/ruby-talk-google/browse_frm/thread/8064dcac15d688ce?
=============
модуль perl, который я не могу понять:
http://www.ahinea.com/en/tech/accented-translate.html
============
грубая сила (там много жужжащих тварей!:
http://projects.jkraemer.net/acts_as_ferret/wiki#UTF-8support
Для тех, кто читает это, желая удалить все символы не-ascii этот мог бы быть полезен, я успешно использовал первый пример.
У меня были проблемы с получением foo.mb_chars.normalize(: kd).gsub(/[^\x00-\x7F]/n, ''). Решение downcase.to_s для работы. Я не использую Rails, и я столкнулся с некоторыми конфликтами с моими версиями activivesupport/ruby, которые я не мог получить в нижней части.
Использование драгоценного камня ruby-unf кажется хорошей заменой:
require 'unf'
foo.to_nfd.gsub(/[^\x00-\x7F]/n,'').downcase
Насколько я могу сказать, это делает то же самое, что и .mb_chars.normalize(: kd). Это верно? Спасибо!
Если вы используете PostgreSQL => 9.4 в качестве адаптера БД, возможно, вы могли бы добавить в миграцию расширение "unaccent", которое, я думаю, делает то, что вы хотите, например, так:
def self.up
enable_extension "unaccent" # No falla si ya existe
end
Для тестирования в консоли:
2.3.1 :045 > ActiveRecord::Base.connection.execute("SELECT unaccent('unaccent', 'àáâãäåÁÄ')").first
=> {"unaccent"=>"aaaaaaAA"}
Обратите внимание, что до сих пор чувствительны к регистру.
Затем, возможно, используйте его в области видимости, например:
scope :with_canonical_name, -> (name) {
where("unaccent(foos.name) iLIKE unaccent('#{name}')")
}
Оператор iLIKE делает регистр поиска нечувствительным. Существует другой подход, использующий тип данных citext. Вот обсуждение этих двух подходов. Также обратите внимание на то, что использование функции PosgreSQL lower() не рекомендуется.
Это сэкономит вам некоторое пространство БД, поскольку вам больше не потребуется поле cannonical_name и, возможно, сделает вашу модель проще, за счет некоторой дополнительной обработки в каждом запросе, в размере, зависящем от того, используете ли вы iLIKE или citext, и ваш набор данных.
Если вы используете MySQL, возможно, вы можете использовать это простое решение, но я не проверял его.
lol.. я просто попробовал это.. и он работает.. я все еще не совсем уверен, почему.. но когда я использую эти 4 строки кода:
он автоматически удаляет любой акцент с именами файлов, которые я пытался удалить (акцент с именами файлов и их переименование) надеюсь, что это помогло:)