Ответ 1
В Ruby trunk проблема теперь была принята как ошибка. Надеюсь, это будет исправлено.
Обновление: в Ruby trunk размещены два патча.
Многосимвольный символ мешает символу конца строки в регулярном выражении?
С помощью этого регулярного выражения:
regex1 = /\z/
соответствуют следующие строки:
"hello" =~ regex1 # => 5
"こんにちは" =~ regex1 # => 5
но с этими регулярными выражениями:
regex2 = /#$/?\z/
regex3 = /\n?\z/
они показывают разницу:
"hello" =~ regex2 # => 5
"hello" =~ regex3 # => 5
"こんにちは" =~ regex2 # => nil
"こんにちは" =~ regex3 # => nil
Что мешает? Строковая кодировка - UTF-8, а ОС - Linux (т.е. $/ - "\n"). Являются ли мультибайтные символы мешающими $/? Как?
Ответы
Ответ 2
Проблема, о которой вы сообщили, определенно является ошибкой Regexp of RUBY_VERSION #=> "2.0.0", но уже существующей в предыдущих версиях 1.9, когда кодировка разрешает многобайтовые символы, такие как __ENCODING__ #=> #<Encoding:UTF-8>
Не зависит от Linux, возможно воспроизвести одно и то же поведение в OSX и Windows.
В то время как ошибка 8210 будет исправлена, мы можем помочь, изолируя и понимая случаи, в которых возникает проблема. Это также может быть полезно для любого способа обхода, если применимо к конкретным случаям.
Я понимаю, что проблема возникает, когда:
- поиск чего-то до конца строки
\z. - и последний символ строки многобайтовый.
- и перед поиском используется ноль или один шаблон
? - но число ноль или один char искалось меньше, чем число байтов последнего символа.
Ошибка может быть вызвана недоразумениями между количеством байтов и числом символов, которое фактически проверяется механизмом регулярных выражений.
Несколько примеров могут помочь:
ИСПЫТАНИЕ 1: где последний символ: "は" - 3 байта:
s = "んにちは"
тестирование нуля или одного из [3 байта] до конца строки:
s =~ /ん?\z/u #=> 4" # OK it works 3 == 3
, когда мы пытаемся использовать ç [2 байта]
s =~ /ç?\z/u #=> nil # KO: BUG when 3 > 2
s =~ /x?ç?\z/u #=> 4 # OK it works 3 == ( 1+2 )
при тестировании нуля или одного из \n [1 байт]
s =~ /\n?\z/u #=> nil" # KO: BUG when 3 > 1
s =~ /\n?\n?\z/u #=> nil" # KO: BUG when 3 > 2
s =~ /\n?\n?\n?\z/u #=> 4" # OK it works 3 == ( 1+1+1)
По результатам TEST1 мы можем утверждать: если последний многобайтовый символ строки равен 3 байтам, то тест "zero или one before" работает только тогда, когда мы тестируем как минимум 3 байта (не 3 символа) до.
ТЕСТ 2: где последний символ "ç" равен 2 байтам
s = "in French there is the ç"
проверить нуль или один из ん [3 байта] "
s =~ /ん?\z/u #=> 24 # OK 2 <= 3
проверить нуль или один из é [2 байта]
s =~ /é?\z/u #=> 24 # OK 2 == 2
s =~ /x?é?\z/u #=> 24 # OK 2 < (2+1)
тест для нуля или один из \n [1 байт]
s =~ /\n?\z/u #=> nil # KO 2 > 1 ( the BUG occurs )
s =~ /\n?\n?\z/u #=> 24 # OK 2 == (1+1)
s =~ /\n?\n?\n?\z/u #=> 24 # OK 2 < (1+1+1)
По результатам TEST2 мы можем утверждать: если последний многобайтовый символ строки равен 2 байтам, то тест "нуль или один до" работает только при проверке не менее 2 байтов (не 2 символа) до.
Если многобайтовый символ не находится в конце строки, я нашел, что он работает правильно.