Ruby `split ': неверная последовательность байтов в UTF-8 (ArgumentError)

Я пытаюсь заполнить объект фильма, но при разборе файла u.item я получаю эту ошибку:

`split ': неверная последовательность байтов в UTF-8 (ArgumentError)

File.open("Data/u.item", "r") do |infile|
            while line = infile.gets
                line = line.split("|")
            end
end

Ошибка возникает только при попытке разделить строки с фантазией международной пунктуации.

Здесь образец

543 | Misérables, Les (1995) | 01-Jan-1995 || http://us.imdb.com/M/title-exact? Mis% E9rables% 2C %20Les %20% 281995% 29 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0

Есть ли работа вокруг?

Ответы

Ответ 1

Мне пришлось принудительно кодировать каждую строку в iso-8859-1 (который является европейским набором символов)... http://en.wikipedia.org/wiki/ISO/IEC_8859-1

a=[]
IO.foreach("u.item") {|x| a << x}
m=[]
a.each_with_index {|line,i| x=line.force_encoding("iso-8859-1").split("|"); m[i]=x}

Ответ 2

Ruby несколько чувствителен к проблемам кодирования символов. Вы можете сделать несколько вещей, которые могут решить вашу проблему. Например:

  • Поместите комментарий кодировки вверху исходного файла.

    # encoding: utf-8

  • Явно кодировать вашу строку перед расщеплением.

    line = line.encode('UTF-8').split("|")

  • Замените недопустимые символы вместо повышения исключения Encoding:: InvalidByteSequenceError.

    line.encode('UTF-8', :invalid => :replace).split("|")

Дайте эти предложения выстрелу и обновите свой вопрос, если никто из них не работает для вас. Надеюсь, это поможет!