UnicodeDecodeError, недопустимый байт продолжения

Почему данный элемент не работает? и почему это удается с "латинским-1" кодеком?

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

приводит к:

 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:\Python27\lib\encodings\utf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte

Ответы

Ответ 1

В двоичном формате 0xE9 выглядит как 1110 1001. Если вы читаете о UTF-8 в Википедии, вы увидите, что за таким байтом должны следовать две формы 10xx xxxx. Итак, например:

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

Но это просто механическая причина исключения. В этом случае у вас есть строка, которая почти наверняка закодирована в латинском 1. Вы можете видеть, как выглядят разные UTF-8 и латинские 1:

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

(Обратите внимание: здесь я использую представление Python 2 и 3. Ввод действителен в любой версии Python, но ваш интерпретатор Python вряд ли фактически отобразит как строки unicode, так и байтовые строки таким образом.)

Ответ 2

У меня была такая же ошибка, когда я попытался открыть файл csv с помощью метода pandas read_csv.

Решение изменило кодировку на "latin-1":

pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')

Ответ 3

Недействительно UTF-8. Этот символ является e-острым символом в ISO-Latin1, поэтому он успешно работает с этим набором кодов.

Если вы не знаете набор кодов, в который вы получаете строки, у вас проблемы. Было бы лучше, если бы один кодовый набор (надеюсь, UTF-8) был выбран для вашего протокола/приложения, а затем вы просто отклонили те, которые не декодировались.

Если вы не можете этого сделать, вам понадобится эвристика.

Ответ 4

Поскольку UTF-8 многобайт, и нет char, соответствующего вашей комбинации \xe9 плюс следующее пространство.

Зачем ему удастся выполнить оба utf-8 и latin-1?

Здесь, как то же предложение должно быть в utf-8:

>>> o.decode('latin-1').encode("utf-8")
'a test of \xc3\xa9 char'

Ответ 5

Если эта ошибка возникает при манипулировании файлом, который был только что открыт, проверьте, открыли ли вы его в режиме 'rb'

Ответ 6

Это случилось и со мной, когда я читал текст, содержащий иврит, из файла .txt.

Я нажал: file → save as и я сохранил этот файл в UTF-8

Ответ 7

В этом случае я попытался выполнить .py, который активен путь /file.sql.

Мое решение состояло в том, чтобы изменить кодификацию файла .sql на "UTF-8 без спецификации", и это работает!

Вы можете сделать это с Notepad++.

Я оставлю часть моего кода.

/Код/

con = psycopg2.connect(host = sys.argv [1], port = sys.argv [2], dbname = sys.argv [3], user = sys.argv [4], пароль = sys.argv [5] )

cursor = con.cursor() sqlfile = open (путь, 'r')