Ошибка кодирования Unicode Beautiful Soup

Я пытаюсь использовать следующий код с определенным HTML файлом

from BeautifulSoup import BeautifulSoup
import re
import codecs
import sys
f = open('test1.html')
html = f.read()
soup = BeautifulSoup(html)
body = soup.body.contents
para = soup.findAll('p')
print str(para).encode('utf-8')

Я получаю следующую ошибку:

UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 9: ordinal not in range(128)

Как мне отладить это?

Я не получаю никаких ошибок при удалении вызова для функции печати. ​​

Ответы

Ответ 1

str(para) builtin пытается использовать кодировку по умолчанию (ascii) для юникода в para. Это делается до вызова encode():

>>> s=u'123\u2019'
>>> str(s)
Traceback (most recent call last):
  File "<interactive input>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 3: ordinal not in range(128)
>>> s.encode("utf-8")
'123\xe2\x80\x99'
>>>

Попробуйте кодировать para напрямую, возможно, применив encode("utf-8") к каждому элементу списка.