TypeError: объект типа "байты" не является сериализуемым JSON
Я только начал программировать на Python. Я хочу использовать скрап для создания бота, и это показало
TypeError: Объект типа 'bytes' не поддерживает сериализацию JSON при запуске проекта.
import json
import codecs
class W3SchoolPipeline(object):
def __init__(self):
self.file = codecs.open('w3school_data_utf8.json', 'wb', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item)) + '\n'
# print line
self.file.write(line.decode("unicode_escape"))
return item
from scrapy.spiders import Spider
from scrapy.selector import Selector
from w3school.items import W3schoolItem
class W3schoolSpider(Spider):
name = "w3school"
allowed_domains = ["w3school.com.cn"]
start_urls = [
"http://www.w3school.com.cn/xml/xml_syntax.asp"
]
def parse(self, response):
sel = Selector(response)
sites = sel.xpath('//div[@id="navsecond"]/div[@id="course"]/ul[1]/li')
items = []
for site in sites:
item = W3schoolItem()
title = site.xpath('a/text()').extract()
link = site.xpath('a/@href').extract()
desc = site.xpath('a/@title').extract()
item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8') for d in desc]
items.append(item)
return items
Traceback:
TypeError: Object of type 'bytes' is not JSON serializable
2017-06-23 01:41:15 [scrapy.core.scraper] ERROR: Error processing {'desc': [b'\x
e4\xbd\xbf\xe7\x94\xa8 XSLT \xe6\x98\xbe\xe7\xa4\xba XML'],
'link': [b'/xml/xml_xsl.asp'],
'title': [b'XML XSLT']}
Traceback (most recent call last):
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\site-p
ackages\twisted\internet\defer.py", line 653, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "D:\LZZZZB\w3school\w3school\pipelines.py", line 19, in process_item
line = json.dumps(dict(item)) + '\n'
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\_
_init__.py", line 231, in dumps
return _default_encoder.encode(obj)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\e
ncoder.py", line 199, in encode
chunks = self.iterencode(o, _one_shot=True)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\e
ncoder.py", line 257, in iterencode
return _iterencode(o, 0)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\
json\encoder.py", line 180, in default
o.__class__.__name__)
TypeError: Object of type 'bytes' is not JSON serializable
Ответы
Ответ 1
Вы сами создаете эти объекты bytes
:
item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8') for d in desc]
items.append(item)
Каждый из этих вызовов t.encode()
, l.encode()
и d.encode()
создает строку bytes
. Не делайте этого, оставьте это в формате JSON для их сериализации.
Далее вы делаете несколько других ошибок; Вы слишком много кодируете там, где в этом нет необходимости. Оставьте это модулю json
и стандартному объекту файла, возвращенному вызовом open()
для обработки кодирования.
Вам также не нужно конвертировать ваш список items
в словарь; это уже будет объект, который может быть закодирован JSON напрямую:
class W3SchoolPipeline(object):
def __init__(self):
self.file = open('w3school_data_utf8.json', 'w', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(item) + '\n'
self.file.write(line)
return item
Я предполагаю, что вы следовали учебнику, в котором предполагалось использование Python 2, вместо этого вы используете Python 3. Я настоятельно рекомендую вам найти другой учебник; он не только написан для устаревшей версии Python, но и, если он защищает line.decode('unicode_escape')
, он учит крайне вредным привычкам, которые приводят к трудным для отслеживания ошибкам. Я могу порекомендовать вам взглянуть на Think Python, 2-е издание, чтобы найти хорошую бесплатную книгу по изучению Python 3.
Ответ 2
Я думаю, что ответ, на который вы нуждаетесь, упоминается здесь. Наборы Python не являются сериализуемыми json
Не все типы данных могут быть сериализованы json. Думаю, маринованный модуль будет служить вашей цели.