Как работать с строкой unicode в URL-адресе в python3?
# -*- coding: utf-8 -*-
# Python3
import urllib
import urllib.request as url_req
opener = url_req.build_opener()
url='http://zh.wikipedia.org/wiki/'+"毛泽东"
opener.open(url).read()
# opener.open(url.encode("utf-8")).read()
# # doesn't work either
Когда я запускаю его, он жалуется, что:
UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-12: ordinal not in range(128)
Но я не могу использовать .encode()
, поскольку он будет жаловаться:
Traceback (most recent call last):
File "t.py", line 8, in <module>
opener.open(url.encode("utf-8")).read()
File "/usr/local/Cellar/python3/3.2.2/lib/python3.2/urllib/request.py", line 360, in open
req.timeout = timeout
AttributeError: 'bytes' object has no attribute 'timeout'
Кто-нибудь знает, как с этим бороться?
Ответы
Ответ 1
Вы можете использовать urllib.parse.quote() для кодирования раздела пути URL.
#!/usr/bin/env python3
from urllib.parse import quote
from urllib.request import urlopen
url = 'http://zh.wikipedia.org/wiki/' + quote("毛泽东")
content = urlopen(url).read()
Ответ 2
Фантастическая библиотека requests делает это для вас из коробки:
>>> url='http://zh.wikipedia.org/wiki/'+"毛泽东"
>>> import requests
>>> r = requests.get(url)
>>> len(r.content)
818747
Ответ 3
Вы не можете использовать произвольные строки unicode как часть URL-адреса. URL должен быть правильно
закодирован. Подробнее см. Здесь:
http://www.w3schools.com/tags/ref_urlencode.asp
В частности, вы хотите использовать метод urllib.quote() или urllib.quote_plus()
API Python для правильного цитирования вашего URL-адреса.
http://docs.python.org/library/urllib.html