Python urllib2 Основная проблема с Auth
Обновление: на основе комментария Ли я решил сконденсировать свой код на действительно простой script и запустить его из командной строки:
import urllib2
import sys
username = sys.argv[1]
password = sys.argv[2]
url = sys.argv[3]
print("calling %s with %s:%s\n" % (url, username, password))
passman = urllib2.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, url, username, password)
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPBasicAuthHandler(passman)))
req = urllib2.Request(url)
f = urllib2.urlopen(req)
data = f.read()
print(data)
К сожалению, он все равно не сгенерирует заголовок Authorization
(per Wireshark): (
У меня проблема с отправкой базового AUTH по urllib2. Я просмотрел эту статью и последовал примеру. Мой код:
passman = urllib2.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, "api.foursquare.com", username, password)
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPBasicAuthHandler(passman)))
req = urllib2.Request("http://api.foursquare.com/v1/user")
f = urllib2.urlopen(req)
data = f.read()
Я вижу следующее на Wire через wirehark:
GET /v1/user HTTP/1.1
Host: api.foursquare.com
Connection: close
Accept-Encoding: gzip
User-Agent: Python-urllib/2.5
Вы можете видеть, что авторизация не отправляется, а когда я отправляю запрос через curl: curl -u user:password http://api.foursquare.com/v1/user
GET /v1/user HTTP/1.1
Authorization: Basic =SNIP=
User-Agent: curl/7.19.4 (universal-apple-darwin10.0) libcurl/7.19.4 OpenSSL/0.9.8k zlib/1.2.3
Host: api.foursquare.com
Accept: */*
По какой-то причине мой код, похоже, не отправляет аутентификацию - кто-нибудь видит, что мне не хватает?
спасибо
-simon
Ответы
Ответ 1
Проблема может заключаться в том, что библиотеки Python, в соответствии с HTTP-стандартом, сначала отправляют неаутентифицированный запрос, а затем только если он ответил с повторением 401, являются правильными учетными данными. Если серверы Foursquare не выполняют "полностью стандартную проверку подлинности", тогда библиотеки не будут работать.
Попробуйте использовать заголовки для аутентификации:
import urllib2, base64
request = urllib2.Request("http://api.foursquare.com/v1/user")
base64string = base64.b64encode('%s:%s' % (username, password))
request.add_header("Authorization", "Basic %s" % base64string)
result = urllib2.urlopen(request)
Имела ту же проблему, что и вы, и нашла решение из этого потока: http://forums.shopify.com/categories/9/posts/27662
Ответ 2
(copy-paste/адаптировано из fooobar.com/questions/74125/...).
Сначала вы можете подклассы urllib2.BaseHandler
или urllib2.HTTPBasicAuthHandler
и реализовать http_request
, чтобы каждый запрос имел соответствующий заголовок Authorization
.
import urllib2
import base64
class PreemptiveBasicAuthHandler(urllib2.HTTPBasicAuthHandler):
'''Preemptive basic auth.
Instead of waiting for a 403 to then retry with the credentials,
send the credentials if the url is handled by the password manager.
Note: please use realm=None when calling add_password.'''
def http_request(self, req):
url = req.get_full_url()
realm = None
# this is very similar to the code from retry_http_basic_auth()
# but returns a request object.
user, pw = self.passwd.find_user_password(realm, url)
if pw:
raw = "%s:%s" % (user, pw)
auth = 'Basic %s' % base64.b64encode(raw).strip()
req.add_unredirected_header(self.auth_header, auth)
return req
https_request = http_request
Затем, если вы ленитесь, как я, установите обработчик глобально
api_url = "http://api.foursquare.com/"
api_username = "johndoe"
api_password = "some-cryptic-value"
auth_handler = PreemptiveBasicAuthHandler()
auth_handler.add_password(
realm=None, # default realm.
uri=api_url,
user=api_username,
passwd=api_password)
opener = urllib2.build_opener(auth_handler)
urllib2.install_opener(opener)
Ответ 3
Второй параметр должен быть URI, а не доменным именем. то есть.
passman = urllib2.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, "http://api.foursquare.com/", username, password)
Ответ 4
Вот что я использую для решения подобной проблемы, с которой я столкнулся при попытке получить доступ к API MailChimp. Это делает то же самое, только отформатированное лучше.
import urllib2
import base64
chimpConfig = {
"headers" : {
"Content-Type": "application/json",
"Authorization": "Basic " + base64.encodestring("hayden:MYSECRETAPIKEY").replace('\n', '')
},
"url": 'https://us12.api.mailchimp.com/3.0/'}
#perform authentication
datas = None
request = urllib2.Request(chimpConfig["url"], datas, chimpConfig["headers"])
result = urllib2.urlopen(request)
Ответ 5
Я бы предположил, что текущее решение заключается в использовании моего пакета urllib2_prior_auth, который решает это довольно красиво (я работаю над включение в стандартную библиотеку.