Как получить IP-адрес из http-запроса с помощью библиотеки запросов?

Я делаю HTTP-запросы, используя библиотеку запросов в python, но мне нужен IP-адрес с сервера, который ответил на HTTP-запрос, и я пытаюсь избежать двух вызовов (и, возможно, с другим IP-адресом из который ответил на запрос.

Это возможно? Предоставляет ли какая-либо библиотека http python мне это?

ps: Мне также нужно сделать HTTPS-запросы и использовать аутентифицированный прокси.

Обновление 1:

Пример:

import requests

proxies = {
  "http": "http://user:[email protected]:3128",
  "https": "http://user:[email protected]:1080",
}

response = requests.get("http://example.org", proxies=proxies)
response.ip # This doesn't exist, this is just an what I would like to do

то я хотел бы знать, к каким запросам IP-адреса подключен метод или свойство в ответе. В других библиотеках я смог сделать это, найдя объект sock и используя метод getpeername().

Ответы

Ответ 1

Оказывается, что это скорее связано.

Здесь используется обезьяна-патч при использовании requests версии 1.2.3:

Обертка метода _make_request на HTTPConnectionPool для сохранения ответа от socket.getpeername() в экземпляре HTTPResponse.

Для меня на python 2.7.3 этот экземпляр доступен на response.raw._original_response.

from requests.packages.urllib3.connectionpool import HTTPConnectionPool

def _make_request(self,conn,method,url,**kwargs):
    response = self._old_make_request(conn,method,url,**kwargs)
    sock = getattr(conn,'sock',False)
    if sock:
        setattr(response,'peer',sock.getpeername())
    else:
        setattr(response,'peer',None)
    return response

HTTPConnectionPool._old_make_request = HTTPConnectionPool._make_request
HTTPConnectionPool._make_request = _make_request

import requests

r = requests.get('http://www.google.com')
print r.raw._original_response.peer

Урожайность:

('2a00:1450:4009:809::1017', 80, 0, 0)

Ah, если есть прокси-сервер или ответ разложен, HTTPConnectionPool._make_request не вызывается.

Итак, здесь исправлена ​​новая версия httplib.getresponse:

import httplib

def getresponse(self,*args,**kwargs):
    response = self._old_getresponse(*args,**kwargs)
    if self.sock:
        response.peer = self.sock.getpeername()
    else:
        response.peer = None
    return response


httplib.HTTPConnection._old_getresponse = httplib.HTTPConnection.getresponse
httplib.HTTPConnection.getresponse = getresponse

import requests

def check_peer(resp):
    orig_resp = resp.raw._original_response
    if hasattr(orig_resp,'peer'):
        return getattr(orig_resp,'peer')

Продолжительность:

>>> r1 = requests.get('http://www.google.com')
>>> check_peer(r1)
('2a00:1450:4009:808::101f', 80, 0, 0)
>>> r2 = requests.get('https://www.google.com')
>>> check_peer(r2)
('2a00:1450:4009:808::101f', 443, 0, 0)
>>> r3 = requests.get('http://wheezyweb.readthedocs.org/en/latest/tutorial.html#what-you-ll-build')
>>> check_peer(r3)
('162.209.99.68', 80)

Также проверяется запуск с использованием прокси; адрес прокси.

Обновление 2016/01/19

est предлагает альтернативу, которая не нуждается в патче обезьяны:

rsp = requests.get('http://google.com', stream=True)
# grab the IP while you can, before you consume the body!!!!!!!!
print rsp.raw._fp.fp._sock.getpeername()
# consume the body, which calls the read(), after that fileno is no longer available.
print rsp.content

Обновление 2016/05/19

Из комментариев, копирующих здесь для видимости, Richard Kenneth Niescior предлагает следующее, что подтверждается работой с запросами 2.10.0 и Python 3.

rsp=requests.get(..., stream=True)
rsp.raw._connection.sock.getpeername()