Как написать веб-прокси в Python

Я пытаюсь написать веб-прокси в python. Цель состоит в том, чтобы посетить URL-адрес, например: http://proxyurl/http://anothersite.com/ и посмотреть содержимое http://anothersite.com, как обычно. Я получил прилично далеко, злоупотребляя библиотекой запросов, но на самом деле это не намеренное использование структуры запросов. Ранее я писал прокси с twisted, но я не уверен, как связать это с тем, что я пытаюсь сделать. Здесь, где я до сих пор...

import os
import urlparse

import requests

import tornado.ioloop
import tornado.web
from tornado import template

ROOT = os.path.dirname(os.path.abspath(__file__))
path = lambda *a: os.path.join(ROOT, *a)

loader = template.Loader(path(ROOT, 'templates'))


class ProxyHandler(tornado.web.RequestHandler):
    def get(self, slug):
        if slug.startswith("http://") or slug.startswith("https://"):
            if self.get_argument("start", None) == "true":
                parsed = urlparse.urlparse(slug)
                self.set_cookie("scheme", value=parsed.scheme)
                self.set_cookie("netloc", value=parsed.netloc)
                self.set_cookie("urlpath", value=parsed.path)
            #external resource
            else:
                response = requests.get(slug)
                headers = response.headers
                if 'content-type' in headers:
                    self.set_header('Content-type', headers['content-type'])
                if 'length' in headers:
                    self.set_header('length', headers['length'])
                for block in response.iter_content(1024):
                    self.write(block)
                self.finish()
                return
        else:
            #absolute
            if slug.startswith('/'):
                slug = "{scheme}://{netloc}{original_slug}".format(
                    scheme=self.get_cookie('scheme'),
                    netloc=self.get_cookie('netloc'),
                    original_slug=slug,
                )
            #relative
            else:
                slug = "{scheme}://{netloc}{path}{original_slug}".format(
                    scheme=self.get_cookie('scheme'),
                    netloc=self.get_cookie('netloc'),
                    path=self.get_cookie('urlpath'),
                    original_slug=slug,
                )
        response = requests.get(slug)
        #get the headers
        headers = response.headers
        #get doctype
        doctype = None
        if '<!doctype' in response.content.lower()[:9]:
            doctype = response.content[:response.content.find('>')+1]
        if 'content-type' in headers:
           self.set_header('Content-type', headers['content-type'])
        if 'length' in headers:
            self.set_header('length', headers['length'])
        self.write(response.content)


application = tornado.web.Application([
    (r"/(.+)", ProxyHandler),
])

if __name__ == "__main__":
    application.listen(8888)
    tornado.ioloop.IOLoop.instance().start()

Просто заметьте, я установил cookie для сохранения схемы, netloc и urlpath, если там start = true в querystring. Таким образом, любая относительная или абсолютная ссылка, которая затем попадает в прокси-сервер, использует этот файл cookie для разрешения полного URL-адреса.

С помощью этого кода, если вы перейдете к http://localhost:8888/http://espn.com/?start=true, вы увидите содержимое ESPN. Однако на следующем сайте он вообще не работает: http://www.bottegaveneta.com/us/shop/. Мой вопрос: какой лучший способ сделать это? Является ли текущий способ, которым я реализую эту уверенность, или есть какие-то ужасные подводные камни для этого? Если это правильно, почему некоторые сайты, как я указал, не работают вообще?

Спасибо за любую помощь.

Ответы

Ответ 1

Недавно я написал аналогичное веб-приложение. Заметьте, что так я и сделал. Я не говорю, что вы должны это делать так. Это некоторые из подводных камней, с которыми я столкнулся:

Изменение значений атрибутов относительно абсолютного

Существует гораздо более активное участие, чем просто выбор страницы и предоставление ее клиенту. Много раз вы не можете проксировать веб-страницу без каких-либо ошибок.

Почему некоторые сайты, как я указал, не работают вообще?

Многие веб-страницы полагаются на относительные пути к ресурсам, чтобы отображать веб-страницу в хорошо отформатированном виде. Например, этот тег изображения:

<img src="/header.png" />

В результате клиент выполнит запрос:

http://proxyurl/header.png

Что не получается. Значение src 'должно быть преобразовано в:

http://anothersite.com/header.png.

Итак, вам нужно проанализировать HTML-документ с чем-то вроде BeautifulSoup, перебрать все теги и проверьте наличие таких атрибутов, как:

'src', 'lowsrc', 'href'

И измените их значения соответственно, чтобы тег стал:

<img src="http://anothersite.com/header.png" />

Этот метод применяется ко многим тегам, а не только к изображению. a, script, ссылка, li и фрейм - несколько вас также должно измениться.

HTML-шениганы

Предыдущий метод должен получить вас далеко, но вы еще не закончили.

И

<style type="text/css" media="all">@import "/stylesheet.css?version=120215094129002";</style>

и

<div style="position:absolute;right:8px;background-image:url('/Portals/_default/Skins/BE/images/top_img.gif');height:200px;width:427px;background-repeat:no-repeat;background-position:right top;" >

- примеры кода, которые трудно достичь и изменить с помощью BeautifulSoup.

В первом примере есть css @Import для относительного uri. Второй относится к методу url() "из встроенного оператора CSS.

В моей ситуации я закончил писать ужасный код, чтобы вручную изменить эти значения. Вы можете использовать Regex для этого, но я не уверен.

Перенаправления

С помощью Python-Requests или Urllib2 вы можете легко выполнять переадресацию автоматически. Просто не забудьте сохранить новый (базовый) uri; вам понадобится это для "изменения значений атрибутов от абсолютной".

Вам также нужно иметь дело с "жестко закодированными" переадресациями. Например, этот:

<meta http-equiv="refresh" content="0;url=http://new-website.com/">

Требуется изменить на:

<meta http-equiv="refresh" content="0;url=http://proxyurl/http://new-website.com/">

Базовый тег

Базовый тег указывает базовый URL/цель для всех относительных URL-адресов в документе. Вероятно, вы захотите изменить значение.

Наконец-то сделано?

Неа. Некоторые веб-сайты в значительной степени полагаются на javascript, чтобы отображать их содержимое на экране. Эти сайты наиболее сложны для прокси. Я думал об использовании чего-то вроде PhantomJS или Ghost, чтобы получать и оценивать веб-страницы и представлять результат клиенту.

Возможно, мой справочник может помочь вам. Вы можете использовать его любым способом.

Ответ 3

Я думаю, вам не нужен ваш последний блок. Кажется, это работает для меня:

class ProxyHandler(tornado.web.RequestHandler):
    def get(self, slug):
        print 'get: ' + str(slug)

        if slug.startswith("http://") or slug.startswith("https://"):
            if self.get_argument("start", None) == "true":
                parsed = urlparse.urlparse(slug)
                self.set_cookie("scheme", value=parsed.scheme)
                self.set_cookie("netloc", value=parsed.netloc)
                self.set_cookie("urlpath", value=parsed.path)
            #external resource
            else:
                response = requests.get(slug)
                headers = response.headers
                if 'content-type' in headers:
                    self.set_header('Content-type', headers['content-type'])
                if 'length' in headers:
                    self.set_header('length', headers['length'])
                for block in response.iter_content(1024):
                    self.write(block)
                self.finish()
                return
        else:

            slug = "{scheme}://{netloc}/{original_slug}".format(
                scheme=self.get_cookie('scheme'),
                netloc=self.get_cookie('netloc'),
                original_slug=slug,
            )
            print self.get_cookie('scheme')
            print self.get_cookie('netloc')
            print self.get_cookie('urlpath')
            print slug
        response = requests.get(slug)
        #get the headers
        headers = response.headers
        #get doctype
        doctype = None
        if '<!doctype' in response.content.lower()[:9]:
            doctype = response.content[:response.content.find('>')+1]
        if 'content-type' in headers:
           self.set_header('Content-type', headers['content-type'])
        if 'length' in headers:
            self.set_header('length', headers['length'])
        self.write(response.content)

Ответ 4

Вы можете использовать модуль сокета в стандартной библиотеке, и если вы используете Linux epoll.

Здесь вы можете увидеть пример кода простого асинхронного сервера: https://github.com/aychedee/octopus/blob/master/octopus/server.py

Ответ 5

Видимо, я довольно поздно отвечаю на это, но наткнулся на него некоторое время назад. Я сам пишу что-то похожее на ваши требования.

Это скорее HTTP-повторитель, но первая из них - это сам прокси. Он еще не полностью завершен, и на данный момент я не читал его, но это список моих дел.

Я использовал mitmproxy для достижения этого. Возможно, это не самый элегантный фрагмент кода, и я использовал множество хаков здесь и там, чтобы добиться функциональности ретранслятора. Я знаю, что у mitmproxy по умолчанию есть способы легко получить репитер, но в моем случае было какое-то определенное требование, когда я не мог использовать те функции, которые предлагал mitmproxy.

Вы можете найти проект в https://github.com/c0n71nu3/python_repeater/ Репо все еще обновляется мной, когда и когда происходят какие-либо события.

Надеюсь, он сможет вам помочь.

Ответ 6

вы можете запросить модуль пользователя.

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

запросить документы