Ответ 1
Похоже, вы хотите использовать один из вариантов HTTP Range, которые доступны.
изменить Обновлена ссылка, чтобы указать на w3.org сохраненный RFC
Параллельная выборка файлов
Для загрузки файлов я создаю объект urlopib (класс urllib2) и читаю его в кусках.
Я хотел бы подключиться к серверу несколько раз и загрузить файл в шесть разных сеансов. При этом скорость загрузки должна быть быстрее. У многих менеджеров загрузки есть эта функция.
Я подумал о том, чтобы указать часть файла, который я хотел бы загрузить в каждом сеансе, и как-то обрабатывать все сеансы в одно и то же время. Я не уверен, как я могу это достичь.
Ответы
Ответ 2
Что касается запуска параллельных запросов, вы можете использовать urllib3 или requests.
Мне понадобилось время, чтобы составить список похожих вопросов:
Поиск [python] +download +concurrent дает следующие интересные:
- Параллельные загрузки - Python
- Каков самый быстрый способ отправки 100 000 HTTP-запросов в Python?
- Библиотека или инструмент для загрузки нескольких файлов в параллель
- Загрузка нескольких страниц одновременно
- Python: простая асинхронная загрузка содержимого URL-адреса?
- Python, gevent, urllib2.urlopen.read(), ускоритель загрузки
- Python/Urllib2/Threading: Single download thread быстрее, чем несколько потоков для скачивания. Почему?
- Скремблирование целевых страниц списка доменов
- Чистая, легкая альтернатива Python скручена?
Поиск [python] +http +concurrent дает следующие значения:
- Python: как сделать несколько HTTP-запросов POST за один момент?
- Многопоточный веб-скребок с использованием urlretrieve на сайте с поддержкой cookie
Ищите [python] +urllib2 +slow:
- Python urllib2.open медленный, нужен лучший способ прочитать несколько URL-адресов
- Python 2.6: параллельный синтаксический анализ с urllib2
- Как ускорить выбор страниц с urllib2 в python?
- Threading HTTP-запросы (с прокси-серверами)
Поиск [python] +download +many:
Ответ 3
Как мы уже говорили, я сделал такой, используя PycURL.
Единственное, что мне нужно было сделать, это pycurl_instance.setopt(pycurl_instance.NOSIGNAL, 1), чтобы предотвратить сбои.
Я использовал APScheduler для запуска запросов в отдельных потоках. Благодаря вашим советам об изменении ожидания занятости while True: pass до while True: time.sleep(3) в основном потоке код ведет себя довольно хорошо, и использование модуля Runner из приложения пакета python-daemon почти готово к использованию в качестве типичного демона UN * X.