У меня есть веб-сайт, для которого мой искатель должен следовать последовательности. Так, например, ему нужно перейти a1, b1, c1 до начала перехода a2 и т.д. Каждый из a, b и c обрабатывается различными функциями синтаксического анализа и соответствующие URL-адреса создаются в объекте Request и выдаются. Ниже приведен пример кода, который я использую:
class aspider(BaseSpider):
def parse(self,response):
yield Request(b, callback=self.parse_b, priority=10)
def parse_b(self,response):
yield Request(c, callback=self.parse_c, priority=20)
def parse_c(self,response)
final_function()
Тем не менее, я обнаружил, что последовательность обходов, по-видимому, является a1, a2, a3, b1, b2, b3, c1, c2, c3, что является странным, поскольку я думал, что Scrapy должна гарантировать минимальную глубину.
Последовательность не должна быть строгой, но сайт, на котором я соскабливаю, имеет ограничение на место, поэтому Scrapy необходимо начинать скребковый уровень c, как только он сможет до сканирования уровня bs уровня. Как это можно достичь?
Глубина первого поиска - это именно то, что вы описываете:
search as deep into a as possible before moving to b's
Чтобы изменить Scrapy, чтобы выполнить поиск по ширине (a1, b1, c1, a2 и т.д.), измените эти настройки:
DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeue.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeue.FifoMemoryQueue'
* Найдено в doc.scrapy.org Часто задаваемые вопросы
Я считаю, что вы замечаете разницу между алгоритмами поиска по глубине и первому (см. Википедию для информации обо всех.)
У Scrapy есть возможность изменить, какой алгоритм используется:
"По умолчанию Scrapy использует очередь LIFO для хранения ожидающих запросов, что в основном означает, что он сканирует в порядке DFO. Этот порядок более удобен в большинстве случаев. Если вы хотите сканировать истинный порядок BFO, вы можете сделать его, установив следующие настройки:"
Подробнее см. http://doc.scrapy.org/en/0.14/faq.html.
При использовании Scrapy по умолчанию используется DFO. Причиной последовательности обходов является то, что scrapy сканирует страницы асинхронно. Несмотря на то, что он использует DFO, последовательность кажется необоснованным из-за сетевой задержки или чего-то еще.