Ответ 1
Не переопределяйте функцию parse в CrawlSpider:
Когда вы используете CrawlSpider, вы не должны переопределять функцию parse. В документации CrawlSpider есть предупреждение: http://doc.scrapy.org/en/0.14/topics/spiders.html#scrapy.contrib.spiders.Rule
Это связано с тем, что с CrawlSpider, parse (по умолчанию обратный вызов любого запроса) отправляет ответ для обработки с помощью Rule s.
Вход в систему перед сканированием:
Чтобы иметь какую-то инициализацию перед запуском сканера, вы можете использовать InitSpider (который наследуется от CrawlSpider) и переопределить функцию init_request. Эта функция будет вызываться, когда паук инициализируется и перед запуском сканирования.
Чтобы Спайдер начал сканирование, вам нужно вызвать self.initialized.
Вы можете прочитать код, отвечающий за здесь (у него есть полезные docstrings).
Пример:
from scrapy.contrib.spiders.init import InitSpider
from scrapy.http import Request, FormRequest
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import Rule
class MySpider(InitSpider):
name = 'myspider'
allowed_domains = ['domain.com']
login_page = 'http://www.domain.com/login'
start_urls = ['http://www.domain.com/useful_page/',
'http://www.domain.com/another_useful_page/']
rules = (
Rule(SgmlLinkExtractor(allow=r'-\w+.html$'),
callback='parse_item', follow=True),
)
def init_request(self):
"""This function is called before crawling starts."""
return Request(url=self.login_page, callback=self.login)
def login(self, response):
"""Generate a login request."""
return FormRequest.from_response(response,
formdata={'name': 'herman', 'password': 'password'},
callback=self.check_login_response)
def check_login_response(self, response):
"""Check the response returned by a login request to see if we are
successfully logged in.
"""
if "Hi Herman" in response.body:
self.log("Successfully logged in. Let start crawling!")
# Now the crawling can begin..
self.initialized()
else:
self.log("Bad times :(")
# Something went wrong, we couldn't log in, so nothing happens.
def parse_item(self, response):
# Scrape data from page
Сохранение элементов:
Элементы, возвращаемые вашим Пауком, передаются вместе с Pipeline, который отвечает за выполнение того, что вы хотите сделать с данными. Я рекомендую вам ознакомиться с документацией: http://doc.scrapy.org/en/0.14/topics/item-pipeline.html
Если у вас есть какие-либо проблемы/вопросы относительно Item s, не стесняйтесь вскрыть новый вопрос, и я сделаю все возможное, чтобы помочь.