Использование InitSpider с всплеском: только анализ страницы входа?

Ответ 1

Я не думаю, что Splash самостоятельно справится с этим конкретным случаем.

Вот рабочая идея:

• используйте selenium и PhantomJS браузер без браузера для входа на веб-сайт
• передать файлы cookie браузера с PhantomJS в Scrapy

Код:

import scrapy
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


class BboSpider(scrapy.Spider):
    name = "bbo"
    allowed_domains = ["bridgebase.com"]
    login_page = "http://www.bridgebase.com/myhands/myhands_login.php?t=%2Fmyhands%2Findex.php%3F"

    def start_requests(self):
        driver = webdriver.PhantomJS()
        driver.get(self.login_page)

        driver.find_element_by_id("username").send_keys("user")
        driver.find_element_by_id("password").send_keys("password")

        driver.find_element_by_name("submit").click()

        driver.save_screenshot("test.png")
        WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.LINK_TEXT, "Click here for results of recent tournaments")))

        cookies = driver.get_cookies()
        driver.close()

        yield scrapy.Request("http://www.bridgebase.com/myhands/index.php", cookies=cookies)

    def parse(self, response):
        if "recent tournaments" in response.body:
            self.log("Login successful")
        else:
            self.log("Login failed")
        print(response.body)

Печать Login successful и HTML страницы "руки".

Ответ 2

Update

Итак, кажется, что start_requests срабатывает перед входом в систему.

Вот код от InitSpider, минус комментарии.

class InitSpider(Spider):
    def start_requests(self):
        self._postinit_reqs = super(InitSpider, self).start_requests()
        return iterate_spider_output(self.init_request())

    def initialized(self, response=None):
        return self.__dict__.pop('_postinit_reqs')

    def init_request(self):
        return self.initialized()

InitSpider вызывает основной start_requests с помощью initialized.

Ваш start_requests - это модифицированная версия метода базового класса. Возможно, что-то вроде этого будет работать.

from scrapy.utils.spider import iterate_spider_output

...

def start_requests(self):
    self._postinit_reqs = my_start_requests()
    return iterate_spider_output(self.init_request())

def my_start_requests(self):
    for url in self.start_urls:
        yield scrapy.Request(url, self.parse, meta={
            'splash': {
                'endpoint': 'render.html',
                'args': {'wait': 0.5}
            }
        }) 

Вам нужно return self.initialized()

Ответ 3

Вы можете получить все данные без необходимости использования js вообще, есть ссылки, доступные для браузеров, у которых нет javascript, а URL-адреса - это тот же самый бар ?offset=0. Вам просто нужно проанализировать запросы с интересующего вас турнирного URL и создать форму Formrequest.

import scrapy
from scrapy.spiders.init import InitSpider
from urlparse import parse_qs, urlparse


class BboSpider(InitSpider):
    name = "bbo"
    allowed_domains = ["bridgebase.com"]
    start_urls = [
        "http://www.bridgebase.com/myhands/index.php"
    ]

    login_page = "http://www.bridgebase.com/myhands/myhands_login.php?t=%2Fmyhands%2Findex.php%3F"

    def start_requests(self):
        return [scrapy.FormRequest(self.login_page,
                                   formdata={'username': 'foo', 'password': 'bar'}, callback=self.parse)]

    def parse(self, response):
        yield scrapy.Request("http://www.bridgebase.com/myhands/index.php?offset=0", callback=self.get_all_tournaments)

    def get_all_tournaments(self, r):
        url = r.xpath("//a/@href[contains(., 'tourneyhistory')]").extract_first()
        yield scrapy.Request(url, callback=self.chosen_tourney)

    def chosen_tourney(self, r):
        url = r.xpath("//a[contains(./text(),'Speedball')]/@href").extract_first()
        query = urlparse(url).query
        yield scrapy.FormRequest("http://webutil.bridgebase.com/v2/tarchive.php?offset=0", callback=self.get_tourney_data_links,
                                 formdata={k: v[0] for k, v in parse_qs(query).items()})

    def get_tourney_data_links(self, r):
        print r.xpath("//a/@href").extract()

В выводе имеется множество ссылок. Для рук, которые вы получаете tview.php?-t=...., вы можете запросить каждого, присоединяющегося к http://webutil.bridgebase.com/v2/, и он даст вам таблицу всех данных, которые легко разобрать, есть также ссылки на tourney=4796-1455303720-&username=..., связанные с каждой рукой в ​​таблицах, фрагмент вывода из ссылки tview:

class="bbo_tr_t">
    <table class="bbo_t_l">
    <tr><td class="bbo_tll" align="left">Title</td><td class="bbo_tlv">#4796 Ind.  ACBL Fri 2pm</td></tr>
    <tr><td class="bbo_tll" align="left">Host</td><td class="bbo_tlv">ACBL</td></tr>
    <tr><td class="bbo_tll" align="left">Tables</td><td class="bbo_tlv">9</td></tr>



    </table>

    </div><div class='sectionbreak'>Section 1 </div><div class='onesection'> <table class='sectiontable' ><tr><th>Name</th><th>Score (IMPs)</th><th class='rank'>Rank</th><th>Prize</th><th>Points</th></tr>
<tr class='odd'><td>colt22</td><td><a href="#" onclick="location.href='http://www.bridgebase.com/myhands/hands.php?tourney=4796-1455303720-&username=colt22'; return false;" target="_blank">42.88</a></td><td class='rank' >1</td><td></td><td>0.90</td></tr>
<tr class='even'><td>francha</td><td><a href="#" onclick="location.href='http://www.bridgebase.com/myhands/hands.php?tourney=4796-1455303720-&username=francha'; return false;" target="_blank">35.52</a></td><td class='rank' >2</td><td></td><td>0.63</td></tr>
<tr class='odd'><td>MSMK</td><td><a href="#" onclick="location.href='http://www.bridgebase.com/myhands/hands.php?tourney=4796-1455303720-&username=MSMK'; return false;" target="_blank">34.38</a></td><td class='rank' >3</td><td></td><td>0.45</td></tr>

Остальная часть синтаксиса я оставлю для себя.