Использование rvest или httr для входа в нестандартные формы на веб-странице

Я пытаюсь использовать rvest для размещения веб-страницы, которая требует ввода имени/пароля в форме.

rm(list=ls())
library(rvest)

### Trying to sign into a form using email/password 

url       <-"http://www.perfectgame.org/"   ## page to spider
pgsession <-html_session(url)               ## create session
pgform    <-html_form(pgsession)[[1]]       ## pull form from session

set_values(pgform, `ctl00$Header2$HeaderTop1$tbUsername` = "[email protected]") 
set_values(pgform, `ctl00$Header2$HeaderTop1$tbPassword` = "mypassword")

submit_form(pgsession,pgform,submit=`ctl00$Header2$HeaderTop1$Button1`)

Это дает мне следующее сообщение об ошибке:

Error in submit_request(form, submit) :

object 'ctl00 $Header2 $HeaderTop1 $Button1' not found

Если я отправлю форму без указания параметра submit, я получаю следующее:

Submitting with 'ctl00$Header2$HeaderTop1$Button1'
Error in function (type, msg, asError = TRUE)  : <url> malformed

Я также пробовал передавать параметры непосредственно в httr, как упоминалось в этом вопросе: Как я могу отправить POST простую форму HTML в R?, но параметр "отправить" не принимал кнопку отправки с обратными кавычками (``), кавычками или без кавычек:

library(httr)

url <- "http://www.perfectgame.org/Rankings/Players/Default.aspx?gyear=2015&num=500"

fd <- list(
    submit = `ctl00$Header2$HeaderTop1$Button1`,
    `ctl00$Header2$HeaderTop1$tbUsername`  = "[email protected]",
    `ctl00$Header2$HeaderTop1$tbPassword`  = "mypassword")

resp<-POST(url, body=fd, encode="form")
content(resp)

Любые идеи о том, как я могу войти в систему из сеанса R и паук данных, которые находятся за стенкой входа?

Ответы

Ответ 1

Ваш код rvest не сохраняет измененную форму, поэтому в примере вы просто отправляете оригинал pgform без заполнения значений. Попробуйте:

library(rvest)

url       <-"http://www.perfectgame.org/"   ## page to spider
pgsession <-html_session(url)               ## create session
pgform    <-html_form(pgsession)[[1]]       ## pull form from session

# Note the new variable assignment 

filled_form <- set_values(pgform,
  `ctl00$Header2$HeaderTop1$tbUsername` = "[email protected]", 
  `ctl00$Header2$HeaderTop1$tbPassword` = "mypassword")

submit_form(pgsession,filled_form)

И теперь я вижу хороший ответ кода состояния 200 вместо ошибки. Обратите внимание, что поскольку желаемая кнопка отправки является первой кнопкой отправки, нам не нужно указывать ее как аргумент, но в противном случае мы просто дадим ей строку (прямые цитаты, а не обратные кавычки).