Я хочу очистить некоторые данные с веб-сайта.
В принципе, веб-сайт имеет несколько табличных дисплеев и показывает около 50 записей. Для получения дополнительных записей пользователь должен нажать кнопку, которая делает вызов ajax get и показывать следующие 50 записей.
У меня есть предыдущее знание Selenium webdriver (Python). Я могу сделать это очень быстро в Селене. Но Selenium - это скорее инструмент автоматизации, и он очень медленный.
Я сделал несколько R & D и обнаружил, что используя Scrapy или Mechanize, я также могу сделать то же самое.
Должен ли я пойти на Scrapy или Mechanize или Selenium для этого?
Я бы порекомендовал вам пойти с комбинацией Mechanize и ExecJS (https://github.com/sstephenson/execjs) для выполнения любых запросов javascript, с которыми вы могли столкнуться. Я использовал эти два драгоценных камня в комбинации довольно долгое время, и они отлично справляются.
Вы должны выбрать это вместо Selenium, потому что это будет намного быстрее по сравнению с тем, чтобы отобразить всю страницу в безгласном браузере.
Определенно, я бы выбрал Scrapy. Если вы не можете обрабатывать javascript, вы можете попробовать с помощью Scrapy + splash. Scrapy - это самый быстрый инструмент для веб-соскабливания, о котором я знаю. Удачи!