Wget + JavaScript?

У меня есть эта веб-страница, которая использует клиентский JavaScript для форматирования данных на странице перед ее отображением пользователю.

Можно ли как-то использовать wget для загрузки страницы и использовать какой-то клиентский механизм JavaScript для форматирования данных, как это было бы показано в браузере?

Ответы

Ответ 1

Возможно, вы могли бы сделать это с чем-то вроде PhantomJS

Вы можете написать phantomjs script, который будет загружать страницу, как браузер, а затем либо сделать скриншоты, либо использовать JS для проверки страницы и вывода данных.

Ответ 2

Вот простой маленький phantomjs script, который запускает javascript на веб-странице и позволяет локально вывести его:

file: get.js

var page = require('webpage').create(),
  system = require('system'), address;

address = system.args[1];
page.scrollPosition= { top: 4000, left: 0}  
page.open(address, function(status) {
  if (status !== 'success') {
    console.log('** Error loading url.');
  } else {
    console.log(page.content);
  }
  phantom.exit();
});

Используйте его следующим образом:
$> phantomjs /path/to/get.js "http://www.google.com" > "google.html"

Изменение /path/to, url и filename на то, что вы хотите.

Ответ 3

Не с wget, поскольку я сомневаюсь, что он включает любую форму движка JavaScript. Однако вы можете использовать WebKit для обработки страницы и, следовательно, вывода.

Используя такие вещи, как основу для получения контента: http://situated.wordpress.com/2008/06/04/take-screenshots-of-a-website-from-the-command-line/