Ответ 1
wget - отличный инструмент для зеркалирования всего сайта, и если вы находитесь в окнах, вы можете использовать Cygwin, чтобы установить его. Следующая команда отобразит сайт: wget -m domain.name
Обновление от комментариев:
Пример команды wget, которая не будет входить в родительский каталог (-np), игнорирует robot.txt(-e robots=off), использует домен cdn (--domains=domain.name) и отображает URL-адрес (URL-адрес зеркала, http://an.example.com). Все вместе вы получаете:
wget -np -e robots=off --mirror --domains=staticweb.archive.org,web.archive.org http://web.archive.org/web/19970708161549/http://www.google.com/
Если вы имеете дело с https и самоподписанным сертификатом, вы можете использовать --no-check-certificate для отключения проверки сертификата. Справка wget - лучшее место для просмотра возможных вариантов.