Как предотвратить Googlebot от подавляющего сайта?

Я запускаю сайт с большим количеством контента, но немного трафика, на выделенном сервере средней дороги.

Иногда робот Googlebot наносит нам ущерб, в результате чего Apache максимизирует свою память и вызывает сбой сервера.

Как я могу избежать этого?

Ответы

Ответ 1

  • зарегистрируйтесь в инструментах Google для веб-мастеров, проверьте свой сайт и запустите google bot down
  • отправить карту сайта
  • прочитайте google guildelines: (if-Modified-Since HTTP header)
  • используйте robot.txt, чтобы ограничить доступ к боту в некоторые части веб-сайта.
  • создайте script, который изменяет robot.txt каждый $[период времени], чтобы убедиться, что бот никогда не сможет обходить слишком много страниц одновременно, убедившись, что он может сканировать весь контент в целом

Ответ 2

Вы можете настроить способ сканирования вашего сайта с помощью инструментов Google для веб-мастеров. В частности, взгляните на эту страницу: Изменение скорости обхода Google

Вы также можете ограничить страницы, которые поисковые роботы Google используют в файле robots.txt. Для crawl-delay есть параметр, но, похоже, он google не выполнил.

Ответ 3

Зарегистрируйте свой сайт с помощью Инструментов Google для веб-мастеров, который позволяет вам установить, как часто и сколько запросов в секунду googlebot следует пытаться индексировать ваш сайт. Инструменты Google для веб-мастеров также могут помочь вам создать файл robots.txt, чтобы уменьшить нагрузку на ваш сайт.

Ответ 4

Обратите внимание, что вы можете установить скорость сканирования с помощью Инструментов Google для веб-мастеров (в разделе "Настройки сайта" ), но они соблюдают только шесть месяцев! Поэтому вы должны войти в систему каждые шесть месяцев, чтобы снова установить его.

Этот параметр был изменен в Google. Настройка сохраняется только в течение 90 дней (3 месяца, а не 6).

Ответ 5

Вы можете настроить скорость обхода в инструментах для веб-мастеров Google.

Ответ 6

Чтобы ограничить скорость сканирования:

  • На домашней странице консоли поиска щелкните нужный сайт.

  • Нажмите значок шестеренки "Настройки", затем нажмите "Настройки сайта".

  • В разделе Скорость сканирования выберите нужный параметр, а затем ограничьте скорость сканирования по своему усмотрению.

Новая скорость сканирования будет действительна в течение 90 дней.