Приоритет заголовка X-Robots-Tag против метатеги роботов

Я разместил следующий Header в моей конфигурации vhost:

Header set X-Robots-Tag "noindex, nofollow"

Цель здесь - просто отключить поисковые системы от индексации моей тестовой среды. На сайте Wordpress установлен плагин для управления настройками мета-роботов на странице. Например:

<meta name="robots" content="index, follow" />

Итак, мой вопрос в том, какая директива будет иметь приоритет над другой, поскольку оба устанавливаются на каждой странице?

Ответы

Ответ 1

Я не уверен, может ли быть задан окончательный ответ на вопрос, поскольку поведение может быть зависимым от реализации (на стороне робота).

Однако, я думаю, есть разумные доказательства того, что X-Robots-Tag будет иметь приоритет над <meta name="robots" .... См.:

Одно существенное различие между мета-директивой X-Robots-Tag и robots:

  • X-Robots-Tag является частью заголовка протокола HTTP.
  • <meta name="robots" ... является частью заголовка HTML.

Следовательно, X-Robots-Tag принадлежит уровню протокола HTTP, а <meta name="robots" ... принадлежит к уровню протокола HTML.

Protocol capture

Поскольку они принадлежат к другому уровню протокола, они не будут анализироваться одновременно клиентом (роботом), получающим страницу: сначала будет проанализирован уровень HTTP, а HTML - на более позднем этапе.

(Кроме того, следует отметить, что X-Robots-Tag и <meta name="robots" ... не поддерживаются всеми роботами. Google и Yahoo/Bing поддерживают оба, но согласно это некоторая поддержка только <meta name="robots" ..., другие не поддерживают ни одного.)

Сводка:

  • если поддерживается роботом, X-Robots-Tag будет обработан первым; применяются ограничения (noindex, nofollow) (и <meta name="robots" ... игнорируется).
  • else, применяется директива <meta name="robots" ....

Ответ 2

В моем недавнем опыте, когда Google видит смешанные сообщения, он предпочитает положительное действие по умолчанию - то есть - он способствует индексированию - пока что эта проблема будет отмечена как критическая ошибка/предупреждение в вашей консоли инструментов для веб-мастеров, если она у вас есть.

см. статус вашего сайта в google здесь: https://www.google.com/webmasters/

см. статус сайта в bing здесь: http://www.bing.com/toolbox/webmaster (обратите внимание, что поиск yahoo теперь работает на bing)

Google принимает это положительное действие по умолчанию, потому что у многих владельцев сайтов невольно есть хитроумные полублокирующие роботы cms, и мы знаем, как Google любит накапливать как можно больше данных - любое оправдание!

если технические параметры ошибочны, они не могут быть полностью проигнорированы, и мы знаем, как индексируются поисковые системы и следуют по умолчанию, когда не заданы никакие настройки.