Может ли относительный URL-адрес карты использовать в файле robots.txt?

В файле robots.txt можно написать следующий относительный URL-адрес файла Sitemap:

sitemap: /sitemap.ashx

Или мне нужно использовать полный (абсолютный) URL-адрес для файла Sitemap, например:

sitemap: http://subdomain.domain.com/sitemap.ashx

Почему я задаюсь вопросом:

  • У меня есть новый блог-сервис www.domain.com, который позволяет пользователям вести блог на сайте accountname.domain.com.
  • Я использую подстановочные знаки, поэтому все поддомены (учетные записи) указывают на: "blog.domain.com".

В blog.domain.com я положил robots.txt, чтобы поисковые системы могли найти карту сайта. Но из-за подстановочных знаков вся учетная запись пользователя имеет один и тот же файл robots.txt. Почему я не могу использовать вторую альтернативу. И пока я не могу использовать переписывание URL для файлов txt. (Я думаю, что более поздние версии IIS могут справиться с этим?)

Ответы

Ответ 1

Согласно официальной документации на sitemaps.org, он должен быть полным URL-адресом:

Вы можете указать местоположение файла Sitemap с помощью файла robots.txt. Для этого просто добавьте следующую строку, включая полный URL в карту сайта:

Sitemap: http://www.example.com/sitemap.xml

Ответ 2

Сканеры Google недостаточно умны, они не могут сканировать относительные URL-адреса, поэтому всегда рекомендуется использовать абсолютный URL-адрес для лучшей возможности сканирования и индексации.

Поэтому вы не можете использовать этот вариант

> sitemap: /sitemap.xml

Рекомендуемый синтаксис:

Sitemap: https://www.yourdomain.com/sitemap.xml

Примечание:

  • Не забудьте прописать первую букву в "карте сайта"
  • Не забудьте поставить пробел после "Sitemap:"

Ответ 3

Хорошая техническая и логичный вопрос, мой дорогой друг. Нет в файле robots.txt, вы не можете пойти с относительным URL-адрес карты сайта; вам нужно указать полный URL-адрес карты сайта.

Лучше пойти с "sitemap: https://www.example.com/sitemap_index.xml"

В приведенном выше URL после двоеточия дает пробел. Мне также нравится поддерживать Дипак.