У нас разные области для каждого языка
И тогда у нас есть другой файл sitemap.xml для каждого сайта. В файле robots.txt я хочу добавить ссылку на карту сайта для каждого домена.
В файле robots.txt могут сообщаться только поисковые системы sitemaps для собственного домена. Таким образом, он будет единственным, которого он удостоит, когда он сканирует этот домен robots.txt. Если все три домена сопоставляются с одним и тем же сайтом и совместно используют файл robots.txt, поисковые системы будут эффективно находить каждую карту сайта.
Я использую следующее решение в .htaccess после всех переадресаций домена и www для перенаправления без WWW.
# Rewrite URL for robots.txt
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]
Создайте новый каталог в корневом каталоге с именем robots. Создайте текстовый файл, заполненный конкретной информацией о роботах для каждого домена.