Я искал с помощью Google, но я не могу найти ответ на этот вопрос.
Файл robots.txt может содержать следующую строку:
Sitemap: http://www.mysite.com/sitemapindex.xml
но можно ли указать несколько файлов индекса sitemap в файле robots.txt и заставить поисковые системы распознать это и обследовать ВСЕ файлы Sitemap, на которые ссылаются в каждом файле индекса sitemap? Например, будет ли это работать:
Sitemap: http://www.mysite.com/sitemapindex1.xml
Sitemap: http://www.mysite.com/sitemapindex2.xml
Sitemap: http://www.mysite.com/sitemapindex3.xml
Их можно написать, но поисковая система знает, что с ним делать. Я подозреваю, что многие поисковые системы будут либо "переваривать" все больше токенов, либо, альтернативно, взять последнюю карту сайта, которую они считают реальной.
Я предлагаю, чтобы вопрос был "если я хочу, чтобы ____ поисковая система индексировала мой сайт, смогу ли я определить несколько файлов Sitemap?"
Да, возможно, несколько файлов sitemap-index:
У вас может быть более одного файла индекса Sitemap.
Выделите меня.
Да, вы можете перечислить несколько файлов sitemap в robots.txt, см. также на сайте sitemap.org:
Вы можете указать более одного файла файла Sitemap в файле robots.txt.
Sitemap: http://www.example.com/sitemap-host1.xml Sitemap: http://www.example.com/sitemap-host2.xml
Выделите меня, это не может быть неверным, я бы сказал, так просто сказал, что это можно сделать.
Это также необходимо для кросс-подач, для которых btw. выбрано значение robots.txt.
Btw Google, Yahoo и Bing, все участники sitemaps.org:
Карта сайта 0.90 предлагается в соответствии с лицензией Creative Commons License Attribution-ShareAlike и имеет широкое распространение, включая поддержку от Google, Yahoo!, и Microsoft.
Таким образом, вы можете быть уверены, что ваши записи в файле Sitemap будут правильно прочитаны ботами поисковой системы.
Отправка их с помощью инструментов для веб-мастеров также не может повредить - как прокомментировал Джон Мюллер .
Если ваша карта сайта превышает 10 МБ (несжатая) или содержит более 50 000 записей, Google требует, чтобы вы использовали несколько файлов Sitemap в комплекте с файлом индекса Sitemap.
В вашем файле robots.txt указывается индекс файла Sitemap, который должен выглядеть следующим образом:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://www.example.com/sitemap1.xml.gz</loc>
<lastmod>2012-10-01T18:23:17+00:00</lastmod>
</sitemap>
<sitemap>
<loc>http://www.example.com/sitemap2.xml.gz</loc>
<lastmod>2012-01-01</lastmod>
</sitemap>
</sitemapindex>