У меня есть приложение, работающее в Heroku. Я использую sitemap_generator для создания файла Sitemap и сохранения его в s3. Я добавил файл robots.txt, чтобы содержать местоположение моего сайта.
Мой вопрос.
Как я могу узнать, что карта сайта успешно найдена поисковой системой, например google?
Как я могу отслеживать карту сайта?
Если моя карта сайта находится на моем сервере приложений, я могу добавить файл Sitemap вручную в инструменты для веб-мастеров Google для мониторинга. Потому что, когда я нажимаю "Test/Add sitemap" в инструментах для веб-мастеров Google, по умолчанию этот же сервер.
Спасибо за вашу помощь.
Я получил его для работы.
В Google есть что-то вроде перекрестного представления: http://googlewebmastercentral.blogspot.com/2007/10/dealing-with-sitemap-cross-submissions.html
Возможно, вы захотите посетить этот блог: http://stanicblog.blogspot.sg/2012/02/how-to-add-your-sitemap-file-located-in.html
Спасибо за вашу помощь, yacc.
Позвольте мне ответить на ваши два первых вопроса, по одному (я не уверен, что вы подразумеваете под "как я могу контролировать свою карту сайта", поэтому я пропущу ее):
Если вы не можете использовать форму Google для веб-мастеров, чтобы отправить свою карту сайта, используйте запрос HTTP-запроса, чтобы уведомить Google о вашей новой карте сайта.
Если ваша карта сайта находится в https://s3.amazonaws.com/sitemapbucket/sitemap.gz, первый URL-адрес кодирует URL вашей карты сайта (вы можете использовать этот онлайн-адрес URL-кодировщик/декодер для этого), затем используя curl или wget для отправки вашего закодированного URL в Google:
curl www.google.com/webmasters/tools/ping?sitemap=https%3A%2F%2Fs3.amazonaws.com%2Fsitemapbucket%2Fsitemap.gz
Если ваш запрос будет успешным, вы получите ответ 200 с таким сообщением:
... cut ...
<body><h2>Sitemap Notification Received</h2>
<br>
Your Sitemap has been successfully added to our list of Sitemaps to crawl.
... cut ...
Откройте Инструменты для веб-мастеров, перейдите к Конфигурация сайтa > Sitemaps, там вы увидите файлы Sitemap, которые вы отправили. Иногда может появиться новая карта сайта, поэтому часто проверяйте ее.