Rails папки robots.txt - программирование

Я собираюсь запустить приложение Rails и в качестве последней задачи я не хочу устанавливать файл robots.txt. Я не мог найти информацию о том, как пути должны быть правильно написаны для приложения Rails.

Является ли исходный путь всегда корневым путем из приложения Rails или папки приложения? Как бы я тогда запретил, например? папка img?

Должен ли я писать пути, как я вижу это в папке приложения, или как то, как пути выглядят на сайте в Интернете, например. http://example.com/admin?

Ответы

Ответ 1

вы должны поместить свою папку robots.txt в /public

и он будет выглядеть ниже

В следующем примере файла "/robots.txt" указано, что роботы не должны посещать какой-либо URL-адрес, начинающийся с "/cyberworld/map/" или "/tmp/", или /foo.html:

# robots.txt for http://www.example.com/

User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear
Disallow: /foo.html

для получения дополнительной информации см. ниже ссылки

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

http://www.robotstxt.org/robotstxt.html