Robots.txt: разрешить только крупные SE

Ответ 1

Пользовательский агент: *
Запретить:/
Пользователь-агент: Googlebot
Позволять:/
Пользователь-агент: Slurp
Позволять:/
User-Agent: msnbot
Disallow:

Slurp - робот Yahoo

Ответ 2

Почему?

Любой, кто делает зло (например, собирает адреса электронной почты для спама), просто игнорирует файл robots.txt. Таким образом, вы будете блокировать только законные поисковые системы, поскольку соответствие robots.txt является добровольным.

Но - если вы все равно настаиваете на этом, то для строки User-Agent: в файле robots.txt.

User-agent: googlebot
Disallow: 

User-agent: *
Disallow: /

С линиями для всех других поисковых систем, с которыми вы хотите трафик, конечно. Robotstxt.org имеет частичный список.

Ответ 3

Как всем известно, файл robots.txt является стандартом, которым должен обладать искатель, и, следовательно, это делают только хорошо управляемые агенты. Таким образом, это не важно.

Если у вас есть данные, которые вы также не показываете на сайте, вы можете просто изменить разрешение и повысить безопасность.