Как заблокировать доступ libwww-perl в .net?

Я тестировал свой сайт с помощью онлайн-инструментов, и один из инструментов дал мне это предупреждение:

Предполагается, что ваш сервер разрешает доступ к User-agent Libwww-perl. Скрипты Botnet, которые автоматически ищут уязвимости в вашем программном обеспечении, иногда идентифицируются как User-Agent libwww-perl. Блокируя доступ с libwww-perl, вы можете устранить многие более простые атаки. Подробнее о блокировании доступа Libwww-perl и улучшении безопасности вашего сайта.

Мой веб-сайт - это сайт ASP.NET MVC 5, и я просто добавил эти строки в свой файл robots.txt.

User-agent: *
Disallow: /

User-Agent: bingbot
Allow: /

Однако инструмент все еще сообщает об этом предупреждении. В чем проблема? Я блокирую всех ботов и просто устанавливаю bingbot.

Ответы

Ответ 1

Если вы не указали URL-адрес или имя инструмента онлайн-сканирования, я могу только предположить, что он пытался обходить ваши страницы при отправке User-Agent: libwww-perl - если вы не заблокируете это в своем файле robots.txt.

Фон для этого - robots.txt содержит правила для корректных поисковых систем, а не для вредоносных программ. Из http://www.robotstxt.org/robotstxt.html:

  • роботы могут игнорировать ваш /robots.txt. Особенно вредоносные роботы, которые сканировать в Интернете уязвимости безопасности и адрес электронной почты комбайны, используемые спамерами, не обратят внимания.

Я предполагаю, что "исправил" это предупреждение, вы должны отклонить все запросы на любую страницу, изображение или файл, если заголовки HTTP содержат User-Agent: libwww-perl. См. этот вопрос о настройке IIS, чтобы отклонить эти запросы без изменения вашего веб-сайта.

Лично я не стал бы отрицать эти просьбы, поскольку это не стоит хлопот. Легко изменить User-Agent в инструменте сканирования, и большинство из них уже позволяет имитировать широко используемые браузеры, чтобы усиление безопасности было очень маленьким. С другой стороны, может существовать хороший/законный инструмент, который нельзя использовать, поскольку он не подделывает его личность.

Ответ 2

Попробуйте добавить это в свой файл:

User-agent: Libwww-perl
Disallow: /

Ответ 3

Добавьте robot.txt в ваше приложение и включите этот файл в корневую директорию вашего приложения. Добавьте ниже к этому файлу robot.txt

User-agent: Libwww-perl
Disallow: /

И Для получения дополнительной информации Пожалуйста, ознакомьтесь с информацией, приведенной ниже... http://www.iis.net/learn/application-frameworks/install-and-configure-php-applications-on-iis/translate-htaccess-content-to-iis-webconfig

Ответ 4

Он может быть заблокирован через .htaccess Rewrite:

RewriteCond %{HTTP_USER_AGENT} libwww-perl.* 
RewriteRule .* ? [F,L]