Ответ 1
В соответствии с определениями синтаксического анализа формы Бэкуса-Наура (BNF) в документации Google robots.txt порядок директив Allow и Disallow не имеет значения. Таким образом, изменение порядка действительно не поможет вам.
Вместо этого вы должны использовать оператор $ чтобы указать закрытие вашего пути.
Проверьте это robots.txt. Я уверен, что это должно работать для вас (я также подтвердил в Google Search Console):
user-agent: *
Allow: /$
Disallow: /
Это позволит сканировать http://www.example.com и http://www.example.com/, но все остальное заблокировано.
примечание: директива Allow удовлетворяет вашему конкретному случаю использования, но если у вас есть index.html или default.php, эти URL не будут сканироваться.
примечание: я действительно хорошо знаком с поведением Googlebot и bingbot. Если есть какие-то другие движки, на которые вы нацеливаетесь, они могут иметь или не иметь конкретных правил относительно того, как перечислены директивы. Поэтому, если вы хотите быть "лишним", вы всегда можете поменять местами блоки директив Allow и Disallow, я просто установил их таким образом, чтобы разоблачить некоторые комментарии.