Ответ 1
Эта ошибка показывает, что ожидаемый формат файла robots.txt является простым текстом, закодированным в UTF-8. Файл состоит из записей (строк), разделенных CR, CR/LF или LF.
Если кодировка символов не является подмножеством UTF-8, ваши файлы robots.txt обрабатываются некорректно.
Сначала проверьте URL-адрес robots.txt в http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl, выбрав второй вариант "источник просмотра" и убедитесь, что он отвечает успешно или нет.
Теперь снова загрузите файл robots.txt. Он не будет показывать ошибку, как показано ранее.