И снова о файле robot.txt

Свое последнее обращение к вебмастерам Мэтт Катс снова посвятил файлу robot.txt. Вопрос, который обсуждался был сформулирован так: «Как лучше поступить: создать пустой файл robots.txt, содержащий User-agent: *Disallow: или вообще не делать файл robots.txt?».

Мэтт Катс говорит, что лучше всего использовать первые два варианта, так как отсутствие файла robot.txt может быть слишком рискованным. Может сложится неблагоприятная ситуация, если ваш веб-хостинг дает страницу с 404 ошибкой из-за отсутствия файла. И хоть Google поиск умеет распознавать это достаточно хорошо, все риск может быть около 1%.

Однако, по мнению Мэтта, лучше всего создать файл с User-agent: *Disallow:, так как тогда поисковик понимает, что вебмастер разрешает просмотр всех страниц осознанно и не допускает, что файл robot.txt мог быть создан ошибочно пустым. Интересно, что рассказывая о файле, Мэтт не поднимает вопроса о закрытых от индексации страницах, а ведь именно с ними и файлом robot.txt недавно возник большой скандал в рамках Рунета. А ведь сайтов, которые не должны ничего закрывать от индексации мало.