Яндекс: директиву allow не следует воспринимать буквально

В блоге Яндекса для вебмастеров появилась запись об исправлении старой проблемы, связанной с анализом файла robots.txt. Отныне Яндекс не будет воспринимать директиву Allow без аргументов буквально – такая строка будет расцениваться как ошибка.

Напомним, раньше Яндекс учитывал пустой аргумент. Он сообщал поисковику, что ему позволяется сканировать 0 страниц сайта. Эта ошибка существовала на протяжении длительного времени, и отдельные вебмастеры даже начали использовать ее во время своих экспериментов. Но теперь запретить индексирование может исключительно стандартная директива Disallow.

Добавим, что перечень разрешенных и запрещенных к индексации страниц ресурса можно посмотреть при помощи Яндекс.Вебмастера.