Почему в результаты поиска Яндекса попадают файлы и документы, закрытые от индексации?

В блоге Платона Щукина появился пост, разъясняющий причины попадания в результаты поиска файлов и документов, закрытых от индексации в robots.txt.

В первую очередь Платон Щукин подчеркивает, что индексирующий робот Яндекса строго следует всем правилам, заданным файле в robots.txt. Но для того, чтобы все установленные директивы использовались роботом при посещении сайта, необходимо соблюсти ряд условий:

• сам файл robots.txt должен находиться в корневом каталоге веб-сайта. Таким образом, доступ к нему можно получить по адресу site.ru/robots.txt. Очень важно, чтобы файл не находился в другой директории сайта, на поддомене или на другом ресурсе;
• чтобы все директивы из robots.txt были учтены роботом при его обращении к файлу, должен возвращаться код HTTP 200. Если же файл осуществляет перенаправление, или отвечает любым другим кодом, отличным от 200, робот не сможет получить его содержимое;
• размер файла не должен превышать 32 Кб, иначе робот расценит такую инструкцию чрезмерно сложной или ошибочной и будет воспринимать ее, как полностью разрешающую;
• Если в robots.txt присутствуют правила для нескольких индексирующих роботов, робот Яндекса будет использовать только те, которые предназначены именно для него, то есть размещенные после строки «User-agent: Yandex»;
• Если робот встретит конфликтующие директивы, к примеру:



Если все указанные условия выполнены, вебмастер или seo-специалист может быть уверен, что робот учтет заданные правила индексирования. Соответственно, закрытые от индексации файлы и документы не появятся в результатах поиска Яндекса. Также Платон Щукин напоминает, что после редактирования файла robots.txt информация в поиске обновляется не сразу, а в течение одной-двух недель.