Обновлена функция проверки файла robots.txt в Google Webmaster Tools

Постоянное совершенствование своих функций и инструментов – характерная черта, присущая Google. Теперь инструменты для веб-мастеров в разделе Crawl (Сканирование) дополнены новой, усовершенствованной возможностью под названием robots.txt testing tool.

Основное отличие от предыдущей версии состоит в обновленном алгоритме поиска директив, которые производят блокировку адресов. Это очень полезно при обработке файлов robots.txt большого размера для объемных проектов.

Итак, главные исправления, которые внесли разработчики:
• возможность указания на конкретную строку кода программы, которая блокирует индексацию страниц;
• реализация функции контроля внесенных изменений в файл robots.txt до того, как он был загружен;
• реализация одновременного открытия нескольких версий файла robots.txt для того, чтобы проанализировать внесенные ранее изменения и тем самым обезопасить файл от блокировки сканирования системами поиска;
• автоматическое возобновление сканирования даже при обнаружении внутренней ошибки с кодом 500.

Несмотря на внесенные изменения, инструмент все еще является несовершенным, поэтому, чтобы добиться действительно качественного результата, необходимо пользоваться дополнительными возможностями проверки файла robots.txt. Для этого подойдут внутренние возможности, например, функция Fetch as Google.