Яндекс.Вебмастер внедрил новый инструмент

В сервисе Яндекс.Вебмастер появился новый любопытный инструмент под названием «Скорость обхода». Он размещается в разделе «Индексирование». Благодаря новому инструменту можно регулировать скорость обхода сайта со стороны поисковых роботов.

В официальном блоге Яндекс.Вебмастера сообщается, что одной из основных причин медленного скачивания документов  — неправильно настроенная директива Crawl-delay в robots.txt.

Владельцы сайтов часто не задумываются о ней и ее значении, и просто ставят такие же значения, как «у других», — как у старых сайтов, серверами которых служили еще «домашние» компьютеры, а не мощные стойки в дата-центрах. В результате ошибочно установленной директивы страницы сайта длительное время не могли проиндексироваться роботом.

Чтобы владельцам сайтов не пришлось больше об этом беспокоиться, и чтобы все действительно нужные страницы появлялись и обновлялись в поиске быстро, в Яндекс.Вебмастере решили отказаться от учета директивы Crawl-delay.

Если владелец сайта все-таки хочет ограничить скорость его обхода, можно воспользоваться новым инструментом — «Скорость обхода». Он заменит собой рекомендации из директивы, а его настройки можно выставить уже сейчас: они начнут учитываться с 22 февраля текущего года.