2 фактора, влияющих на сканирование сайта роботом Google

В эти дни в Нью-Йорке проходит ежегодная конференция SMX East 2014 (Search Marketing Expo), на которой известные интернет-компании нередко раскрывают некоторые интересные факты своей работы. Одним из таких фактов поделился Google.

Как рассказал аналитик Google Гэри Илльес, существует 2 фактора сайта, которые являются своеобразными сигналами сканирования для Google. Именно они влияют на то, будет ли робот Google продолжать, замедлять или вовсе приостанавливать сканирование сайта.
Это время соединения и коды состояния HTTP.
Время соединения (Connect Time): в первую очередь Google обращает внимание на время соединения с сервером или страницей сайта. Если оно увеличивается – робот замедляет или приостанавливает сканирование сайта.
Коды состояния HTTP (HTTP Status Codes): если Google получает коды состояния сервера в диапазоне 5хх (которые выделены под случаи неудачного выполнения операции по вине сервера), он также замедлит или приостановит сканирование. Как подчеркнул Илльес, делается это только во благо: робот отступает, чтобы не вызвать еще больших проблем для сервера.

И в первом, и во втором случае, рассказал Гэри Илльес, робот Google еще вернется к сканированию сайта. Однако если снова увидит данные два сигнала – отступит снова.