Googlebot выполняет javascript с задержкой

Прошлым летом Googlebot научился исполнять javascript, чтобы иметь возможность заходить в относительно закрытые области сайта. Однако, как оказалось, исполняет скрипты Googlebot далеко не мгновенно.

Googlebot исполняет скрипты с задержкой от нескольких часов до нескольких дней! Совершенно случайно это обнаружил веб-мастер сайта iFixit.com. Как сообщает habrahabr.ru, вебмастер убрал с фронтенда ненужную функцию по сообщению временной зоны пользователя через Ajax, удалил лишний код с бэкенда, но спустя трое суток всё ещё получал ошибки от кого-то, кто исполнял этот скрипт.



Блок IP-адресов принадлежит Google. Т.е. это Googlebot, который пытается спустя трое суток после изменений на сайте добраться до бэкенда.

В связи с этим вебмастерам рекомендуется не забывать о вероятности задержки и о том, что Googlebot, таким образом, может запросить с сервера страницы трёхдневной давности.