Как ускорить индексирование файла robots.txt роботами Google?
Обычно поисковые роботы Google опрашивают файл robots.txt один раз в сутки или немного реже. Но можно ли в случае необходимости «заказать» его индексирование во внеочередном режиме? Оказывается, можно!
О возможности инициировать внеочередную индексацию рассказал Джон Мюллер, сотрудник отдела качества поиска Google. Все, что требуется сделать вебмастеру – попросить об этом в Search Console при помощи инструмента проверки файла robots.txt. Там же можно ознакомиться с версией файла robots.txt, которой располагают роботы Google в настоящий момент.
Новости по теме:
Как коронавирус повлиял на поведение пользователей в интернете
Джон Мюллер пояснил, что такое качественный контент
Названы 3 типа сайтов, которым нужен Sitemap
Для добавления комментария надо зарегистрироваться и авторизоваться.
Добавить комментарий можно после авторизации через Loginza.