Несколько слов о robots.txt
Как сообщает Webmasters.ru, Джон Мюллер, представитель команды помощи вебмастерам Google, на своей страничке в соцсети Google+ еще раз обратил внимание на то, что файл robots.txt не должен превышать 500 кб.
Как отметил Мюллер, даже у Google файл «весит» не более 6,43 Кб. Поэтому, по его мнению, robots.txt, превышающий полмегабайта – что-то из области фантастики. Впрочем, заметил Мюллер, в реальности эта фантастика все же встречается: если, к примеру, CMS сайта самостоятельно создаёт файл robots.txt.
Команда помощи вебмастерам еще раз напоминает: если robots.txt будет превышать полмегабайта, то робот в любом случае прочитает лишь первые 500 кб. Кроме того, такой массивный robots.txt может привести к ошибкам индексации, что приведет к потерям позиций в Google.
Новости по теме:
Джон Мюллер пояснил, что такое качественный контент
Названы 3 типа сайтов, которым нужен Sitemap
Влияет ли место размещения логотипа на ранжирование сайта?
Для добавления комментария надо зарегистрироваться и авторизоваться.
Добавить комментарий можно после авторизации через Loginza.