Тэг «robot.txt»
Вопрос некорректного индексирования поисковой выдачи Google решен
Команда разработчиков компании Google модифицировала файл robot.txt, который был создан для предотвращения учета собственных страниц в анализе результатов запросов пользователей роботом Google-bot.
_tn3.jpg)
Яндекс снял видеоролик о robot.txt
После инцидента с индексацией приватных пользовательских данных, Яндекс постарался максимально объясниться. Уже были сделаны изменения в Яндекс.Метрике, которые предлагают использовать возможность блокировать доступ к индексации найденных сервисом ссылок.
_tn3.jpg)
И снова о файле robot.txt
Свое последнее обращение к вебмастерам Мэтт Катс снова посвятил файлу robot.txt. Вопрос, который обсуждался был сформулирован так: «Как лучше поступить: создать пустой файл robots.txt, содержащий User-agent: *Disallow: или вообще не делать файл robots.txt?».
