Платон Щукин об успешной индексации

В своем блоге Платон Щукин опубликовал пост, в котором рассказал о правильных действиях вебмастеров для правильной индексации сайта.

Итак, для успешной индексации сайта необходимо:

1. Проверить HTTP-заголовки, передаваемые сервером. Страницы, индексирование которых необходимо, возвращают HTTP ответ 200; если страниц не существует на сайте – ответ 404; и если страницы изменили адрес, то по старому url возвращают HTTP ответ 301.

2. Создать файл robots.txt и запретить в нем обход технических и служебных разделов сайта. Также можно запретить страницы, присутствие которых опасно в выдаче или не несет ценности для посетителей.

3. Проверить возможность проставления ошибочных ссылок на сайт. Для этого необходимо открыть любую страницу и дописать в адресе несколько произвольных символов. Страница должна возвращать 301 перенаправление на доступную страницу сайта или отдавать 404 ошибку. Это поможет избежать попадания в поиск нежелательных страниц.

4. Разобраться с дублями и динамическими страницами.

5. Создать файл sitemap – чтобы робот быстрее узнал о страницах сайта. Для этого создайте файл sitemap, укажите в нем ссылки на все страницы, индексирование которых необходимо, и сообщите о существовании файла: пропишите директиву "Sitemap:" в robots.txt или воспользуйтесь специальной формой в сервисе Яндекс.Вебмастер.