Есть ответ 403? Ждите вылета из индекса

Об этом поведал Гэри Илш из «Гугл».

Если при попытке отобразить директорию появляется ошибка 403 (что говорит роботу о необходимости прохождения авторизации), это приводит к тому, что она выпадает из индекса. Гэри Илш отмечает – если страница реально существует и есть необходимость ее нахождения в индексе, нужно исключить получение ответа 403.

При получении такого кода со стороны сервера робот инициирует удаление данной страницы из индекса. Поэтому, чтобы не допустить этого, нужно применять ответ 404 (если по каким-то причинам доступ к странице ограничен) или 503 (если раздел заблокирован временно), в таком случае робот не перестанет посещать ее.