Apple выпустила собственного веб-краулера

Американская компания Apple официально объявила о выпуске собственного веб-краулера, получившего название AppleBot. Слухи о его разработке ходили уже давно, но только сейчас в Apple смогли их подтвердить. В справочном центре компании уже создана специальная страница, посвященная AppleBot.

Веб-краулер Apple собирает информацию для Siri и Spotlight и поддерживает указания из robots.txt. Примечательно, что если AppleBot не находит в robots.txt строчки про себя, краулер следует правилам, указанным для Google. Соответственно, заблокировав GoogleBot, вы можете одновременно закрыть доступ и AppleBot.

Если же AppleBot станет странно себя вести или перестанет «слушаться» размещенных в файле robots.txt указаний, об этом необходимо сообщить сотрудникам службы поддержки через электронную почту Apple-NOC@apple.com.

Также отметим, что в последнее время Apple активно набирает специалистов по поисковым системам. Многие эксперты связывают это с планами компании запустить собственную поисковую систему на базе Spotlight.