RoboMap Project: первые результаты.
Не прошло и суток, а первые результаты уже появились.
Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам.
Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу , обычные JS переходы с помощью window.open()
и document.location.href
и ссылку в robots.txt
.
Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.
Yahoo ограничился просмотром главной страницы и дальше не пошел.
Самым ленивым оказался Яндекс. Он посмотрел лишь содержимое robots.txt в момент отправки формы добавления и на этом успокоился.
Для большей наглядности я создал два скрипта, отображающих текущую статистику по поисковикам: http://robomap.nevkontakte.org.ru/stat.php - список посещенных поисковиками страниц. http://robomap.nevkontakte.org.ru/pages.php - подробный журнал посещений поисковиками.