Ne v kontakte Asocial programmer's blog

RoboMap Project: первые результаты.

Не прошло и суток, а первые результаты уже появились.

Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам. Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу , обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.

Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.

Yahoo ограничился просмотром главной страницы и дальше не пошел.

Самым ленивым оказался Яндекс. Он посмотрел лишь содержимое robots.txt в момент отправки формы добавления и на этом успокоился.

Для большей наглядности я создал два скрипта, отображающих текущую статистику по поисковикам: http://robomap.nevkontakte.org.ru/stat.php - список посещенных поисковиками страниц. http://robomap.nevkontakte.org.ru/pages.php - подробный журнал посещений поисковиками.