RoboMap Project: детальное исследование индексации поисковиками.
На разных SEO форумах неоднократно возникали обсуждения, касающиеся того, какие ссылки поисковики индексируют, а какие - нет. Тем не менее, однозначных выводов нигде так и не было сделано. Чтобы в деталях разобраться, какие поисковики и как индексируют ссылки я запустил небольшой проект под названием RoboMap. Ниже цитирую описание с его главной страницы:
Основная цель проекта RoboMap - это исследовать тонкости индексирования сайта поисковиками и влияние файла robots.txt на этот процесс.
В частности, будет выяснено, как поисковики обрабатывают инструкции Allow в robots.txt и разные типы ссылок. Для этого был создан набор страниц, на каждую из которых ссылается только один тип ссылок. Вот список разновидностей ссылок, которые будут исследоваться:
- Текстовая ссылка
- Простая JavaScript ссылка через
window.open() - Простая JavaScript ссылка через
document.location.href - JavaScript ссылка с url в контексте вызова:
my_open_function('http://mysite.ru/page.html') - JavaScript ссылка с url вне контекста вызова:
open_my_site() - JavaScript редирект, не ассоциированный с тегом
<a> - HTTP Redirect.
- Директива Allow в файле
robots.txt
Анализироваться будут наиболее популярные в рунете поисковики:
- Яндекс
- Рамблер
- MSN/Live
- Yahoo
- Webalta