Ne v kontakte Antisocial programmer's blog

Параноик Яндекс.

Видать, нынче модно у поисковых систем защищаться от DDOS атак путем блокировки IP, с которых совершается много запросов. Первым я это заметил у Гугля, а сегодня и у Яндекса. При этом, к сожалению, страдают в основном простые пользователи локальных сетей, у которых один внешний IP на несколько сотен/тысяч машин. И если Гугль еще предлагает ввести капчу и пользоваться дальше, то Яндекс тупо говорит: 403 - идите на фиг.

В прочем, причиной поста послужил другой факт. В конце длинного сообщения, что я, злой и завирусованный подлец пытаюсь завалить несчастный Яндекс, есть интересная приписка:

Рекомендуем вам проверить компьютер на вирусы или обратиться к администратору вашего компьютера или вашей сети. Для проверки компьютера вы можете воспользоваться бесплатной программой Я.Онлайн с антивирусной защитой Касперского, скачать которую можно с сайта [Я.Онлайна](http://online.yandex.ru/?from=kaspersky).

Ради любопытства я кликнул на ссылочку и... 403!!! - иди лечись от вирусов.

Read more →

Robomap Project: подводим итоги.

    projects     robomap

Пожалуй, пришло время подвести результаты проекта RoboMap. За прошедшие три недели была собрана довольно занимательная статистика о поведении различных поисковиков и теперь я попробую ее проанализировать.

Бесспорным лидером оказался Google. С самого начала расковыряв большую часть видов ссылок, он удержал лидерство до конца. Так же интересно заметить, что он подгрузил CSS, использованные на странице. Напрашивается вывод, что это ему необходимо для проверки на скрытые блоки текста и прочие приемы черной оптимизации, основанные на CSS.

Как ни странно, второе место занял MSN/Live от великой корпорации Майкрософт. Он сумел опознать php-редирект и js-ссылку при помощи window.open(). Тем не менее, налицо неспешность и полное отсутствие любопытства к обновлению контента. В частности, сборщик статистики не зафиксировал его обращения к главной странице, а так же проверок на обновления.

Yandex, Rambler и Yahoo поделили третье место: прошли только по редиректу и на том успокоились. В то же время, все они повели себя по-разному. Вкратце обрисую ситуацию по каждому из них.

Read more →

RoboMap Project: статистика за 3 дня.

    projects     robomap

С момента предыдущего отчета картина изменилась не слишком радикально.

Гугль ничем новым не порадовал, успокоившись на достигнутом еще в первые сутки так ни разу и не зашел с тех пор. Yahoo! несколько раз проверял уже проиндексированные страницы, но ничего нового не нашел. Все прочие поисковики оказались слегка подинамичнее. Рамблер таки добрался до редиректовой странички, но JS ссылки ему оказались не по зубам. Яндекс со свойственной ему неспешностью проиндексировал только главную, чем и ограничился, а творение Microsoft вообще отличилось - скачало только robots.txt и ушло.

Покажи свою берлогу!

Дмитрий Ветров проводит акцию "Покажи свою берлогу"

После некоторых колебаний, я решил присоединиться. Тем более, что у меня в фотоархиве завалялась чудесная фотка на эту тему:

None

Конечно, обычно все не так запущено, но бардака всегда хватает :)

Read more →

RoboMap Project: первые результаты.

    projects     robomap

Не прошло и суток, а первые результаты уже появились.

Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам. Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу , обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.

Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.

Yahoo ограничился просмотром главной страницы и дальше не пошел.

Read more →