Справочник функций

Ваш аккаунт

Войти через: 
Забыли пароль?
Регистрация
Информацию о новых материалах можно получать и без регистрации:

Почтовая рассылка

Подписчиков: -1
Последний выпуск: 19.06.2015

Детектирование бота поисковыми системами

57K
08 июля 2013 года
napukmaxep
15 / / 16.02.2011
Проблема в следующем:

Мной написана программа, которая определенным образом составляет поисковые запросы, обшаривает поисковые системы, и анализирует полученные результаты. Первым меня стал банить яндекс. Буквально после второго-третьего поиска, он переставал выдавать результаты. Гугл до сегодняшнего дня не выпендривался. Но сегодня настал тот день, когда меня забанили в гугле. Причем, если делать запрос через браузер, то никаких проблем нет, однако запрос через программу выдает редирект на капчу, выходит, что бан не по IP. По каким параметрам он определяет браузер я или бот? UserAgent менять пробовал, да и вообще снифил GET-запрос от браузера, и максимально подгонял свой. Всё безрезультатно. В чем отличие в этом плане программы от браузера?
414
08 июля 2013 года
CassandraDied
763 / / 24.05.2012
От частоты запросов, например, может быть разница. От cookies.

Знаете кого-то, кто может ответить? Поделитесь с ним ссылкой.

Ваш ответ

Реклама на сайте | Обмен ссылками | Ссылки | Экспорт (RSS) | Контакты
Добавить статью | Добавить исходник | Добавить хостинг-провайдера | Добавить сайт в каталог