Детектирование бота поисковыми системами
Проблема в следующем:
Мной написана программа, которая определенным образом составляет поисковые запросы, обшаривает поисковые системы, и анализирует полученные результаты. Первым меня стал банить яндекс. Буквально после второго-третьего поиска, он переставал выдавать результаты. Гугл до сегодняшнего дня не выпендривался. Но сегодня настал тот день, когда меня забанили в гугле. Причем, если делать запрос через браузер, то никаких проблем нет, однако запрос через программу выдает редирект на капчу, выходит, что бан не по IP. По каким параметрам он определяет браузер я или бот? UserAgent менять пробовал, да и вообще снифил GET-запрос от браузера, и максимально подгонял свой. Всё безрезультатно. В чем отличие в этом плане программы от браузера?
Мной написана программа, которая определенным образом составляет поисковые запросы, обшаривает поисковые системы, и анализирует полученные результаты. Первым меня стал банить яндекс. Буквально после второго-третьего поиска, он переставал выдавать результаты. Гугл до сегодняшнего дня не выпендривался. Но сегодня настал тот день, когда меня забанили в гугле. Причем, если делать запрос через браузер, то никаких проблем нет, однако запрос через программу выдает редирект на капчу, выходит, что бан не по IP. По каким параметрам он определяет браузер я или бот? UserAgent менять пробовал, да и вообще снифил GET-запрос от браузера, и максимально подгонял свой. Всё безрезультатно. В чем отличие в этом плане программы от браузера?
От частоты запросов, например, может быть разница. От cookies.