Perl: загрузка страниц
Здравствуйте.
Заметил одну особенность работы LWP::UserAgent в Perl. С некоторых сайтов с помощью указанного модуля неполностью скачиваются страницы. Т.е. открываешь в браузере страницу, и там данных больше, чем если скачать страницу с помощью Perl. Кто-нибудь сталкивался с подобной проблемой? Можно ли ее решить цивильно?
P.S. Возможно, что проблема кроется в использовании AJAX на данных сайтах, но уверенности в этом нет.
Спасибо.
Заметил одну особенность работы LWP::UserAgent в Perl. С некоторых сайтов с помощью указанного модуля неполностью скачиваются страницы. Т.е. открываешь в браузере страницу, и там данных больше, чем если скачать страницу с помощью Perl. Кто-нибудь сталкивался с подобной проблемой? Можно ли ее решить цивильно?
P.S. Возможно, что проблема кроется в использовании AJAX на данных сайтах, но уверенности в этом нет.
Спасибо.
Вопрос закрыт.
Причина в том, что при загрузке страниц выполняется обработчик JS onload, в котором подгружаются данные и вносятся изменения в DOM.
Причина в том, что при загрузке страниц выполняется обработчик JS onload, в котором подгружаются данные и вносятся изменения в DOM.