<?php set_time_limit(0);
function GetHTML($url)
{
$cookie = parse_url($url);
$cookie_file = str_replace('\\','/', getcwd());
$cookie_file .= '/'.$cookie['host'].'_cookie.txt';
$cURL_UsAg = 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.89 Safari/532.5';
$cURL_timeout = 150;
$rh=curl_init($url);
curl_setopt($rh, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($rh, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($rh, CURLOPT_TIMEOUT, $cURL_timeout);
curl_setopt($rh, CURLOPT_HEADER, 1);
curl_setopt($rh, CURLOPT_REFERER, $url);
curl_setopt($rh, CURLOPT_USERAGENT, $cURL_UsAg);
curl_setopt($rh, CURLOPT_COOKIEFILE, $cookie_file);
curl_setopt($rh, CURLOPT_COOKIEJAR, $cookie_file);
//curl_setopt($rh, CURLOPT_HTTPHEADER, array('Expect:'));
$qw=curl_exec($rh);
return $qw;
}
echo GetHTML('http://site.ru/');
?>
cURL - специфика
Столкнулся с сайтом (вероятно со специальной защитой), который при запросе страницы с помощью cURL или file_get_contents возвращает неполный html-код страницы.
При этом, через обычный браузер сайт без проблем загружается.
Кто сталкивался с таким? В чем причина и как с ней бороться.
При этом, через обычный браузер сайт без проблем загружается.
Кто сталкивался с таким? В чем причина и как с ней бороться.
Нужно послать все заголовки что и IE. Может быть проверка по user-agent.
Цитата: whitehood
Нужно послать все заголовки что и IE. Может быть проверка по user-agent.
Я так и делал. В том числе, пробывал различные UserAgent`ы.
желателен код (ваш)
А может там часть страницы яваскриптом дописывается? Я такой сайт тоже видел, но не стал вникать, почему он не выдаёт ничего.
