PHP CURL獲取cookies模擬登錄的方法
更新時間:2013年11月04日 15:41:16 作者:
利用PHP的curl函數(shù)實現(xiàn)模擬登錄的方法。
要提取google搜索的部分數(shù)據(jù),發(fā)現(xiàn)google對于軟件抓取它的數(shù)據(jù)屏蔽的厲害,以前偽造下 USER-AGENT 就可以抓數(shù)據(jù),但是現(xiàn)在卻不行了。利用抓包數(shù)據(jù)發(fā)現(xiàn),Google 判斷了 cookies,當你沒有cookies的時候,直接返回 302 跳轉,而且是連續(xù)幾十個302跳轉,根本抓不了數(shù)據(jù)。
因此,在發(fā)送搜索命令時,需要先提取 cookies 并保存,然后利用保存下來的這個cookies再次發(fā)送搜索命令即可正常抓數(shù)據(jù)了。這其實和論壇的模擬登錄一個道理,先POST登錄,獲取cookies并保存,然后利用這個cookies訪問就可以了。
PHP 代碼如下:
<?php
header('Content-Type: text/html; charset=utf-8');
$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");
//先獲取cookies并保存
$url = "http://www.google.com.hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串,而非直接輸出
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); //存儲cookies
curl_exec($ch);
curl_close($ch);
//使用上面保存的cookies再次訪問
$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面獲取的cookies
$response = curl_exec($ch);
curl_close($ch);
echo $response;
?>
因此,在發(fā)送搜索命令時,需要先提取 cookies 并保存,然后利用保存下來的這個cookies再次發(fā)送搜索命令即可正常抓數(shù)據(jù)了。這其實和論壇的模擬登錄一個道理,先POST登錄,獲取cookies并保存,然后利用這個cookies訪問就可以了。
PHP 代碼如下:
復制代碼 代碼如下:
<?php
header('Content-Type: text/html; charset=utf-8');
$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");
//先獲取cookies并保存
$url = "http://www.google.com.hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串,而非直接輸出
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); //存儲cookies
curl_exec($ch);
curl_close($ch);
//使用上面保存的cookies再次訪問
$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面獲取的cookies
$response = curl_exec($ch);
curl_close($ch);
echo $response;
?>
相關文章
CI(CodeIgniter)框架中URL特殊字符處理與SQL注入隱患分析
這篇文章主要介紹了CI(CodeIgniter)框架中URL特殊字符處理與SQL注入隱患,結合實例形式分析了CodeIgniter框架中針對特殊字符的過濾及SQL注入隱患的相關原理,需要的朋友可以參考下2019-02-02PHP中exec函數(shù)和shell_exec函數(shù)的區(qū)別
這篇文章主要介紹了PHP中exec函數(shù)和shell_exec函數(shù)的區(qū)別,這兩個函數(shù)是非常危險的函數(shù),一般情況都是被禁用的,當然特殊情況下也會使用,需要的朋友可以參考下2014-08-08使用PHP Socket 編程模擬Http post和get請求
這篇文章主要介紹了使用PHP Socket 編程模擬Http post和get請求 ,需要的朋友可以參考下2014-11-11Zend Framework教程之路由功能Zend_Controller_Router詳解
這篇文章主要介紹了Zend Framework教程之路由功能Zend_Controller_Router,詳細分析了路由功能Zend_Controller_Router的原理,使用技巧與相關注意事項,需要的朋友可以參考下2016-03-03