解析file_get_contents模仿瀏覽器頭(user_agent)獲取數(shù)據(jù)
更新時間：2013年06月27日 16:18:20 作者：
本篇文章是對file_get_contents模仿瀏覽器頭(user_agent)獲取數(shù)據(jù)進行了詳細的分析介紹，需要的朋友參考下
什么是user agent
User Agent中文名為用戶代理，簡稱 UA，它是一個特殊字符串頭，使得服務(wù)器能夠識別客戶使用的操作系統(tǒng)及版本、CPU 類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。
網(wǎng)站可以通過判斷不同UA來呈現(xiàn)不同的網(wǎng)站，例如手機訪問和PC訪問顯示不同的頁面。
PHP在用file_get_contents函數(shù)采集網(wǎng)站時，有時會明明用瀏覽器可以看，但就是采不到任何內(nèi)容。
這很有可能是服務(wù)器上做了設(shè)置，根據(jù) User_agent判斷是否為正常的瀏覽器請求，因為默認PHP的file_get_contents函數(shù)是不發(fā)送ua的。
如果要采集這樣的網(wǎng)站，我們就必須要讓PHP模擬瀏覽器發(fā)送UA，欺騙網(wǎng)站返回正常內(nèi)容。
實現(xiàn)如下：
ini_set('user_agent','Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; 4399Box.560; .NET4.0C; .NET4.0E)');
這是模擬IE8環(huán)境下的UA，當然你也可以換成其他的。比如中火狐
也可以這樣讀?。?BR>
復(fù)制代碼 代碼如下:
$opts = array(
'http'=>array(
'method'=>"GET",
'header'=>"Host: zh.wikipedia.org\r\n" .
"Accept-language: zh-cn\r\n" .
"User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; 4399Box.560; .NET4.0C; .NET4.0E)" .
"Accept: *//*"
)
);
您可能感興趣的文章:
- 深入file_get_contents函數(shù)抓取內(nèi)容失敗的原因分析
- 解析PHP中的file_get_contents獲取遠程頁面亂碼的問題
- file_get_contents("php://input", "r")實例介紹
- php讀取本地文件常用函數(shù)(fopen與file_get_contents)
- PHP file_get_contents設(shè)置超時處理方法
- php file_get_contents抓取Gzip網(wǎng)頁亂碼的三種解決方法
- 解決file_get_contents無法請求https連接的方法
- PHP中file_get_contents高級用法實例
- php中file_get_contents與curl性能比較分析
- php 使用file_get_contents讀取大文件的方法
- PHP中file_get_contents函數(shù)抓取https地址出錯的解決方法(兩種方法)
相關(guān)文章
ADODB使用方法 作者:飛豹游俠 整理：淡水河邊2008-03-03
實測在class的function中include的文件中非php的global全局環(huán)境
正如標題所言經(jīng)測試的結(jié)果為：在class中include后,被include文件變量域已經(jīng)變成func中了,非全局.但是可以通過global提升，感興趣的朋友可以參考下哈，希望對大家有所幫助2013-07-07
做項目的有時會弄個活動什么的，來讓用戶參加，既吸引用戶注冊，又提高網(wǎng)站的用戶活躍度。同時參加的用戶會獲得一定的獎品，有100%中獎的，也有按一定概率中獎的，大的比如中個ipad，小的中個Q幣。那么我們在程序里必然會設(shè)計到算法，即按照一定的概率讓用戶獲得獎品。2015-09-09
解析PHP留言本模塊主要功能的函數(shù)說明(代碼可實現(xiàn))
本篇文章是對PHP留言本中主要的函數(shù)以及代碼進行了詳細的分析介紹，需要的朋友參考下2013-06-06
這篇文章主要介紹了PHP5.2下preg_replace函數(shù)的問題,需要的朋友可以參考下2015-05-05
php 中self,this的區(qū)別和操作方法實例分析
這篇文章主要介紹了php 中self,this的區(qū)別和操作方法,結(jié)合實例形式分析了PHP面向?qū)ο蟪绦蛟O(shè)計中self,this的功能、區(qū)別、使用方法與操作注意事項,需要的朋友可以參考下2019-11-11
這篇文章主要給大家介紹了php中PDO異常處理的相關(guān)內(nèi)容，文中給大家先進行了簡單的介紹，然后通過實例代碼給大家介紹了使用方式，介紹的非常詳細，有需要的朋友們可以參考借鑒，感興趣的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧。2016-11-11
這篇文章主要介紹了PHP針對字符串開頭和結(jié)尾的判斷方法,涉及php字符串操作的判斷、截取、判斷、比較等函數(shù)用法與注意事項,需要的朋友可以參考下2016-07-07
這篇文章主要介紹了php進行ip地址掩碼運算處理的方法,涉及php字符串及網(wǎng)絡(luò)操作相關(guān)技巧,需要的朋友可以參考下2016-07-07
PHP在innodb引擎下快速代建全文搜索功能簡明教程【基于xunsearch】
這篇文章主要介紹了PHP在innodb引擎下快速代建全文搜索功能的方法,可基于開源搜索引擎xunsearch實現(xiàn),簡明扼要的講述了安裝與使用的步驟與相關(guān)操作技巧,需要的朋友可以參考下2016-10-10