亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python中使用urllib2偽造HTTP報(bào)頭的2個(gè)方法

 更新時(shí)間:2014年07月07日 10:43:58   投稿:junjie  
這篇文章主要介紹了python中使用urllib2偽造HTTP報(bào)頭的2個(gè)方法,即偽造http頭信息,需要的朋友可以參考下

在采集網(wǎng)頁(yè)信息的時(shí)候,經(jīng)常需要偽造報(bào)頭來(lái)實(shí)現(xiàn)采集腳本的有效執(zhí)行

下面,我們將使用urllib2的header部分偽造報(bào)頭來(lái)實(shí)現(xiàn)采集信息

方法1、

#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
 
import urllib2
import sys
 
#抓取網(wǎng)頁(yè)內(nèi)容-發(fā)送報(bào)頭-1
url= "http://chabaoo.cn"
send_headers = {
 'Host':'chabaoo.cn',
 'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0',
 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
 'Connection':'keep-alive'
}
 
req = urllib2.Request(url,headers=send_headers)
r = urllib2.urlopen(req)
 
html = r.read()        #返回網(wǎng)頁(yè)內(nèi)容
receive_header = r.info()     #返回的報(bào)頭信息
 
# sys.getfilesystemencoding() 
html = html.decode('utf-8','replace').encode(sys.getfilesystemencoding()) #轉(zhuǎn)碼:避免輸出出現(xiàn)亂碼 
 
print receive_header
# print '####################################'
print html

方法2、

#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
 
import urllib2
import sys
 
url = 'http://chabaoo.cn'
 
req = urllib2.Request(url)
req.add_header('Referer','http://chabaoo.cn/')
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0')
r = urllib2.urlopen(req)
 
html = r.read()
receive_header = r.info()
 
html = html.decode('utf-8').encode(sys.getfilesystemencoding())
 
print receive_header
print '#####################################'
print html

相關(guān)文章

  • python實(shí)現(xiàn)掃雷小游戲

    python實(shí)現(xiàn)掃雷小游戲

    這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)掃雷小游戲,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2020-04-04
  • python 命令行傳參方法總結(jié)

    python 命令行傳參方法總結(jié)

    這篇文章主要介紹了python 命令行傳參方法總結(jié),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-05-05
  • python使用for循環(huán)計(jì)算0-100的整數(shù)的和方法

    python使用for循環(huán)計(jì)算0-100的整數(shù)的和方法

    今天小編就為大家分享一篇python使用for循環(huán)計(jì)算0-100的整數(shù)的和方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-02-02
  • Python中八大圖像特效算法的示例詳解

    Python中八大圖像特效算法的示例詳解

    圖像特效處理是基于圖像像素?cái)?shù)據(jù)特征,將原圖像進(jìn)行一定步驟的計(jì)算——例如像素作差、灰度變換、顏色通道融合等,從而達(dá)到期望的效果。本文將為大家介紹八種常用的圖像特效算法,需要的可以參考一下
    2022-03-03
  • 利用Python獲取操作系統(tǒng)信息實(shí)例

    利用Python獲取操作系統(tǒng)信息實(shí)例

    作為一個(gè)運(yùn)維人員,經(jīng)常需要獲取系統(tǒng)的的各種信息,使用python會(huì)很方便幫助獲得,這篇文章運(yùn)用實(shí)例告訴大家如何利用Python來(lái)獲取操作系統(tǒng)的信息,有需要的可以參考借鑒。
    2016-09-09
  • Python錯(cuò)誤的處理方法

    Python錯(cuò)誤的處理方法

    這篇文章主要介紹了Python錯(cuò)誤的處理方法,文中代碼非常詳細(xì),幫助大家更好的理解和學(xué)習(xí),感興趣的朋友可以了解下
    2020-06-06
  • python如何判斷IP地址合法性

    python如何判斷IP地址合法性

    這篇文章主要為大家詳細(xì)介紹了python如何判斷IP地址合法性,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2020-04-04
  • 基于Python制作公交車站查詢系統(tǒng)

    基于Python制作公交車站查詢系統(tǒng)

    這篇文章主要介紹了如何利用Python制作一個(gè)簡(jiǎn)單的公交車站查詢系統(tǒng)。文中的示例代碼講解詳細(xì),對(duì)我們學(xué)習(xí)Python有一定的幫助,需要的可以參考一下
    2022-01-01
  • 詳解Python裝飾器由淺入深

    詳解Python裝飾器由淺入深

    裝飾器的功能在很多語(yǔ)言中都有,名字也不盡相同,其實(shí)它體現(xiàn)的是一種設(shè)計(jì)模式,強(qiáng)調(diào)的是開放封閉原則,更多的用于后期功能升級(jí)而不是編寫新的代碼。本文盡量描述得淺顯易懂,從最基礎(chǔ)的內(nèi)容講起。
    2016-12-12
  • Python的哈希hashlib模塊詳細(xì)解讀

    Python的哈希hashlib模塊詳細(xì)解讀

    這篇文章主要介紹了Python的哈希hashlib模塊詳細(xì)解讀,hashlib是一個(gè)提供字符加密功能的模塊,包含MD5和SHA的加密算法,具體支持md5,sha1, sha224, sha256, sha384, sha512等算法, 該模塊在用戶登錄認(rèn)證方面應(yīng)用廣泛,對(duì)文本加密也很常見,需要的朋友可以參考下
    2023-09-09

最新評(píng)論