Python3爬蟲之urllib攜帶cookie爬取網頁的方法
更新時間:2018年12月28日 11:49:52 作者:haeasringnar
今天小編就為大家分享一篇Python3爬蟲之urllib攜帶cookie爬取網頁的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示:
import urllib.request import urllib.parse url = 'https://weibo.cn/5273088553/info' #正常的方式進行訪問 # headers = { # 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36' # } # 攜帶cookie進行訪問 headers = { 'GET https':'//weibo.cn/5273088553/info HTTP/1.1', 'Host':' weibo.cn', 'Connection':' keep-alive', 'Upgrade-Insecure-Requests':' 1', 'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36', 'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', # 'Referer: https':'//weibo.cn/', 'Accept-Language':' zh-CN,zh;q=0.9', 'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821', } request = urllib.request.Request(url=url,headers=headers) response = urllib.request.urlopen(request) #輸出所有 # print(response.read().decode('gbk')) #將內容寫入文件中 with open('weibo.html','wb') as fp: fp.write(response.read())
以上這篇Python3爬蟲之urllib攜帶cookie爬取網頁的方法就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
python?DataFrame中l(wèi)oc與iloc取數(shù)據(jù)的基本方法實例
這篇文章主要給大家介紹了關于python?DataFrame中l(wèi)oc與iloc取數(shù)據(jù)的基本方法,文中通過實例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2022-02-02python讀取.mat文件及將變量存為.mat文件的詳細介紹
這篇文章主要給大家介紹了關于python讀取.mat文件及將變量存為.mat文件的詳細介紹,?mat文件是matlab的數(shù)據(jù)存儲的標準格式,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2024-06-06解決pycharm下載庫時出現(xiàn)Failed to install package的問題
很多小伙伴遇到pycharm下載庫時出現(xiàn)Failed to install package不知道怎么解決,下面小編給大家?guī)砹私鉀Q方法,需要的朋友參考下吧2021-09-09