requests.gPython?用requests.get獲取網(wǎng)頁內(nèi)容為空?’?’問題
下面先來看一個例子：
import ?requests
result=requests.get("http://data.10jqka.com.cn/financial/yjyg/")
result輸出結(jié)果：
繼續(xù)運行，發(fā)現(xiàn)返回空值，在請求網(wǎng)頁爬取的時候，輸出的text信息中會出現(xiàn)抱歉，無法訪問等字眼，這就是禁止爬取，需要通過反爬機制去解決這個問題。headers是解決requests請求反爬的方法之一，相當于我們進去這個網(wǎng)頁的服務器本身，假裝自己本身在爬取數(shù)據(jù)。對反爬蟲網(wǎng)頁，可以設置一些headers信息，模擬成瀏覽器取訪問網(wǎng)站 。
一、如何設置headers
拿兩個常用的瀏覽器舉例：
1、QQ瀏覽器
界面 F12
點擊network 鍵入 CTRL+R
單擊第一個 最下邊就是我門需要的 把他設置成headers解決問題
2、Miscrosft edge
二、微軟自帶瀏覽器
同樣 F12 打開開發(fā)者工具
點擊網(wǎng)絡，CTRL+R
前文代碼修改：
import requests
ur="http://data.10jqka.com.cn/financial/yjyg/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '}
result = requests.get(ur, headers=headers)
result.text成功解決不能爬取問題
到此這篇關于requests.gPython 用requests.get獲取網(wǎng)頁內(nèi)容為空 ’ ’的文章就介紹到這了,更多相關requests.gPython 用requests.get獲取網(wǎng)頁內(nèi)容為空 ’ ’內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
使用python?pywin32模塊創(chuàng)建windows服務實例探究
這篇文章主要為大家介紹了使用python?pywin32模塊創(chuàng)建windows服務實現(xiàn)實例探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01
Python使用 Beanstalkd 做異步任務處理的方法
這篇文章主要介紹了Python使用 Beanstalkd 做異步任務處理的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-04-04
pandas將Series轉(zhuǎn)成DataFrame的實現(xiàn)
本文主要介紹了pandas將Series轉(zhuǎn)成DataFrame的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-01-01
這篇文章主要介紹了python多環(huán)境切換及pyenv使用過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
pycharm2022.1最新永久激活碼破解補丁一鍵安裝教程免費分享（2022持續(xù)更新）
更新到Pycharm 2022.2.x版,pycharm2022.2最新可用永久激活碼分享（持續(xù)更新），pycharm激活補丁一鍵安裝簡單方便，無需手動修改文件，兼容蘋果MAC,linux,Windows系統(tǒng)2022-07-07
Python3調(diào)用百度AI識別圖片中的文字功能示例【測試可用】
這篇文章主要介紹了Python3調(diào)用百度AI識別圖片中的文字功能,結(jié)合實例形式分析了Python3安裝及使用百度AI接口的相關操作技巧,并附帶說明了百度官方AI平臺的注冊及接口調(diào)用操作方法,需要的朋友可以參考下2019-03-03
在python3中實現(xiàn)查找數(shù)組中最接近與某值的元素操作
今天小編就為大家分享一篇在python3中實現(xiàn)查找數(shù)組中最接近與某值的元素操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Pycharm-community-2020.2.3 社區(qū)版安裝教程圖文詳解
這篇文章主要介紹了Pycharm-community-2020.2.3 社區(qū)版安裝教程圖文詳解,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-12-12
在Python中使用SimpleParse模塊進行解析的教程
這篇文章主要介紹了在Python中使用SimpleParse模塊進行解析的教程,文章來自于IBM官方的開發(fā)者技術(shù)文檔,需要的朋友可以參考下2015-04-04
這篇文章主要為大家詳細介紹了python實現(xiàn)大文件分割與合并，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-07-07