Python爬蟲爬取商品失敗處理方法
更新時間：2021年08月05日 08:28:56 作者：py
在本篇文章里小編給大家整理了一篇關(guān)于Python爬蟲爬取商品失敗處理方法，有興趣的朋友們可以學(xué)習(xí)參考下。
1.登陸網(wǎng)站，開啟開發(fā)者模式。
可以在瀏覽器中點擊右鍵檢查或者F12打開開發(fā)者模式。
2.點選 NetWork，DOC，然后刷新頁面。
在 network 中選擇 doc，在請求的 headers 中搜索 cookie。
3.獲取對應(yīng)的 cookie 以及 user-agent。
4.在代碼中添加到 headers 里面。
def getHTMLText(url):
kv = {
'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
try:
r = requests.get(url, headers=kv, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "gg"
實例擴展：
程序的結(jié)構(gòu)設(shè)計
- 提交商品搜索請求，循環(huán)獲取頁面
- 對于每個頁面，提取商品名稱和價格信息
- 將信息輸出
遇到問題
爬取成功，數(shù)據(jù)有問題
打印 html 文件，返回如下
<script type="text/javascript">
TRLang = {
ERROR_NICK_BLANK: "請?zhí)顚戀~戶名",
ERROR_PASSWORD_BLANK: "請輸入密碼",
ERROR_NICK_PASSWORD_BLANK: "請輸入賬戶名和密碼",
ERROR_CHECKCODE_BLANK: "請輸入驗證碼",
TIPS_REMEMBER_PASSWORD: "記住密碼",
TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共計算機記住密碼，防止賬戶被盜"
};
</script>
到此這篇關(guān)于Python爬蟲爬取商品失敗處理方法的文章就介紹到這了,更多相關(guān)Python爬蟲爬取商品失敗內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
- 關(guān)于python爬蟲應(yīng)用urllib庫作用分析
- python爬蟲Scrapy框架:媒體管道原理學(xué)習(xí)分析
- python爬蟲Mitmproxy安裝使用學(xué)習(xí)筆記
- Python爬蟲和反爬技術(shù)過程詳解
- python爬蟲之Appium爬取手機App數(shù)據(jù)及模擬用戶手勢
- 爬蟲Python驗證碼識別入門
- Python爬蟲技術(shù)
- Python獲取江蘇疫情實時數(shù)據(jù)及爬蟲分析
- Python爬蟲之Scrapy環(huán)境搭建案例教程
- Python爬蟲中urllib3與urllib的區(qū)別是什么
- 教你如何利用python3爬蟲爬取漫畫島-非人哉漫畫
- Python爬蟲分析匯總
相關(guān)文章
本文主要介紹了新版selenium4.0 + Python使用詳解，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
python刪除列表元素del,pop(),remove()及clear()
這篇文章主要介紹了python刪除列表元素del,pop(),remove()及clear()，列表元素能增加就可以刪除，這里要給大家介紹的是刪除列表元素，具有一定的參考價值，需要的小伙伴可以參考一下2022-03-03
Python OpenCV機器學(xué)習(xí)之圖像識別詳解
OpenCV中也提供了一些機器學(xué)習(xí)的方法，例如DNN等。本文將為大家詳細介紹一下OpenCV中利用機器學(xué)習(xí)實現(xiàn)的一些圖片識別功能：人臉識別、車牌識別等，感興趣的可以了解一下2022-01-01
這篇文章主要為大家詳細介紹了PyCharm安裝使用教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-08-08
Python構(gòu)造函數(shù)與析構(gòu)函數(shù)超詳細分析
在python之中定義一個類的時候會在類中創(chuàng)建一個名為__init__的函數(shù)，這個函數(shù)就叫做構(gòu)造函數(shù)。它的作用就是在實例化類的時候去自動的定義一些屬性和方法的值，而析構(gòu)函數(shù)恰恰是一個和它相反的函數(shù)，這篇文章主要介紹了Python構(gòu)造函數(shù)與析構(gòu)函數(shù)2022-11-11
這篇文章主要介紹了Python如何讀寫CSV文件，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-08-08
在本篇文章里我們給各位整理了一篇關(guān)于python是否適合網(wǎng)頁編程詳解內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。2019-10-10
關(guān)于tensorflow的幾種參數(shù)初始化方法小結(jié)
今天小編就為大家分享一篇關(guān)于tensorflow的幾種參數(shù)初始化方法小結(jié)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
Python實現(xiàn)批量修改圖片格式和大小的方法【opencv庫與PIL庫】
這篇文章主要介紹了Python實現(xiàn)批量修改圖片格式和大小的方法,結(jié)合實例形式分析了Python基于opencv庫與PIL庫針對圖片的讀寫、轉(zhuǎn)換相關(guān)操作技巧,需要的朋友可以參考下2018-12-12
Jupyter Notebook是一個開源的Web應(yīng)用程序，允許用戶創(chuàng)建和共享包含代碼、方程式、可視化和文本的文檔，今天通過本文給大家分享python jupyter入門教程，需要的朋友一起看看吧2021-08-08