Python爬取YY評(píng)級(jí)分?jǐn)?shù)并保存數(shù)據(jù)實(shí)現(xiàn)過程解析
前言
當(dāng)需要進(jìn)行大規(guī)模查詢時(shí)（比如目前遇到的情形：查詢某個(gè)省所有發(fā)債企業(yè)的YY評(píng)級(jí)分?jǐn)?shù)），人工查詢顯然太過費(fèi)時(shí)，那就寫個(gè)爬蟲吧。
由于該爬蟲實(shí)在過于簡單，就只簡單概述下。
一、請求端
通過觀察YY評(píng)級(jí)的網(wǎng)頁信息，如下圖（F12或右擊進(jìn)入檢查，點(diǎn)擊network—>XHR—>headers）。
紅色框表明是個(gè)get請求（其實(shí)這種網(wǎng)頁基本都是Ajax get，需要總結(jié)實(shí)際url的規(guī)律的）。
綠色框即為實(shí)際URL，通過分析該URL，其由兩部分組成。前半部分為“
https://web.ratingdog.cn/v1/search?”，后半部分為黃色框內(nèi)內(nèi)容用“&”符號(hào)連接后的結(jié)果。黃色框內(nèi)的內(nèi)容，只有企業(yè)名稱為變量，且為已知變量，那URL即可據(jù)此確定了。
另外需注意，YY評(píng)級(jí)需要登錄才可查詢數(shù)據(jù)，在構(gòu)建頭部信息進(jìn)行訪問時(shí)，一定要提前登錄，并在頭部信息中放入登錄信息和登錄狀態(tài)。
二、響應(yīng)端
通過觀察網(wǎng)頁的響應(yīng)信息（F12或右擊進(jìn)入檢查，點(diǎn)擊network—>XHR—>response），如下圖。響應(yīng)信息及其簡單，我們所需要的YY評(píng)級(jí)分?jǐn)?shù)安詳?shù)靥稍谀抢?，簡單到一個(gè)正則表達(dá)式就可以提取出該數(shù)據(jù)。正則如下：
"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"
三、代碼
所需數(shù)據(jù)較少，代碼相對簡單，就不建立函數(shù)了，直接一路到底吧。如下：
運(yùn)行代碼后，得到結(jié)果如下。安徽省的100多條數(shù)據(jù)，就到了本地了
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python實(shí)現(xiàn)json文件的增刪改操作方法
這篇文章主要介紹了python實(shí)現(xiàn)json文件的增刪改操作,本文通過示例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-06-06
python使用opencv進(jìn)行人臉識(shí)別
本文主要介紹了python使用opencv進(jìn)行人臉識(shí)別的相關(guān)資料。具有很好的參考價(jià)值。下面跟著小編一起來看下吧2017-04-04
不過下面可是我們開發(fā)產(chǎn)品初期的一些血淋淋的案例，更多的安全威脅可以看看北北同學(xué)的《python hack》PPT，里面提及了不只命令執(zhí)行的威脅，那些都是我們親身經(jīng)歷的代碼2013-02-02
解決pycharm中opencv-python導(dǎo)入cv2后無法自動(dòng)補(bǔ)全的問題(不用作任何文件上的修改)
這篇文章主要介紹了解決pycharm中opencv-python導(dǎo)入cv2后無法自動(dòng)補(bǔ)全的問題(不用作任何文件上的修改),本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-03-03
Python3.7 pyodbc完美配置訪問access數(shù)據(jù)庫
最近小編需要學(xué)習(xí)python連接access數(shù)據(jù)庫，發(fā)現(xiàn)很多朋友推薦pyodbc，那么這篇文章就先為大家介紹一下Python3.7下pyodbc的配置方法2019-10-10
Python中OpenCV圖像特征和harris角點(diǎn)檢測
Harris角點(diǎn)檢測算子是于1988年由CHris Harris & Mike Stephens提出來的。在具體展開之前，不得不提一下Moravec早在1981就提出來的Moravec角點(diǎn)檢測算子。本文重點(diǎn)給大家介紹OpenCV圖像特征harris角點(diǎn)檢測知識(shí)，一起看看吧2021-09-09
yield關(guān)鍵字用于創(chuàng)建生成器函數(shù),一種高效利用內(nèi)存的函數(shù)類型,可以像迭代器對象一樣使用,本文主要介紹了Python中的yield關(guān)鍵字的應(yīng)用,需要的可以參考下2023-08-08
Python異步編程之協(xié)程任務(wù)的調(diào)度操作實(shí)例分析
這篇文章主要介紹了Python異步編程之協(xié)程任務(wù)的調(diào)度操作,結(jié)合實(shí)例形式分析了Python異步編程中協(xié)程任務(wù)的調(diào)度相關(guān)原理、實(shí)現(xiàn)方法與操作注意事項(xiàng),需要的朋友可以參考下2020-02-02
Python下載網(wǎng)絡(luò)小說實(shí)例代碼
這篇文章主要介紹了Python下載網(wǎng)絡(luò)小說實(shí)例代碼，分享了相關(guān)代碼示例，小編覺得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下2018-02-02
詳解Python匿名函數(shù)（lambda函數(shù)）
這篇文章主要介紹了Python匿名函數(shù)（lambda函數(shù)），文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04