解決Python的requests中text中文亂碼的問(wèn)題
Python的requests中text中文亂碼
今天學(xué)習(xí)python爬蟲是遇到了字符編碼的問(wèn)題
target = 'http://www.biqukan.com/1_1094/5403177.html' req = requests.get(url=target) print req.text
打印出來(lái)的中文都是亂碼，現(xiàn)在說(shuō)一下解決方案。
解決方案
首先要明確的是，req.text返回的是unicode，也就是說(shuō)無(wú)法再decode，所以網(wǎng)上那些先decode再encode的方法是沒法使用的，這種方法適用的是req.content。
通過(guò)查看網(wǎng)站源碼，發(fā)現(xiàn)網(wǎng)站使用的charset是gbk，Requests 會(huì)自動(dòng)解碼來(lái)自服務(wù)器的內(nèi)容。
大多數(shù) unicode 字符集都能被無(wú)縫地解碼。
請(qǐng)求發(fā)出后，Requests 會(huì)基于 HTTP 頭部對(duì)響應(yīng)的編碼作出有根據(jù)的推測(cè)。
當(dāng)你訪問(wèn) r.text 之時(shí)，Requests 會(huì)使用其推測(cè)的文本編碼。
你可以找出 Requests 使用了什么編碼，并且能夠使用 r.encoding 屬性來(lái)改變它，我認(rèn)為requests對(duì)編碼做出了錯(cuò)誤的判斷，所以進(jìn)行了下面的設(shè)置：
req.encoding='gbk'
注意，這里的gbk是因?yàn)榫W(wǎng)頁(yè)使用的是gbk。
然后再對(duì)text進(jìn)行編碼
text = req.text
print text.encode('utf-8')就能正確的打印出中文了
完整的代碼
如下：
# coding: UTF-8
import requests
if __name__ == '__main__':
target = 'http://www.biqukan.com/1_1094/5403177.html'
req = requests.get(url=target)
req.encoding='gbk'
# content = req.content.decode('gbk').encode('utf-8')
# print content
text = req.text
print(isinstance(text, unicode))
print text.encode('utf-8')總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了Python?OpenCV尋找兩條曲線直接的最短距離，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01
Python+ChatGPT實(shí)現(xiàn)5分鐘快速上手編程
最近一段時(shí)間chatGPT火爆出圈！無(wú)論是在互聯(lián)網(wǎng)行業(yè)，還是其他各行業(yè)都賺足了話題。俗話說(shuō)：“外行看笑話，內(nèi)行看門道”，今天從chatGPT個(gè)人體驗(yàn)感受以及如何用的角度來(lái)分享一下2023-02-02
在主機(jī)商的共享服務(wù)器上部署Django站點(diǎn)的方法
這篇文章主要介紹了在主機(jī)商的共享服務(wù)器上部署Django站點(diǎn)的方法,Django是最具人氣的Python框架,需要的朋友可以參考下2015-07-07
python測(cè)試驅(qū)動(dòng)開發(fā)實(shí)例
這篇文章主要介紹了python測(cè)試驅(qū)動(dòng)開發(fā)實(shí)例,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2014-10-10
在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python與c語(yǔ)法區(qū)別的相關(guān)內(nèi)容，有興趣的朋友們可以參考下。2020-09-09
Python數(shù)據(jù)分析之繪制ppi-cpi剪刀差圖形
這篇文章主要介紹了Python數(shù)據(jù)分析之繪制ppi-cpi剪刀差圖形，ppi-cp剪刀差是通過(guò)這個(gè)指標(biāo)可以了解當(dāng)前的經(jīng)濟(jì)運(yùn)行狀況，下文更多詳細(xì)內(nèi)容介紹需要的小伙伴可以參考一下2022-05-05
在Python中使用swapCase()方法轉(zhuǎn)換大小寫的教程
這篇文章主要介紹了在Python中使用swapCase()方法轉(zhuǎn)換大小寫的教程,是Python入門中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05
這篇文章主要介紹了python中的全局變量與局部變量用法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
下面小編就為大家?guī)?lái)一篇python 字典(dict)按鍵和值排序。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-06-06
基于Python執(zhí)行dos命令并獲取輸出的結(jié)果
這篇文章主要介紹了基于Python執(zhí)行dos命令并獲取輸出的結(jié)果,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12