python中的decode()與encode()深入理解
unicode編碼方案:
unicode只規(guī)定了每個(gè)字符所對應(yīng)的碼值(碼點(diǎn)),即編碼,但并沒有規(guī)定如何在計(jì)算機(jī)中實(shí)現(xiàn)。同一個(gè)字符,可通過utf-8、utf-16、utf-32、gb2312(對中文)等多種方式各自實(shí)現(xiàn)。encode()方法就是將unicode編碼方式轉(zhuǎn)化為對應(yīng)的實(shí)現(xiàn)方式,而decode()相反,將實(shí)現(xiàn)方式轉(zhuǎn)化為編碼。
1.decode()
bytes.decode(encoding=“utf-8”, errors=“strict”)
1.這個(gè)函數(shù)是bytes類型數(shù)據(jù)調(diào)用的,字符串str類型是不能夠調(diào)用的。(好多文章說字符串也可以調(diào)用該函數(shù),我是真搞不懂。)
2.該函數(shù)返回字符串。換句話說是bytes類型轉(zhuǎn)化成str類型的函數(shù)。
3.encoding規(guī)定解碼方式。bytes數(shù)據(jù)是由什么編碼方式編碼的,該函數(shù)encoding參數(shù)就必須用相應(yīng)解碼方式,這樣才能返回正確字符串。解碼后的字符串自動(dòng)轉(zhuǎn)為unicode編碼方式。
4.errors參數(shù)默認(rèn)為strict,即解碼錯(cuò)誤后引起異常發(fā)生。其他參數(shù)值為ignore,replace等。
2.encode()
str.encode(encoding=“utf-8”, errors=“strict”)
參數(shù)含義同上。這個(gè)函數(shù)將字符串轉(zhuǎn)化成相應(yīng)編碼方式的字節(jié)形式。對于ASCII字符(數(shù)字,英文,部分標(biāo)點(diǎn)符號)而言,不同編碼方式編碼后的字節(jié)是一樣的。但是對于中文來說,編碼后的字節(jié)不一樣。
3.轉(zhuǎn)碼
例如,我有一個(gè)中文網(wǎng)站,網(wǎng)站編碼方式為gb2312,我通過requests請求后要將網(wǎng)頁打印出來。但是python內(nèi)部是unicode編碼的,直接response.text肯定會(huì)返回亂碼。
import requests url_all="https://www.kanunu8.com/" header_all={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36', 'upgrade-insecure-request': '1', } def get_classification_urls(url,headers): try: response=requests.get(url,headers=headers,timeout=10) if response.status_code==200: print(response.text)) except Exception as e: print(e)
如下圖,果然亂碼
這時(shí)就需要正確解碼,即將gb2312解碼為unicode.我們可以這樣:
1.先獲取編碼的二進(jìn)制格式,該格式為gb2312編碼的二進(jìn)制:
bytes=response.content
2.將二進(jìn)制格式通過decode()函數(shù)解碼為unicode格式:
bytes.decode(encoding="gb2312")
decode()函數(shù)是bytes類型轉(zhuǎn)str類型,這樣就能夠返回正確的字符串了。
當(dāng)然,這個(gè)例子即使通過gb2312解碼,仍然是亂碼。原因可能是原網(wǎng)頁含有g(shù)b2312不能識別的字符(雖然gb2312是為中國文字服務(wù)的,但是有些少數(shù)名族的字符也屬于中國文字,但是并沒有包含在gb2312內(nèi))。后來為了擴(kuò)充編碼,由在gb2312基礎(chǔ)上增加了gbk和gb18030編碼,二者范圍更廣。事例用gb18030即可正確解碼。
到此這篇關(guān)于python中的decode()與encode()詳解的文章就介紹到這了,更多相關(guān)python decode()與encode()函數(shù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python中的測試模塊unittest和doctest的使用教程
這篇文章主要介紹了Python中的測試模塊unittest和doctest的使用教程,本文來自于IBM官方網(wǎng)站技術(shù)文檔,需要的朋友可以參考下2015-04-04用python實(shí)現(xiàn)爬取奧特曼圖片實(shí)例
大家好,本篇文章主要講的是用python實(shí)現(xiàn)爬取奧特曼圖片實(shí)例,感興趣的同學(xué)趕快來看一看吧,對你有幫助的話記得收藏一下2022-02-02pd.read_csv讀取文件路徑出現(xiàn)的問題解決
本文主要介紹了pd.read_csv讀取文件路徑出現(xiàn)的問題解決,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06學(xué)會(huì)迭代器設(shè)計(jì)模式,幫你大幅提升python性能
這篇文章主要介紹了python 迭代器設(shè)計(jì)模式的相關(guān)資料,幫助大家更好的理解和使用python,感興趣的朋友可以了解下2021-01-01windows下pycharm安裝、創(chuàng)建文件、配置默認(rèn)模板
這篇文章主要為大家詳細(xì)介紹了windows下pycharm安裝、創(chuàng)建文件、配置默認(rèn)模板,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-07-07基于Python新建用戶并產(chǎn)生隨機(jī)密碼過程解析
這篇文章主要介紹了基于Python新建用戶并產(chǎn)生隨機(jī)密碼過程解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10