Python實(shí)現(xiàn)自動(dòng)識(shí)別并批量轉(zhuǎn)換文本文件編碼
如題,很簡(jiǎn)單,就是先用chardet 庫(kù)識(shí)別文件編碼,解碼之后再輸出成目標(biāo)編碼。算是個(gè)偶爾能用上的小工具,要用的時(shí)候萬(wàn)一沒(méi)有就很難受的那種,比如,網(wǎng)上下載了別人的項(xiàng)目文件,一打開(kāi)全是亂碼……
代碼
加了比較詳細(xì)的注釋~~ 看懂的要求應(yīng)該不高,平時(shí)用過(guò)Python,知道幾個(gè)常用庫(kù)就行。
from pathlib import Path import chardet import re def text_file_encoding_convert(f: Path, target_encoding: str, *, dry_run=False) -> (bool, str, float): ''' 轉(zhuǎn)換單個(gè)文件到目標(biāo)編碼 @param f 文件路徑 @param target_encoding 目標(biāo)編碼,比如urf-8 @param dry_run 為T(mén)rue 時(shí)不實(shí)際修改源文件 @return 返回三個(gè)值分別為(是否成功,估計(jì)的源文件編碼,估計(jì)的把握) ''' target_encoding = target_encoding.lower() # python 的標(biāo)準(zhǔn)編碼名稱都是小寫(xiě) raw = f.read_bytes() result = chardet.detect(raw) encoding = result["encoding"].lower() # chardet 估計(jì)出來(lái)的編碼名稱 confidence = result["confidence"] # 估計(jì)的把握 flag = True # 下面的單次for 循環(huán)用來(lái)避免重復(fù)寫(xiě)return 語(yǔ)句,break 后統(tǒng)一跳到最后return for _d( ̄_ ̄)b_ in (1,): if encoding == target_encoding or encoding == "ascii" and target_encoding == "utf-8": # 目標(biāo)編碼和源編碼相同時(shí)不用做處理。utf-8 編碼和ASCII 兼容,原編碼為ASCII 時(shí)轉(zhuǎn)換到utf-8 不會(huì)有變化,所以也跳過(guò) print(f"-> [NO CONVERSION NEEDED] {f.name}: {encoding} ==> [ {target_encoding} ]") break try: text = raw.decode(encoding) except: print(f"!> Encoding err: {f.name}, detected: {encoding}, {confidence}.") flag = False break if dry_run: print(f"-> [ NO WET ] {f.name}: {encoding} ==> [ {target_encoding} ]") else: # 必須先用目標(biāo)編碼轉(zhuǎn)換成字節(jié)數(shù)組,然后按字節(jié)寫(xiě)入源文件 # 如果按文本方式寫(xiě)入,就會(huì)遇到喜聞樂(lè)見(jiàn)的CR LF 換行問(wèn)題, # 源文件中的CR LF 換行會(huì)被自動(dòng)變成CR CR LF,也就是多了一堆空行。 out = text.encode(target_encoding) f.write_bytes(out) print(f"-> {f.name}: {encoding} ==> [ {target_encoding} ]") return (flag, encoding, confidence) def text_file_encoding_batch_convert( folder: Path, target_encoding: str, *, dry_run=True, recursive=False, pattern=".*(c|h|txt|cxx|cpp|hpp|hxx|csv|asm)$", skip_when_error=True, ): ''' 批量轉(zhuǎn)換一個(gè)目錄下文本文件的編碼 @param folder 目標(biāo)目錄 @param target_encoding 目標(biāo)編碼 @param dry_run 不實(shí)際修改源文件,避免手滑寫(xiě)錯(cuò) @param recursive 包括所有子文件夾下的文件 @param pattern 基于文件名篩選文本文件的正則表達(dá)式,默認(rèn)根據(jù)后綴篩選幾種文本類型 @param skip_when_error 默認(rèn)True,單個(gè)文件轉(zhuǎn)換出錯(cuò)時(shí)提示并跳過(guò),否則終止 ''' if recursive: flist = folder.rglob("*") else: flist = folder.glob("*") p = re.compile(pattern) # 把正則編譯了,之后應(yīng)該能快一點(diǎn) for f in flist: if not (f.is_file() and p.match(f.name)): continue ok, encoding, confidence = text_file_encoding_convert(f, target_encoding, dry_run=dry_run) if not ok: if skip_when_error: print("!> SKIP.") else: print("!> ABORT.") return
用法
既然是批量轉(zhuǎn)換文件,只調(diào)用第二個(gè)函數(shù)就好了,如下:
folder = Path(r"D:\Downloads\Some shit\\") text_file_encoding_batch_convert(folder, "utf-8", recursive=True)
目標(biāo)目錄為D:\Downloads\Some shit\\,放進(jìn)一個(gè)Path 對(duì)象里,作為第一個(gè)參數(shù)傳進(jìn)去。第二個(gè)參數(shù)是目標(biāo)編碼,第三個(gè)參數(shù)必須寫(xiě)明參數(shù)名稱recursive,用來(lái)指定要不要遍歷子文件夾,默認(rèn)是False,為了避免意外情況。直接這么運(yùn)行的話,輸出的信息應(yīng)該類似這樣:
-> [NO WET] main.c : gb2312 ⇒ utf-8
[NO WET] 意思就是DRY [doge],也就是沒(méi)有實(shí)際修改源文件,只是讓你大致看看輸出信息對(duì)不對(duì)勁,實(shí)際運(yùn)行的話再加一個(gè)參數(shù):
text_file_encoding_batch_convert(folder, "utf-8", recursive=True, dry_run=False)
順便一說(shuō),輸出信息都是英文的,因?yàn)榇蠡飸?yīng)該都遇到過(guò)控制臺(tái)輸出中文亂碼的問(wèn)題,反正也沒(méi)幾個(gè)單詞。剩下兩個(gè)參數(shù),skip_when_error 放著別管就行,沒(méi)什么用;pattern 是匹配文件名的正則表達(dá)式,只有匹配的文件會(huì)被處理,可以自己設(shè)置;默認(rèn)的正則只匹配了幾種容易遇到亂碼問(wèn)題的文本文件,匹配的太多了也可能錯(cuò)殺,需要的話往括號(hào)里加就行。
對(duì)了,上面的代碼和這篇文章一樣,使用 CC - BY SA 4.0 協(xié)議。
到此這篇關(guān)于Python實(shí)現(xiàn)自動(dòng)識(shí)別并批量轉(zhuǎn)換文本文件編碼的文章就介紹到這了,更多相關(guān)Python轉(zhuǎn)換文本文件編碼內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
pytorch模型保存與加載中的一些問(wèn)題實(shí)戰(zhàn)記錄
一般來(lái)說(shuō),保存模型是把參數(shù)全部用model.cpu().state_dict(),然后加載模型時(shí)一般用model.load_state_dict(torch.load(model_path)),下面這篇文章主要給大家介紹了關(guān)于pytorch模型保存與加載中的一些問(wèn)題實(shí)戰(zhàn)記錄,需要的朋友可以參考下2022-10-10python 中sys.getsizeof的用法說(shuō)明
這篇文章主要介紹了python 中sys.getsizeof的用法說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-05-05Python Logging 日志記錄入門(mén)學(xué)習(xí)
這篇文章主要介紹了Python Logging 日志記錄入門(mén)學(xué)習(xí),小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-06-06python使用協(xié)程實(shí)現(xiàn)并發(fā)操作的方法詳解
這篇文章主要介紹了python使用協(xié)程實(shí)現(xiàn)并發(fā)操作的方法,結(jié)合實(shí)例形式詳細(xì)分析了Python協(xié)程的原理及使用Gevent實(shí)現(xiàn)協(xié)程操作的相關(guān)技巧與操作注意事項(xiàng),需要的朋友可以參考下2019-12-12numpy.std() 計(jì)算矩陣標(biāo)準(zhǔn)差的方法
今天小編就為大家分享一篇numpy.std() 計(jì)算矩陣標(biāo)準(zhǔn)差的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-07-07Python語(yǔ)言實(shí)現(xiàn)機(jī)器學(xué)習(xí)的K-近鄰算法
今天學(xué)習(xí)的算法是KNN近鄰算法。KNN算法是一個(gè)監(jiān)督學(xué)習(xí)分類器類別的算法。下面我們來(lái)詳細(xì)的探討下2015-06-06Python編寫(xiě)繪圖系統(tǒng)之從文本文件導(dǎo)入數(shù)據(jù)并繪圖
這篇文章主要為大家詳細(xì)介紹了Python如何編寫(xiě)一個(gè)繪圖系統(tǒng),可以實(shí)現(xiàn)從文本文件導(dǎo)入數(shù)據(jù)并繪圖,文中的示例代碼講解詳細(xì),感興趣的可以了解一下2023-08-08django 連接數(shù)據(jù)庫(kù)出現(xiàn)1045錯(cuò)誤的解決方式
這篇文章主要介紹了django 連接數(shù)據(jù)庫(kù)出現(xiàn)1045錯(cuò)誤的解決方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05Python與C++中梯度方向直方圖的實(shí)現(xiàn)
在學(xué)習(xí)HOG特征的時(shí)候,發(fā)現(xiàn)一片英文文章講得淺顯易懂。因此翻譯在這里學(xué)習(xí),感興趣的朋友快來(lái)看看吧2022-03-03