python 讀寫文件包含多種編碼格式的解決方式
更新時間:2019年12月20日 15:41:00 作者:hm11290219
今天小編就為大家分享一篇python 讀寫文件包含多種編碼格式的解決方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
今天寫一個腳本文件,需要將多個文件中的內(nèi)容匯總到一個txt文件中,由于多個文件有三種不同的編碼方式,讀寫出現(xiàn)錯誤,先將解決方法記錄如下:
# -*- coding: utf-8 -*- import wave import pylab as pl import numpy as np import pandas as pd import os import time import datetime import arrow import chardet import sys reload(sys) sys.setdefaultencoding('utf8') os.chdir("F:/new_srt") #get words of srt file ########################################### def get_word(): path = "F:/new_srt" filelist = os.listdir(path) for files in filelist: print files encoding = chardet.detect(open(files,'r').read())['encoding'] if encoding == 'utf-8': data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None) elif encoding == 'GB2312': try: data=pd.read_csv(files,encoding="gbk",sep='\r',header=None) except UnicodeDecodeError: data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None) elif encoding == 'UTF-8-SIG': data=pd.read_csv(files,encoding="UTF-8-SIG",sep='\r',header=None) else: print 'this is an error about %s' % files data_new=pd.DataFrame(np.reshape(data.values, (-1,3))) data_new.columns=['index','timecut','content'] filename = os.path.splitext(files)[0] #filetype = os.path.splitext(files)[1] with open('F:/result.txt', 'a') as file: file.write(str(filename)+' ' ) for item in data_new['content']: file.write(item.decode("utf-8") +' ') #s=s.decode("utf-8") file.write('\n') if __name__ == '__main__': get_word()
以上這篇python 讀寫文件包含多種編碼格式的解決方式就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
您可能感興趣的文章:
- 淺析Python 字符編碼與文件處理
- Python2與Python3關于字符串編碼處理的差別總結(jié)
- Python 忽略文件名編碼的方法
- 詳解用Python調(diào)用百度地圖正/逆地理編碼API
- 使用python批量轉(zhuǎn)換文件編碼為UTF-8的實現(xiàn)
- Python利用 utf-8-sig 編碼格式解決寫入 csv 文件亂碼問題
- Python字符編碼轉(zhuǎn)碼之GBK,UTF8互轉(zhuǎn)
- python讀取tif圖片時保留其16bit的編碼格式實例
- Python3 解決讀取中文文件txt編碼的問題
- 詳解Python中的編碼問題(encoding與decode、str與bytes)
相關文章
Python連接Mssql基礎教程之Python庫pymssql
這篇文章主要給大家介紹了關于Python連接Mssql基礎教程之Python庫pymssql的相關資料,文中分別介紹了連接數(shù)據(jù)庫、游標使用注意事項、游標返回行為字典變量、使用with語句(上下文管理器)以及調(diào)用存儲過程等的實現(xiàn),需要的朋友可以參考下2018-09-09Django自定義插件實現(xiàn)網(wǎng)站登錄驗證碼功能
這篇文章主要為大家詳細介紹了Django自定義插件實現(xiàn)網(wǎng)站登錄驗證碼功能,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-04-04python 實現(xiàn)文件的遞歸拷貝實現(xiàn)代碼
今天翻電腦時突然發(fā)現(xiàn)有個存了很多照片和視頻的文件夾,想起來是去年換手機(流行的小5)時拷出來的??戳藥讖堈掌掠忠荒荒坏母‖F(xiàn)在腦海,好吧,我是個感性的人2012-08-08