Python 讀取某個(gè)目錄下所有的文件實(shí)例
更新時(shí)間：2018年06月23日 15:12:16 作者：嘎里給給
今天小編就為大家分享一篇Python 讀取某個(gè)目錄下所有的文件實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
在處理數(shù)據(jù)的時(shí)候，因?yàn)闆]有及時(shí)的去重，所以需要重新對生成txt進(jìn)行去重。
可是一個(gè)文件夾下有很多txt，總不可能一個(gè)一個(gè)去操作，這樣效率太低了。這里我們需要用到 os 這個(gè)包
關(guān)鍵的代碼
<span style="font-size:14px;"># coding=utf-8
#出現(xiàn)了中文亂碼的問題，于是我無腦utf-8 。希望后期的學(xué)習(xí)可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')
#這里放著你要操作的文件夾名稱
path = 'E:\\get_key\\'
#把e:\get_key\目錄下的文件名全部獲取保存在files中
files = os.listdir(path.decode('utf-8'))
#用set可以很好的去重，在數(shù)據(jù)處理的時(shí)候經(jīng)常會被使用到。這里做初始化
datas = set()
for file in files :
#準(zhǔn)確獲取一個(gè)txt的位置，利用字符串的拼接
txt_path = 'E:\\get_key\\'+file.decode('utf-8')
#把結(jié)果保存了在contents中
contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')
#datas的數(shù)據(jù)清空
datas.clear()
#把數(shù)據(jù)add到datas中，可以去重
for content in contents:
print(content.decode('utf-8'))
datas.add(content.decode('utf-8'))
#去重后新的文件保存的路徑
new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')
#把datas里的數(shù)據(jù)輸出到新生成的txt中
for data in datas:
unique_keywords.write(data+"\n")
#釋放資源
unique_keywords.close()</span>
以上這篇Python 讀取某個(gè)目錄下所有的文件實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
openCV入門學(xué)習(xí)基礎(chǔ)教程第一篇
OpenCV是計(jì)算機(jī)視覺領(lǐng)域一個(gè)圖像和視頻處理庫,用于各種圖像和視頻分析,如面部識別和檢測,車牌閱讀,照片編輯,高級機(jī)器人視覺,光學(xué)字符識別等等,下面這篇文章主要給大家介紹了關(guān)于openCV入門學(xué)習(xí)基礎(chǔ)教程第一篇的相關(guān)資料,需要的朋友可以參考下2022-11-11
Python面向?qū)ο蟪绦蛟O(shè)計(jì)構(gòu)造函數(shù)和析構(gòu)函數(shù)用法分析
這篇文章主要介紹了Python面向?qū)ο蟪绦蛟O(shè)計(jì)構(gòu)造函數(shù)和析構(gòu)函數(shù)用法,結(jié)合具體實(shí)例形式分析了Python面向?qū)ο蟪绦蛟O(shè)計(jì)中構(gòu)造函數(shù)與析構(gòu)函數(shù)的概念、原理、功能及相關(guān)使用技巧,需要的朋友可以參考下2019-04-04
在pytest自動化測試中，如果只是簡單的從應(yīng)用的角度來說，完全可以不去了解pytest中的顯示信息的部分以及原理，可以通過使用推薦的pytest.ini配置，從而可以做到相對來說比較通用的日志配置，這篇文章主要介紹了Pytes如何正確的配置使用日志功能,需要的朋友可以參考下2022-12-12
這篇文章主要為大家詳細(xì)介紹了如何基于Python制作一個(gè)簡單的文章搜索工具，都是一些基礎(chǔ)的應(yīng)用，文中的示例代碼講解詳細(xì)，感興趣的可以了解一下2023-05-05
matlab輸出數(shù)據(jù)為excel文件的問題
這篇文章主要介紹了matlab輸出數(shù)據(jù)為excel文件的問題,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
這篇文章主要為大家詳細(xì)介紹了python字符串的常用操作方法，如字符串的替換、刪除、截取、復(fù)制、連接、比較、查找、分割等,需要的朋友可以參考下2016-05-05
Python?中將數(shù)字轉(zhuǎn)換為字母的方法
本文詳細(xì)介紹了在 Python 中將數(shù)字轉(zhuǎn)換為字母的幾種常用方法，我們介紹了使用 chr() 函數(shù)、string 模塊和 ord() 函數(shù)等方法，并提供了示例代碼幫助你理解和應(yīng)用這些方法，感興趣的朋友跟隨小編一起看看吧2023-06-06
Jupyter notebook如何實(shí)現(xiàn)打開數(shù)據(jù)集
這篇文章主要介紹了Jupyter notebook如何實(shí)現(xiàn)打開數(shù)據(jù)集問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-01-01
基于Python實(shí)現(xiàn)人臉識別相似度對比功能
人臉識別技術(shù)是一種通過計(jì)算機(jī)對人臉圖像進(jìn)行分析和處理,從而實(shí)現(xiàn)自動識別和辨認(rèn)人臉的技術(shù),隨著計(jì)算機(jī)視覺和模式識別領(lǐng)域的快速發(fā)展,人臉識別技術(shù)取得了長足的進(jìn)步,本文給大家介紹了基于Python實(shí)現(xiàn)人臉識別相似度對比功能,感興趣的朋友可以參考下2024-01-01
Python使用post及get方式提交數(shù)據(jù)的實(shí)例
今天小編就為大家分享一篇關(guān)于Python使用post及get方式提交數(shù)據(jù)的實(shí)例，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2019-01-01