快捷導(dǎo)航

pandas讀取文件夾下所有excel文件的實(shí)現(xiàn)

更新時(shí)間：2023年09月12日 11:22:21 作者：舞劍弄清影

最近需要做一個(gè)需求,要求匯總一個(gè)文件夾所有的excel文件,所以本文就來介紹一下pandas讀取文件夾下所有excel文件的實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下

import os
main_folder = '文件夾路徑'
all_data = []
for root, dirs, files in os.walk(main_folder):
    for file in files:
        if file.endswith(".xlsx"):  # 只處理Excel文件，可以根據(jù)需要修改擴(kuò)展名
            file_path = os.path.join(root, file)
            df = pd.read_excel(file_path, skiprows=2)  # 跳過前兩行無用數(shù)據(jù)
            all_data.append(df)
        elif file.endswith(".xls"):
            file_path = os.path.join(root, file)
            df = pd.read_excel(file_path, skiprows=2, engine='xlrd')
            all_data.append(df)

然后是合并數(shù)據(jù)：使用pandas的concat函數(shù)將所有數(shù)據(jù)幀合并為一個(gè)總的數(shù)據(jù)幀，并處理不同表頭的情況。假設(shè)表頭位于第一行。

combined_df = pd.concat(all_data, ignore_index=True)
# 處理不同表頭的情況
combined_df = combined_df.fillna('')  # 將NaN值填充為空字符串

最后呢，保存總表：將合并后的數(shù)據(jù)保存到一個(gè)新的Excel文件

 combined_df.to_excel('保存的excel文件路徑', index=False)

出現(xiàn)的問題

上圖錯(cuò)誤，我用斷點(diǎn)調(diào)試去看數(shù)據(jù)，發(fā)現(xiàn)里面出現(xiàn)了一個(gè)錯(cuò)誤的文件路徑。是以~$ 開頭的一個(gè)excel文件。但是真實(shí)環(huán)境中是沒有這個(gè)excel文件，去查了一下資料如下解釋：在Windows系統(tǒng)中，當(dāng)一個(gè)Excel文件（.xlsx 或 .xls）正在被某個(gè)用戶編輯時(shí)，Excel會(huì)創(chuàng)建一個(gè)臨時(shí)文件，文件名以 ~$ 開頭，然后是原始文件的名稱。這個(gè)臨時(shí)文件用于跟蹤編輯進(jìn)程，以防止多個(gè)用戶同時(shí)編輯相同的文件時(shí)發(fā)生沖突。

所以在os.walk遍歷文件夾時(shí)，它會(huì)包括所有文件，包括這些臨時(shí)文件。這些臨時(shí)文件通常不應(yīng)被處理或讀取，因?yàn)樗鼈兪荅xcel編輯過程中的中間文件。