快捷導(dǎo)航

Python實(shí)現(xiàn)多條件篩選Excel數(shù)據(jù)并批量繪制直方圖

更新時(shí)間：2023年09月15日 08:35:18 作者：瘋狂學(xué)習(xí)GIS

這篇文章主要為大家介紹了如何Python對(duì)Excel數(shù)據(jù)進(jìn)行多條件篩選和去除并批量繪制直方圖,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以參考一下

本文介紹基于Python，讀取Excel數(shù)據(jù)，以一列數(shù)據(jù)的值為標(biāo)準(zhǔn)，對(duì)這一列數(shù)據(jù)處于指定范圍的所有行，再用其他幾列數(shù)據(jù)數(shù)值，加以篩選與剔除；同時(shí)，對(duì)篩選與剔除前、后的數(shù)據(jù)分別繪制若干直方圖，并將結(jié)果數(shù)據(jù)導(dǎo)出保存為一個(gè)新的Excel表格文件的方法。

首先，我們來(lái)明確一下本文的具體需求?，F(xiàn)有一個(gè)Excel表格文件，在本文中我們就以 .csv 格式的文件為例；其中，如下圖所示，這一文件中有一列（在本文中也就是 days 這一列）數(shù)據(jù)，我們將其作為基準(zhǔn)數(shù)據(jù)，希望首先取出 days 數(shù)值處于 0 至 45 、 320 至 365 范圍內(nèi)的所有樣本（一行就是一個(gè)樣本），進(jìn)行后續(xù)的操作。

其次，對(duì)于取出的樣本，再依據(jù)其他 4 列（在本文中也就是 blue_dif 、 green_dif 、 red_dif 與 inf_dif 這 4 列）數(shù)據(jù)，將這 4 列數(shù)據(jù)不在指定數(shù)值區(qū)域內(nèi)的行刪除。在這一過(guò)程中，我們還希望繪制在數(shù)據(jù)刪除前、后，這 4 列（也就是 blue_dif 、 green_dif 、 red_dif 與 inf_dif 這 4 列）數(shù)據(jù)各自的直方圖，一共是 8 張圖。最后，我們還希望將刪除上述數(shù)據(jù)后的數(shù)據(jù)保存為一個(gè)新的Excel表格文件。

知道了需求，我們就可以撰寫(xiě)代碼。本文所用的代碼如下所示。

# -*- coding: utf-8 -*-
"""
Created on Tue Sep 12 07:55:40 2023
@author: fkxxgis
"""
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
original_file_path = "E:/01_Reflectivity/99_Model/02_Extract_Data/26_Train_Model_New/Train_Model_0715_Main_Over_NIR.csv"
# original_file_path = "E:/01_Reflectivity/99_Model/02_Extract_Data/26_Train_Model_New/TEST.csv"
result_file_path = "E:/01_Reflectivity/99_Model/02_Extract_Data/26_Train_Model_New/Train_Model_0715_Main_Over_NIR_New.csv"
df = pd.read_csv(original_file_path)
blue_original = df[(df['blue_dif'] >= -0.08) & (df['blue_dif'] <= 0.08)]['blue_dif']
green_original = df[(df['green_dif'] >= -0.08) & (df['green_dif'] <= 0.08)]['green_dif']
red_original = df[(df['red_dif'] >= -0.08) & (df['red_dif'] <= 0.08)]['red_dif']
inf_original = df[(df['inf_dif'] >= -0.1) & (df['inf_dif'] <= 0.1)]['inf_dif']
mask = ((df['days'] >= 0) & (df['days'] <= 45)) | ((df['days'] >= 320) & (df['days'] <= 365))
range_min = -0.03
range_max = 0.03
df.loc[mask, 'blue_dif'] = df.loc[mask, 'blue_dif'].apply(lambda x: x if range_min <= x <= range_max else np.random.choice([np.nan, x]))
df.loc[mask, 'green_dif'] = df.loc[mask, 'green_dif'].apply(lambda x: x if range_min <= x <= range_max else np.random.choice([np.nan, x]))
df.loc[mask, 'red_dif'] = df.loc[mask, 'red_dif'].apply(lambda x: x if range_min <= x <= range_max else np.random.choice([np.nan, x]))
df.loc[mask, 'inf_dif'] = df.loc[mask, 'inf_dif'].apply(lambda x: x if range_min <= x <= range_max else np.random.choice([np.nan, x], p =[0.9, 0.1]))
df = df.dropna()
blue_new = df[(df['blue_dif'] >= -0.08) & (df['blue_dif'] <= 0.08)]['blue_dif']
green_new = df[(df['green_dif'] >= -0.08) & (df['green_dif'] <= 0.08)]['green_dif']
red_new = df[(df['red_dif'] >= -0.08) & (df['red_dif'] <= 0.08)]['red_dif']
inf_new = df[(df['inf_dif'] >= -0.1) & (df['inf_dif'] <= 0.1)]['inf_dif']
plt.figure(0)
plt.hist(blue_original, bins = 50)
plt.figure(1)
plt.hist(green_original, bins = 50)
plt.figure(2)
plt.hist(red_original, bins = 50)
plt.figure(3)
plt.hist(inf_original, bins = 50)
plt.figure(4)
plt.hist(blue_new, bins = 50)
plt.figure(5)
plt.hist(green_new, bins = 50)
plt.figure(6)
plt.hist(red_new, bins = 50)
plt.figure(7)
plt.hist(inf_new, bins = 50)
df.to_csv(result_file_path, index=False)

首先，我們通過(guò) pd.read_csv 函數(shù)從指定路徑的 .csv 文件中讀取數(shù)據(jù)，并將其存儲(chǔ)在名為 df 的DataFrame中。

接下來(lái)，通過(guò)一系列條件篩選操作，從原始數(shù)據(jù)中選擇滿(mǎn)足特定條件的子集。具體來(lái)說(shuō)，我們篩選出了在 blue_dif 、 green_dif 、 red_dif 與 inf_dif 這 4 列中數(shù)值在一定范圍內(nèi)的數(shù)據(jù)，并將這些數(shù)據(jù)存儲(chǔ)在名為 blue_original 、 green_original 、 red_original 和 inf_original 的新Series中，這些數(shù)據(jù)為我們后期繪制直方圖做好了準(zhǔn)備。

其次，創(chuàng)建一個(gè)名為 mask 的布爾掩碼，該掩碼用于篩選滿(mǎn)足條件的數(shù)據(jù)。在這里，它篩選出了 days 列的值在 0 到 45 之間或在 320 到 365 之間的數(shù)據(jù)。

隨后，我們使用 apply 函數(shù)和 lambda 表達(dá)式，對(duì)于 days 列的值在 0 到 45 之間或在 320 到 365 之間的行，如果其 blue_dif 、 green_dif 、 red_dif 與 inf_dif 這 4 列的數(shù)據(jù)不在指定范圍內(nèi)，那么就將這列的數(shù)據(jù)隨機(jī)設(shè)置為NaN， p =[0.9, 0.1] 則是指定了隨機(jī)替換為NaN的概率。這里需要注意，如果我們不給出 p =[0.9, 0.1] 這樣的概率分布，那么程序?qū)⒁罁?jù)均勻分布的原則隨機(jī)選取數(shù)據(jù)。

最后，我們使用 dropna 函數(shù)，刪除包含NaN值的行，從而得到篩選處理后的數(shù)據(jù)。其次，我們依然根據(jù)這四列的篩選條件，計(jì)算出處理后的數(shù)據(jù)的子集，存儲(chǔ)在 blue_new 、 green_new 、 red_new 和 inf_new 中。緊接著，使用Matplotlib創(chuàng)建直方圖來(lái)可視化原始數(shù)據(jù)和處理后數(shù)據(jù)的分布；這些直方圖被分別存儲(chǔ)在 8 個(gè)不同的圖形中。

代碼的最后，將處理后的數(shù)據(jù)保存為新的 .csv 文件，該文件路徑由 result_file_path 指定。

運(yùn)行上述代碼，我們將得到 8 張直方圖，如下圖所示。且在指定的文件夾中看到結(jié)果文件。