Python按條件篩選、剔除表格數(shù)據(jù)并繪制剔除前后的直方圖(示例代碼)

更新時間：2024年07月22日 09:34:26 作者：瘋狂學習GIS

本文介紹基于Python語言,讀取Excel表格文件數(shù)據(jù),以其中某一列數(shù)據(jù)的值為標準,對于這一列數(shù)據(jù)處于指定范圍的所有行,再用其他幾列數(shù)據(jù)的數(shù)值,加以數(shù)據(jù)篩選與剔除,感興趣的朋友跟隨小編一起看看吧

本文介紹基于Python語言，讀取Excel表格文件數(shù)據(jù)，以其中某一列數(shù)據(jù)的值為標準，對于這一列數(shù)據(jù)處于指定范圍的所有行，再用其他幾列數(shù)據(jù)的數(shù)值，加以數(shù)據(jù)篩選與剔除；同時，對篩選前、后的數(shù)據(jù)分別繪制若干直方圖，并將結果數(shù)據(jù)導出保存為一個新的Excel表格文件的方法。

首先，我們來明確一下本文的具體需求?，F(xiàn)有一個Excel表格文件，在本文中我們就以.csv格式的文件為例；其中，如下圖所示，這一文件中有一列（在本文中也就是days這一列）數(shù)據(jù)，我們將其作為基準數(shù)據(jù)，希望首先取出days數(shù)值處于0至45、320至365范圍內的所有樣本（一行就是一個樣本），進行后續(xù)的操作。

其次，對于取出的樣本，再依據(jù)其他4列（在本文中也就是blue_dif、green_dif、red_dif與inf_dif這4列）數(shù)據(jù)，將這4列數(shù)據(jù)不在指定數(shù)值區(qū)域內的行刪除。在這一過程中，我們還希望繪制在數(shù)據(jù)刪除前、后，這4列（也就是blue_dif、green_dif、red_dif與inf_dif這4列）數(shù)據(jù)各自的直方圖，一共是8張圖。最后，我們還希望將刪除上述數(shù)據(jù)后的數(shù)據(jù)保存為一個新的Excel表格文件。

知道了需求，我們就可以撰寫代碼。本文所用的代碼如下所示。

# -*- coding: utf-8 -*-
"""
Created on Tue Sep 12 07:55:40 2023
@author: fkxxgis
"""
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
original_file_path = "E:/01_Reflectivity/99_Model/02_Extract_Data/26_Train_Model_New/Train_Model_0715_Main_Over_NIR.csv"
# original_file_path = "E:/01_Reflectivity/99_Model/02_Extract_Data/26_Train_Model_New/TEST.csv"
result_file_path = "E:/01_Reflectivity/99_Model/02_Extract_Data/26_Train_Model_New/Train_Model_0715_Main_Over_NIR_New.csv"
df = pd.read_csv(original_file_path)
blue_original = df[(df['blue_dif'] >= -0.08) & (df['blue_dif'] <= 0.08)]['blue_dif']
green_original = df[(df['green_dif'] >= -0.08) & (df['green_dif'] <= 0.08)]['green_dif']
red_original = df[(df['red_dif'] >= -0.08) & (df['red_dif'] <= 0.08)]['red_dif']
inf_original = df[(df['inf_dif'] >= -0.1) & (df['inf_dif'] <= 0.1)]['inf_dif']
mask = ((df['days'] >= 0) & (df['days'] <= 45)) | ((df['days'] >= 320) & (df['days'] <= 365))
range_min = -0.03
range_max = 0.03
df.loc[mask, 'blue_dif'] = df.loc[mask, 'blue_dif'].apply(lambda x: x if range_min <= x <= range_max else np.random.choice([np.nan, x]))
df.loc[mask, 'green_dif'] = df.loc[mask, 'green_dif'].apply(lambda x: x if range_min <= x <= range_max else np.random.choice([np.nan, x]))
df.loc[mask, 'red_dif'] = df.loc[mask, 'red_dif'].apply(lambda x: x if range_min <= x <= range_max else np.random.choice([np.nan, x]))
df.loc[mask, 'inf_dif'] = df.loc[mask, 'inf_dif'].apply(lambda x: x if range_min <= x <= range_max else np.random.choice([np.nan, x], p =[0.9, 0.1]))
df = df.dropna()
blue_new = df[(df['blue_dif'] >= -0.08) & (df['blue_dif'] <= 0.08)]['blue_dif']
green_new = df[(df['green_dif'] >= -0.08) & (df['green_dif'] <= 0.08)]['green_dif']
red_new = df[(df['red_dif'] >= -0.08) & (df['red_dif'] <= 0.08)]['red_dif']
inf_new = df[(df['inf_dif'] >= -0.1) & (df['inf_dif'] <= 0.1)]['inf_dif']
plt.figure(0)
plt.hist(blue_original, bins = 50)
plt.figure(1)
plt.hist(green_original, bins = 50)
plt.figure(2)
plt.hist(red_original, bins = 50)
plt.figure(3)
plt.hist(inf_original, bins = 50)
plt.figure(4)
plt.hist(blue_new, bins = 50)
plt.figure(5)
plt.hist(green_new, bins = 50)
plt.figure(6)
plt.hist(red_new, bins = 50)
plt.figure(7)
plt.hist(inf_new, bins = 50)
df.to_csv(result_file_path, index=False)

首先，我們通過pd.read_csv函數(shù)從指定路徑的.csv文件中讀取數(shù)據(jù)，并將其存儲在名為df的DataFrame中。

接下來，通過一系列條件篩選操作，從原始數(shù)據(jù)中選擇滿足特定條件的子集。具體來說，我們篩選出了在blue_dif、green_dif、red_dif與inf_dif這4列中數(shù)值在一定范圍內的數(shù)據(jù)，并將這些數(shù)據(jù)存儲在名為blue_original、green_original、red_original和inf_original的新Series中，這些數(shù)據(jù)為我們后期繪制直方圖做好了準備。

其次，創(chuàng)建一個名為mask的布爾掩碼，該掩碼用于篩選滿足條件的數(shù)據(jù)。在這里，它篩選出了days列的值在0到45之間或在320到365之間的數(shù)據(jù)。

隨后，我們使用apply函數(shù)和lambda表達式，對于days列的值在0到45之間或在320到365之間的行，如果其blue_dif、green_dif、red_dif與inf_dif這4列的數(shù)據(jù)不在指定范圍內，那么就將這列的數(shù)據(jù)隨機設置為NaN，p =[0.9, 0.1]則是指定了隨機替換為NaN的概率。這里需要注意，如果我們不給出p =[0.9, 0.1]這樣的概率分布，那么程序將依據(jù)均勻分布的原則隨機選取數(shù)據(jù)。

最后，我們使用dropna函數(shù)，刪除包含NaN值的行，從而得到篩選處理后的數(shù)據(jù)。其次，我們依然根據(jù)這四列的篩選條件，計算出處理后的數(shù)據(jù)的子集，存儲在blue_new、green_new、red_new和inf_new中。緊接著，使用Matplotlib創(chuàng)建直方圖來可視化原始數(shù)據(jù)和處理后數(shù)據(jù)的分布；這些直方圖被分別存儲在8個不同的圖形中。

代碼的最后，將處理后的數(shù)據(jù)保存為新的.csv文件，該文件路徑由result_file_path指定。

運行上述代碼，我們將得到8張直方圖，如下圖所示。且在指定的文件夾中看到結果文件。