快捷導(dǎo)航

如何使用Python進行數(shù)據(jù)分析之方差分析詳解

更新時間：2024年03月05日 09:32:44 作者：python慕遙

這篇文章主要給大家介紹了關(guān)于如何使用Python進行數(shù)據(jù)分析之方差分析的相關(guān)資料,方差分析是一種常用的對數(shù)據(jù)進行分析的方法,用于兩個及兩個以上樣本均數(shù)和方差差別的顯著性檢驗,需要的朋友可以參考下

前言

大家好，方差分析可以用來判斷幾組觀察到的數(shù)據(jù)或者處理的結(jié)果是否存在顯著差異。本文介紹的方差分析（Analysis of Variance，簡稱ANOVA）就是用于檢驗兩組或者兩組以上樣本的均值是否具備顯著性差異的一種數(shù)理統(tǒng)計方法。

根據(jù)影響試驗條件的因素個數(shù)可以將方差分析分為：單因素方差分析、雙因素方差分析、多因素方差分析；雙因素方差分析則是分析兩個因素對試驗指標(biāo)的影響；多因素方差分析則是分析更多因素指標(biāo)的分析方法。本文是以不同城市的月薪收入在每個月的水平上是否存在差異就是多組數(shù)據(jù)是否存在差異的示例：

一、單因素方差分析

單因素方差分析只考慮單一因素對試驗指標(biāo)的影響是否顯著：

import pandas as pd
from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
data= pd.read_excel('D:/shujufenxi/jpt.xlsx',index_col=0)
# 先來看下從城市因素開始分析，
df_city=data.melt(var_name='城市',value_name='月薪')#使用melt（）函數(shù)將讀取數(shù)據(jù)進行結(jié)構(gòu)轉(zhuǎn)換，以滿足ols（）函數(shù)對數(shù)據(jù)格式的要求，melt（）函數(shù)能將列標(biāo)簽轉(zhuǎn)換為列數(shù)據(jù)

使用melt()函數(shù)對數(shù)據(jù)結(jié)構(gòu)，并可視化，我們可以以肉眼觀察出差異性明顯：

import matplotlib.pyplot  as plt
plt.rcParams['font.sans-serif'] = ['KaiTi', 'SimHei', 'FangSong']  # 漢字字體,優(yōu)先使用楷體，如果找不到楷體，則使用黑體
plt.rcParams['font.size'] = 12  # 字體大小
plt.rcParams['axes.unicode_minus'] = False  # 正常顯示負(fù)號
import pandas as pd
import seaborn as sns
data= pd.read_excel('D:/shujufenxi/jpt.xlsx',index_col=0)
data_melt = data.melt()
data_melt.columns = ['城市', '月薪']
sns.boxplot(x = '城市', y = '月薪', data = data_melt)
plt.show()

進行方差分析：

import pandas as pd
from statsmodels.stats.multicomp import pairwise_tukeyhsd
from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
data= pd.read_excel('D:/shujufenxi/jpt.xlsx',index_col=0)
# 先來看下從城市因素開始分析，
df_city=data.melt(var_name='城市',value_name='月薪')#使用melt（）函數(shù)將讀取數(shù)據(jù)進行結(jié)構(gòu)轉(zhuǎn)換，以滿足ols（）函數(shù)對數(shù)據(jù)格式的要求，melt（）函數(shù)能將列標(biāo)簽轉(zhuǎn)換為列數(shù)據(jù)
model_city=ols('月薪~C(城市)',df_city).fit()# ols（）創(chuàng)建一線性回歸分析模型
anova_table=anova_lm(model_city)# anova_lm（）函數(shù)創(chuàng)建模型生成方差分析表
print(anova_table)
# 進行事后比較分析
print(pairwise_tukeyhsd(df_city['月薪'], df_city['城市']))

在結(jié)果圖上半部分中df為自由度，sum_sq為誤差平方和，mean_sq為平均平方，F(xiàn)代表統(tǒng)計量F值，PR(>F)代表顯著性水平P值；下半部分為多重比較，進行事后分析，group1以及group2表示的是因子的不同水平，然后分析他們兩個組是否有顯著性差異，最后面的reject表示是否拒絕原假設(shè)，True表示的是拒絕原假設(shè)，說明兩組均值有顯著性差異。

二、雙因素方差分析

雙因素方差分析對數(shù)據(jù)結(jié)構(gòu)的要求和單因素方差分析不同，代碼如下：

import pandas as pd
from statsmodels.stats.multicomp import pairwise_tukeyhsd
from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
data= pd.read_excel('D:/shujufenxi/jpt.xlsx',index_col=0)
df_twoway=data.stack().reset_index()
df_twoway.columns=['月份','城市','月薪']
model_twoway=ols('月薪~C(月份)+C(城市)',df_twoway).fit()
anova_table=anova_lm(model_twoway)
print(anova_table