詳解如何使用Pandas處理時(shí)間序列數(shù)據(jù)
Pandas-如何輕松處理時(shí)間序列數(shù)據(jù)
時(shí)間序列數(shù)據(jù)在數(shù)據(jù)分析建模中很常見(jiàn)，例如天氣預(yù)報(bào)，空氣狀態(tài)監(jiān)測(cè)，股票交易等金融場(chǎng)景。此處選擇巴黎、倫敦歐洲城市空氣質(zhì)量監(jiān)測(cè)NO2數(shù)據(jù)作為樣例。
監(jiān)測(cè)的時(shí)間序列數(shù)據(jù)
比如，air quality no2 數(shù)據(jù)表中，主要是巴黎，倫敦等城市的每小時(shí)環(huán)境監(jiān)測(cè)數(shù)據(jù)：
In [2]: air_quality.head()
Out[2]:
city country datetime location parameter value unit
0 Paris FR 2019-06-21 00:00:00+00:00 FR04014 no2 20.0 μg/m3
1 Paris FR 2019-06-20 23:00:00+00:00 FR04014 no2 21.8 μg/m3
2 Paris FR 2019-06-20 22:00:00+00:00 FR04014 no2 26.5 μg/m3
3 Paris FR 2019-06-20 21:00:00+00:00 FR04014 no2 24.9 μg/m3
4 Paris FR 2019-06-20 20:00:00+00:00 FR04014 no2 21.4 μg/m3
In [3]: air_quality.city.unique()
Out[3]: array(['Paris', 'Antwerpen', 'London'], dtype=object)
轉(zhuǎn)換為日期時(shí)間對(duì)象
默認(rèn)讀取的日期數(shù)據(jù)，實(shí)際上是字符串string 類(lèi)型，無(wú)法進(jìn)行日期時(shí)間的操作，可以轉(zhuǎn)換為datetime數(shù)據(jù)對(duì)象類(lèi)型，可以用to_datetime() 函數(shù)這樣操作：
In [5]: air_quality["datetime"] = pd.to_datetime(air_quality["datetime"])
In [6]: air_quality["datetime"]
Out[6]:
0 2019-06-21 00:00:00+00:00
1 2019-06-20 23:00:00+00:00
2 2019-06-20 22:00:00+00:00
3 2019-06-20 21:00:00+00:00
4 2019-06-20 20:00:00+00:00
...
2063 2019-05-07 06:00:00+00:00
2064 2019-05-07 04:00:00+00:00
2065 2019-05-07 03:00:00+00:00
2066 2019-05-07 02:00:00+00:00
2067 2019-05-07 01:00:00+00:00
Name: datetime, Length: 2068, dtype: datetime64[ns, UTC]
當(dāng)然，也可以在pandas.read_csv(), 和 pandas.read_json()函數(shù)中，直接就解析轉(zhuǎn)換為datetime類(lèi)型，parse_dates 參數(shù)
pd.read_csv("../data/air_quality_no2_long.csv", parse_dates=["datetime"])
時(shí)間操作的典型問(wèn)題
如何找到序列中的時(shí)間開(kāi)始和時(shí)間結(jié)束？
In [7]: air_quality["datetime"].min(), air_quality["datetime"].max()
Out[7]:
(Timestamp('2019-05-07 01:00:00+0000', tz='UTC'),
Timestamp('2019-06-21 00:00:00+0000', tz='UTC'))
通過(guò)min（）函數(shù)，找到時(shí)間最小值，也就是開(kāi)始時(shí)間；max（）函數(shù)，找到時(shí)間序列最大值，也就是結(jié)束時(shí)間。
如何比較兩個(gè)時(shí)間點(diǎn)？如何計(jì)算時(shí)間跨度，或者持續(xù)時(shí)間？
In [8]: air_quality["datetime"].max() - air_quality["datetime"].min()
Out[8]: Timedelta('44 days 23:00:00')
pandas.Timestamp 可以直接計(jì)算差值，結(jié)果為pandas.Timedelta 類(lèi)型，類(lèi)似于python庫(kù)的時(shí)間跨度，datetime.timedelta
如何僅關(guān)注某個(gè)時(shí)間單位？
比如年，月，日，比如增加一列，表示月份？
In [11]: air_quality["month"] = air_quality["datetime"].dt.month
In [12]: air_quality.head()
Out[12]:
city country datetime ... value unit month
0 Paris FR 2019-06-21 00:00:00+00:00 ... 20.0 μg/m3 6
1 Paris FR 2019-06-20 23:00:00+00:00 ... 21.8 μg/m3 6
2 Paris FR 2019-06-20 22:00:00+00:00 ... 26.5 μg/m3 6
3 Paris FR 2019-06-20 21:00:00+00:00 ... 24.9 μg/m3 6
4 Paris FR 2019-06-20 20:00:00+00:00 ... 21.4 μg/m3 6
[5 rows x 8 columns]
使用timestamp的 dt.month屬性，提取月份數(shù)值。類(lèi)似的，也可以提取年，日，季節(jié)等等時(shí)間屬性。
如何計(jì)算每周，每個(gè)城市的No2濃度平均值？
In [13]: air_quality.groupby(
....: [air_quality["datetime"].dt.weekday, "location"])["value"].mean()
....:
Out[13]:
datetime location
0 BETR801 27.875000
FR04014 24.856250
London Westminster 23.969697
1 BETR801 22.214286
FR04014 30.999359
...
5 FR04014 25.266154
London Westminster 24.977612
6 BETR801 21.896552
FR04014 23.274306
London Westminster 24.859155
Name: value, Length: 21, dtype: float64
使用groupby函數(shù)，按照周為時(shí)間單位，按城市分組然后合并歸集，計(jì)算組內(nèi)均值。
如何把時(shí)間Datetime作為索引？
In [18]: no_2 = air_quality.pivot(index="datetime", columns="location", values="value") In [19]: no_2.head() Out[19]: location BETR801 FR04014 London Westminster datetime 2019-05-07 01:00:00+00:00 50.5 25.0 23.0 2019-05-07 02:00:00+00:00 45.0 27.7 19.0 2019-05-07 03:00:00+00:00 NaN 50.4 19.0 2019-05-07 04:00:00+00:00 NaN 61.9 16.0 2019-05-07 05:00:00+00:00 NaN 72.4 NaN
pivot()函數(shù)，指定索引 index，列屬性columns和數(shù)值values，生成二維表。
另外，也可以通過(guò)set_index函數(shù)。
如何更新頻度的重采樣？
比如，把當(dāng)前每小時(shí)的采樣頻度，更新為每個(gè)月，取最大值作為采樣值。
In [22]: monthly_max = no_2.resample("M").max()
In [23]: monthly_max
Out[23]:
location BETR801 FR04014 London Westminster
datetime
2019-05-31 00:00:00+00:00 74.5 97.0 97.0
2019-06-30 00:00:00+00:00 52.5 84.7 52.0
resample()函數(shù)，類(lèi)似于groupby分組聚合函數(shù)。
以上代碼只是一個(gè)簡(jiǎn)單示例，示例代碼中的表達(dá)式可以根據(jù)實(shí)際問(wèn)題進(jìn)行修改。
到此這篇關(guān)于詳解如何使用Pandas處理時(shí)間序列數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Pandas處理時(shí)間序列數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python中實(shí)現(xiàn)定時(shí)任務(wù)的幾種方案
本文呢給大家總結(jié)以下幾種方案實(shí)現(xiàn)定時(shí)任務(wù),可根據(jù)不同需求去使用不同方案,文章通過(guò)代碼示例介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴可以參考下2023-10-10
在 Python 中,真值和假值是布爾類(lèi)型的兩個(gè)唯一可能的值,本文將深入探討 Python 中的真值和假值概念,幫助你更好地理解和運(yùn)用它們,感興趣的可以了解一下2023-11-11
Sphinx環(huán)境配置及VScode編寫(xiě)Rst文檔轉(zhuǎn)html的步驟
sphinx主要用于編寫(xiě) reStructuredText 和 Markdown 格式技術(shù)文檔，編寫(xiě)此類(lèi)技術(shù)文檔時(shí)Sphinx工具可將其轉(zhuǎn)為html、pdf、ePub等格式，這篇文章主要介紹了Sphinx環(huán)境配置及VScode編寫(xiě)Rst文檔轉(zhuǎn)html,需要的朋友可以參考下2023-03-03
Python?Fire創(chuàng)建簡(jiǎn)單的命令行接口
Python?Fire是一個(gè)開(kāi)源庫(kù),它能夠自動(dòng)生成命令行接口,讓Python程序變得更加友好和易用,本文主要為大家介紹了Python?Fire如何根據(jù)Python函數(shù)自動(dòng)生成命令行接口,感興趣的可以了解下2023-11-11
Python數(shù)據(jù)結(jié)構(gòu)之圖的存儲(chǔ)結(jié)構(gòu)詳解
本篇章主要介紹圖，包括圖的定義、相關(guān)術(shù)語(yǔ)、性質(zhì)及存儲(chǔ)結(jié)構(gòu)，并用Python代碼實(shí)現(xiàn),需要的朋友可以參考下2021-06-06
python運(yùn)行環(huán)境在新舊電腦間遷移的三種方法
環(huán)境部署或遷移是一項(xiàng)簡(jiǎn)單而又考驗(yàn)應(yīng)對(duì)能力的一項(xiàng)工作,這篇文章主要給大家介紹了關(guān)于python運(yùn)行環(huán)境在新舊電腦間遷移的三種方法,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-08-08
以下是從GitHub中整理出的15個(gè)最受歡迎的Python開(kāi)源框架。這些框架包括事件I/O，OLAP，Web開(kāi)發(fā)，高性能網(wǎng)絡(luò)通信，測(cè)試，爬蟲(chóng)等2014-07-07
Python使用itertools模塊實(shí)現(xiàn)排列組合功能示例
這篇文章主要介紹了Python使用itertools模塊實(shí)現(xiàn)排列組合功能,涉及Python基于itertools模塊product、permutations與combinations_with_replacement方法進(jìn)行排列、組合等相關(guān)操作實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-07-07
plotly的Python軟件包是一個(gè)開(kāi)源的代碼庫(kù)，是一款擅長(zhǎng)交互的Python繪圖庫(kù)。本文就來(lái)用plotly繪制正二十面體，需要的可以參考一下2023-02-02
Python pandas軸旋轉(zhuǎn)stack和unstack的使用說(shuō)明
這篇文章主要介紹了Python pandas軸旋轉(zhuǎn)stack和unstack的使用說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03