spark dataframe 將一列展開,把該列所有值都變成新列的方法
更新時(shí)間：2019年01月29日 11:39:19 作者：Nougats
今天小編就為大家分享一篇spark dataframe 將一列展開,把該列所有值都變成新列的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
The original dataframe
需求：hour代表一天的24小時(shí)，現(xiàn)在要將hour列展開，每一個(gè)小時(shí)都作為一個(gè)列
實(shí)現(xiàn)：
val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)
并且統(tǒng)計(jì)了對(duì)應(yīng)的countGeoPerHour的和，如果有些行沒(méi)有這個(gè)新列對(duì)應(yīng)的數(shù)據(jù)，將用null填充
The new dataframe
以上這篇spark dataframe 將一列展開,把該列所有值都變成新列的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python解析xml文件操作實(shí)例,是操作XML文件的常見技巧,需要的朋友可以參考下2014-10-10
用Python編寫腳本使IE實(shí)現(xiàn)代理上網(wǎng)的教程
這篇文章主要介紹了用Python編寫腳本使IE實(shí)現(xiàn)代理上網(wǎng)的教程,“著名的”goagent代理也是基于同樣原理實(shí)現(xiàn),需要的朋友可以參考下2015-04-04
Python實(shí)現(xiàn)獲取視頻時(shí)長(zhǎng)功能
這篇文章主要介紹了Python如何實(shí)現(xiàn)獲取視頻時(shí)長(zhǎng)功能，可以精確到毫秒。文中的示例代碼簡(jiǎn)潔易懂，對(duì)我們的學(xué)習(xí)有一定的幫助，感興趣的可以了解一下2021-12-12
在使用Python處理比較耗時(shí)操作的時(shí)候，為了便于觀察處理進(jìn)度，就需要通過(guò)進(jìn)度條將處理情況進(jìn)行可視化展示，本文主要介紹了Python進(jìn)度條的使用，分享給大家，感興趣的可以了解一下2021-05-05
零基礎(chǔ)寫python爬蟲之urllib2中的兩個(gè)重要概念：Openers和Handlers
文章首先介紹了urllib2的2個(gè)方法，然后詳細(xì)介紹了urllib2中的2個(gè)重要概念Openers和Handlers的相關(guān)知識(shí)，希望能對(duì)大家有所幫助2014-11-11
Python中的遠(yuǎn)程調(diào)試與性能優(yōu)化技巧分享
Python 是一種簡(jiǎn)單易學(xué)、功能強(qiáng)大的編程語(yǔ)言,廣泛應(yīng)用于各種領(lǐng)域,包括網(wǎng)絡(luò)編程、數(shù)據(jù)分析、人工智能等,在開發(fā)過(guò)程中,我們經(jīng)常會(huì)遇到需要遠(yuǎn)程調(diào)試和性能優(yōu)化的情況,本文將介紹如何利用遠(yuǎn)程調(diào)試工具和性能優(yōu)化技巧來(lái)提高 Python 應(yīng)用程序的效率和性能2024-05-05
Python3.5內(nèi)置模塊之shelve模塊、xml模塊、configparser模塊、hashlib、hmac模塊用法
這篇文章主要介紹了Python3.5內(nèi)置模塊之shelve模塊、xml模塊、configparser模塊、hashlib、hmac模塊,結(jié)合實(shí)例形式較為詳細(xì)的分析了shelve、xml、configparser、hashlib、hmac等模塊的功能及使用方法,需要的朋友可以參考下2019-04-04
這篇文章主要介紹了如何使用Python繪制世界疫情地圖，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-03-03
解決Python 使用h5py加載文件,看不到keys()的問(wèn)題
今天小編就為大家分享一篇解決Python 使用h5py加載文件,看不到keys()的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-02-02
剖析Django中模版標(biāo)簽的解析與參數(shù)傳遞
這篇文章主要介紹了剖析Django中模版標(biāo)簽的解析與參數(shù)傳遞,Django是重多高人氣Python框架中最為著名的一個(gè),需要的朋友可以參考下2015-07-07