pandas和spark dataframe互相轉(zhuǎn)換實(shí)例詳解
更新時(shí)間：2020年02月18日 08:43:34 投稿：yaominghui
這篇文章主要介紹了pandas和spark dataframe互相轉(zhuǎn)換實(shí)例詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
這篇文章主要介紹了pandas和spark dataframe互相轉(zhuǎn)換實(shí)例詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
from pyspark.sql import SparkSession # 初始化spark會(huì)話 spark = SparkSession \ .builder \ .getOrCreate() spark_df = spark.createDataFrame(pandas_df)
spark的dataframe轉(zhuǎn)pandas的dataframe
import pandas as pd pandas_df = spark_df.toPandas()
由于pandas的方式是單機(jī)版的，即toPandas()的方式是單機(jī)版的，所以參考breeze_lsw改成分布式版本：
import pandas as pd def _map_to_pandas(rdds): return [pd.DataFrame(list(rdds))] def topas(df, n_partitions=None): if n_partitions is not None: df = df.repartition(n_partitions) df_pand = df.rdd.mapPartitions(_map_to_pandas).collect() df_pand = pd.concat(df_pand) df_pand.columns = df.columns return df_pand pandas_df = topas(spark_df)
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python中的數(shù)據(jù)分析詳解,對(duì)數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)分析是指根據(jù)分析目的，用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法及工具，對(duì)收集來的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用,需要的朋友可以參考下2023-07-07
?cmd輸入python打開微軟應(yīng)用商店的解決方法
在命令控制行中輸入python想使用Python環(huán)境,卻意外打開了微軟自帶的應(yīng)用商店,十分苦惱,下面這篇文章主要給大家介紹了關(guān)于?cmd輸入python打開微軟應(yīng)用商店的解決方法,需要的朋友可以參考下2024-03-03
淺談python條件表達(dá)式:多項(xiàng)分支,雙向分支
這篇文章主要介紹了淺談python條件表達(dá)式：多項(xiàng)分支，雙向分支的使用，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-04-04
postman發(fā)送文件請(qǐng)求并以python服務(wù)接收方式
這篇文章主要介紹了postman發(fā)送文件請(qǐng)求并以python服務(wù)接收方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07
Python從Excel讀取數(shù)據(jù)并使用Matplotlib繪制成二維圖像
本課程實(shí)現(xiàn)使用 Python 從 Excel 讀取數(shù)據(jù)，并使用 Matplotlib 繪制成二維圖像。這一過程中，將通過一系列操作來美化圖像，最終得到一個(gè)可以出版級(jí)別的圖像。本課程對(duì)于需要書寫實(shí)驗(yàn)報(bào)告，學(xué)位論文，發(fā)表文章，做報(bào)告的學(xué)員具有較大價(jià)值2023-02-02
python批量修改圖片后綴的方法(png到j(luò)pg)
今天小編就為大家分享一篇python批量修改圖片后綴(png到j(luò)pg)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-10-10
Python編程scoketServer實(shí)現(xiàn)多線程同步實(shí)例代碼
這篇文章主要介紹了Python編程scoketServer實(shí)現(xiàn)多線程同步實(shí)例代碼，小編覺得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下2018-01-01
在本篇文章里小編給大家整理了關(guān)于python實(shí)現(xiàn)可變變量名的相關(guān)知識(shí)點(diǎn)內(nèi)容以及實(shí)例代碼，需要的朋友們參考下。2019-07-07
python?pygame實(shí)現(xiàn)打磚塊游戲
這篇文章主要為大家詳細(xì)介紹了python?pygame實(shí)現(xiàn)打磚塊游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-05-05
貪吃蛇是款經(jīng)典游戲，本文將帶你一步步用python語言實(shí)現(xiàn)一個(gè)貪吃蛇小游戲，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-11-11