spark: RDD與DataFrame之間的相互轉(zhuǎn)換方法
DataFrame是一個(gè)組織成命名列的數(shù)據(jù)集。它在概念上等同于關(guān)系數(shù)據(jù)庫中的表或R/Python中的數(shù)據(jù)框架，但其經(jīng)過了優(yōu)化。DataFrames可以從各種各樣的源構(gòu)建，例如：結(jié)構(gòu)化數(shù)據(jù)文件，Hive中的表，外部數(shù)據(jù)庫或現(xiàn)有RDD。
DataFrame API 可以被Scala，Java，Python和R調(diào)用。
在Scala和Java中，DataFrame由Rows的數(shù)據(jù)集表示。
在Scala API中，DataFrame只是一個(gè)類型別名Dataset[Row]。而在Java API中，用戶需要Dataset<Row>用來表示DataFrame。
在本文檔中，我們經(jīng)常將Scala/Java數(shù)據(jù)集Row稱為DataFrames。
那么DataFrame和spark核心數(shù)據(jù)結(jié)構(gòu)RDD之間怎么進(jìn)行轉(zhuǎn)換呢？
代碼如下：
# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark.sql import SparkSession
from pyspark.sql import Row
if __name__ == "__main__":
# 初始化SparkSession
spark = SparkSession \
.builder \
.appName("RDD_and_DataFrame") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
sc = spark.sparkContext
lines = sc.textFile("employee.txt")
parts = lines.map(lambda l: l.split(","))
employee = parts.map(lambda p: Row(name=p[0], salary=int(p[1])))
#RDD轉(zhuǎn)換成DataFrame
employee_temp = spark.createDataFrame(employee)
#顯示DataFrame數(shù)據(jù)
employee_temp.show()
#創(chuàng)建視圖
employee_temp.createOrReplaceTempView("employee")
#過濾數(shù)據(jù)
employee_result = spark.sql("SELECT name,salary FROM employee WHERE salary >= 14000 AND salary <= 20000")
# DataFrame轉(zhuǎn)換成RDD
result = employee_result.rdd.map(lambda p: "name: " + p.name + " salary: " + str(p.salary)).collect()
#打印RDD數(shù)據(jù)
for n in result:
print(n)
以上這篇spark: RDD與DataFrame之間的相互轉(zhuǎn)換方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
本文給大家分享的是在Linux系統(tǒng)中Python環(huán)境的安裝步驟，以及常用的軟件的安裝升級(jí)，非常的實(shí)用，有需要的小伙伴可以參考下2016-03-03
這篇文章介紹了Pytest測試報(bào)告工具Allure的用法，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
python中pip無法正確安裝或路徑出錯(cuò)的解決方案
這篇文章主要介紹了python中pip無法正確安裝或路徑出錯(cuò)的解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02
Flask入門教程實(shí)例：搭建一個(gè)靜態(tài)博客
這篇文章主要介紹了Flask入門教程實(shí)例：搭建一個(gè)靜態(tài)博客,本文主要介紹flask框架的環(huán)境配置以及一個(gè)靜態(tài)博客胡搭建實(shí)例,需要的朋友可以參考下2015-03-03
這篇文章主要個(gè)介紹了如何基于python生成詞云圖的代碼示例,文中有詳細(xì)的代碼示例喝圖文講解,對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2023-11-11
為什么說Python可以實(shí)現(xiàn)所有的算法
在本篇文章里小編給各位整理的是關(guān)于一個(gè)Python就可以實(shí)現(xiàn)所有的算法的相關(guān)文章，需要的朋友們參考下。2019-10-10
Python如何根據(jù)時(shí)間序列數(shù)據(jù)作圖
這篇文章主要介紹了Python如何根據(jù)時(shí)間序列數(shù)據(jù)作圖,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
一個(gè)簡單的python爬蟲程序 爬取豆瓣熱度Top100以內(nèi)的電影信息
這篇文章主要為大家詳細(xì)介紹了一個(gè)簡單的python爬蟲程序，爬取豆瓣熱度Top100以內(nèi)的電影信息，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-04-04
Python新版極驗(yàn)驗(yàn)證碼識(shí)別驗(yàn)證碼教程詳解
這篇文章主要介紹了Python新版極驗(yàn)驗(yàn)證碼識(shí)別驗(yàn)證碼，極驗(yàn)驗(yàn)證是一種在計(jì)算機(jī)領(lǐng)域用于區(qū)分自然人和機(jī)器人的，通過簡單集成的方式，為開發(fā)者提供安全、便捷的云端驗(yàn)證服務(wù)2023-02-02
Python矩陣常見運(yùn)算操作實(shí)例總結(jié)
這篇文章主要介紹了Python矩陣常見運(yùn)算操作,結(jié)合實(shí)例形式總結(jié)分析了Python矩陣的創(chuàng)建以及相乘、求逆、轉(zhuǎn)置等相關(guān)操作實(shí)現(xiàn)方法,需要的朋友可以參考下2017-09-09