windows下pycharm搭建spark環(huán)境并成功運行附源碼

更新時間：2021年04月27日 11:05:32 作者：weixin_74

這篇文章主要介紹了windows下pycharm搭建spark環(huán)境并成功運行附源碼,本文分步驟給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下

windows下spark的安裝和運行建議看到這篇文章(描述非常詳細)

Spark在Win10下的環(huán)境搭建

一、創(chuàng)建項目和.py文件

在這里插入圖片描述

二、在pycharm中添加spark環(huán)境

在這里插入圖片描述

若是左側(cè)的python中沒有，可點擊‘'+‘'號進行添加

在這里插入圖片描述

配置spark環(huán)境：總共3個（SPARK_HOME、HADOOP_HOME、PYTHONPATH）

在這里插入圖片描述

（注：SPARK_HOME和HADOOP_HOME已在系統(tǒng)的環(huán)境變量添加，故這里不再添加）

在編寫代碼時，建議添加如下代碼，保證程序能夠運行成功：

import os
import sys
import findspark  # 一定要在最前面導(dǎo)入

'''初始化spark環(huán)境'''
findspark.init()
# Path for spark source folder
os.environ['SPARK_HOME'] = "G:\Spark\Install\spark-2.4.3-bin-hadoop2.7"
# Append pyspark to Python Path
sys.path.append("G:\Spark\Install\spark-2.4.3-bin-hadoop2.7\python")

'''示例'''
from pyspark import SparkContext,SparkConf
from pyspark.sql import SparkSession
from pyspark.sql import Row

# SparkContext是spark功能的主要入口
sc = SparkContext("local", "app")
RawSalesDataRDD = sc.textFile("G:\\Spark\\作業(yè)\\taxi.csv")
print(RawSalesDataRDD.take(5))
salesRDD = RawSalesDataRDD.map(lambda line: line.split(","))
print(salesRDD.take(5))
taxi_Rows = salesRDD.map(lambda p:
                         Row(
                             id=p[0],
                             lat=p[1],
                             lon=p[2],
                             time=p[3]
                        ))

sqlContext = SparkSession.builder.getOrCreate()
taxi_df = sqlContext.createDataFrame(taxi_Rows)
print(taxi_Rows.take(5))

print('查看dataframe的字段名稱和前5行數(shù)據(jù)：')
taxi_df.printSchema()
taxi_df.show(5)

'''使用SQL語句  操作表數(shù)據(jù)'''
# #創(chuàng)建臨時表taxi_table
taxi_df.registerTempTable("taxi_table")

# 查詢編號為 5 的出租車的 GPS 數(shù)據(jù)的前 10 行
taxi_df.filter("id='5'").show(10)
taxi_df.where("id='5'").show(10)
sqlContext.sql("select * from taxi_table where id='5'").show(10)

代碼運行結(jié)果：

在這里插入圖片描述