MAC下Anaconda+Pyspark安裝配置詳細(xì)步驟
在MAC的Anaconda上使用pyspark,主要包括以下步驟：
- 在MAC下安裝Spark,并配置環(huán)境變量。
- 在Anaconda中安裝引用pyspark。
1. MAC下安裝Spark
??到Apark Spark官網(wǎng)上下載Spark文件，無論是windows系統(tǒng)，還是MAC系統(tǒng)，亦或者Linux系統(tǒng)，都可以下載這個(gè)文件(獨(dú)立于系統(tǒng))。
將下載的文件進(jìn)行解壓(可以使用命令行進(jìn)行解壓，也可以使用解壓軟件)。解壓之后的文件如下：
配置環(huán)境變量。打開MAC命令行窗口，輸入如下命令：
sudo vi ~/.bash_profile #bash_profile是當(dāng)前用戶的環(huán)境變量文件
打開bash_profile文件，并在該文件中增加以下兩行命令：
export SPARK_HOME="/Users/sherry/documents/spark/spark-3.1.2-bin-hadoop2.7" #spark文件的完整解壓目錄
export PATH=${PATH}:${SPARK_HOME}/bin
如下圖
保存并退出之后，運(yùn)行以下命令：
source ~/.bash_profile #讓修改的bash_profile生效 echo $PATH #查看環(huán)境變量，可以看到新增的路徑名
一般MAC上使用的是zsh的shell工具，需要修改zshrc文件來使環(huán)境變量永久生效(若不修改該文件，在命令行中輸入spark- shell或者pyspark時(shí)可能會(huì)提示zsh:command not found:pyspark 或 zsh:command not found spark-shell )。輸入以下命令：
vi ~/.zshrc
修改該文件，添加如下命令：
if [ -f ~/.bash_profile ]; then
source ~/.bash_profile
fi
保存并退出即可。下面來驗(yàn)證spark是否正確安裝，具體如下：
(1)命令行中輸入spark-shell
(2)命令行中輸入pyspark
至此，spark已經(jīng)安裝成功。
2.在Anaconda中引用pyspark
??想要在Anacond中使用pyspark, 只需將spark解壓文件中python文件夾下的pyspark復(fù)制到Anaconda下的site-packages文件中。下面來驗(yàn)證一下是否能在spyder中使用pyspark, 使用如下代碼：
from pyspark import SparkContext, SparkConf
if __name__ == "__main__":
spark_conf = SparkConf()\
.setAppName('Python_Spark_WordCount')\
.setMaster('local[2]')
#使用spark最原始的API進(jìn)行數(shù)據(jù)分析
sc = SparkContext(conf=spark_conf)
sc.setLogLevel('WARN')
print (sc)
# ------創(chuàng)建RDD，需要分析的數(shù)據(jù) --------------------------------------
def local_rdd(spark_context):
datas = ['hadoop spark','hadoop hive spark','hadoop hive spark',\
'hadoop python spark','hadoop python spark',]
return spark_context.parallelize(datas)
rdd = local_rdd(sc)
print (rdd.count())
print (rdd.first())
sc.stop()
運(yùn)行發(fā)現(xiàn)提示如下錯(cuò)誤：
從提示信息可以知道，找不到SPARK_HOME?？梢栽谏鲜鲋骱瘮?shù)中增加如下代碼：
import os #添加spark安裝目錄 os.environ['SPARK_HOME'] ='/Users/sherry/documents/spark/spark-3.1.2-bin-hadoop2.7'
重新運(yùn)行即可得到如下結(jié)果：
5
hadoop spark
到此這篇關(guān)于MAC+Anaconda+Pyspark安裝配置教程的文章就介紹到這了,更多相關(guān)Anaconda Pyspark安裝配置內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python3.5 Pandas模塊缺失值處理和層次索引實(shí)例詳解
這篇文章主要介紹了Python3.5 Pandas模塊缺失值處理和層次索引,結(jié)合實(shí)例形式詳細(xì)分析了Python3.5 Pandas模塊缺失值處理和層次索引的原理、處理方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2019-04-04
ubuntu20.04運(yùn)用startup application開機(jī)自啟動(dòng)python程序的腳本寫法
這篇文章主要介紹了ubuntu20.04運(yùn)用startup application開機(jī)自啟動(dòng)python程序的腳本寫法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-10-10
Python3+Appium實(shí)現(xiàn)多臺(tái)移動(dòng)設(shè)備操作的方法
這篇文章主要介紹了Python3+Appium實(shí)現(xiàn)多臺(tái)移動(dòng)設(shè)備操作的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
下面小編就為大家分享一篇pandas修改DataFrame列名的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了Python畫圖練習(xí)案例分享，文章基于Python實(shí)現(xiàn)各種畫圖，具有一定的參考價(jià)值，感興趣的小伙伴可以參考一下2022-07-07
Python利用pymupdf實(shí)現(xiàn)簡單的PDF閱讀器
這篇文章主要為大家詳細(xì)介紹了Python如何利用pymupdf實(shí)現(xiàn)簡單的PDF閱讀器，并展示了PDF文件的內(nèi)容，文中的示例代碼講解詳細(xì)，需要的可以了解一下2023-08-08
這篇文章主要介紹了Python 多行匹配模式的相關(guān)資料，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
Python實(shí)現(xiàn)將DNA序列存儲(chǔ)為tfr文件并讀取流程介紹
為什么要在實(shí)驗(yàn)過程中存儲(chǔ)文件，因?yàn)橛行┧惴ǖ膬?nèi)容存在一些重復(fù)計(jì)算的步驟，這些步驟往往消耗很大一部分時(shí)間，在有大量參數(shù)的情況時(shí)，需要在多次不同參數(shù)的情況下重復(fù)試驗(yàn)，因此可以考慮將一些不涉及參數(shù)運(yùn)算的部分結(jié)果存入文件中2022-09-09
這篇文章主要介紹了基于Python中Remove函數(shù)的用法討論，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12
Django上使用數(shù)據(jù)可視化利器Bokeh解析
這篇文章主要介紹了Django上使用數(shù)據(jù)可視化利器Bokeh解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07