spark，一個數(shù)據(jù)處理框架和計算引擎。

下載

local模式即本地模式，就是不需要任何其他節(jié)點資源就可以在本地執(zhí)行spark代碼的環(huán)境。用于練習演示。

上傳解壓

使用PortX將文件上傳至/opt

進入/opt目錄，創(chuàng)建目錄module，解壓文件至/opt/module

進入module，并修改名稱

配置jdk

啟動spark前要安裝jdk，上傳jdk文件

解壓

tar zxvf jdk-8u271-linux-x64.tar.gz

配置環(huán)境變量

以root用戶配置環(huán)境變量

cd ~

保存后，以root用戶，執(zhí)行source .profle，使更改生效，并驗證。

啟動查看

進入spark-local，執(zhí)行命令bin/spark-shell 啟動spark，如下所示則成功啟動

啟動成功后，可以通過瀏覽器訪問WebUI監(jiān)控頁面

http://ip:4040

交互操作

使用命令行或者提交作業(yè)的方式，與spark進行交互。

命令行

進入spark目錄中的data文件夾，添加test.txt文件

vi test.txt

進入spark-standalone/bin目錄，執(zhí)行./spark-shell，啟動命令行，執(zhí)行以下內(nèi)容

sc.textFile("../data/test.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

退出Ctrl+c或者輸入:quit后回車

提交應用

對于公司大數(shù)據(jù)的批量處理或周期性數(shù)據(jù)分析/處理任務，通常采用編寫好的Spark程序，并通過Spark-submit指令的方式提交給Spark集群進行具體的任務計算。

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master local[2] \

./examples/jars/spark-examples_2.12-3.5.5.jar \

10

備注：路徑等信息如下，示例代碼都位于spark目錄中。

到此這篇關(guān)于大數(shù)據(jù)spark3.5安裝部署之local模式詳解的文章就介紹到這了,更多相關(guān)spark安裝部署內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論