Spark在Win10下的環(huán)境搭建過程
前言
本章將介紹如何在WIN10下實現(xiàn)spark環(huán)境搭建。
本章概要
1、版本說明
2、環(huán)境準備：
- jdk配置；
- scala安裝與配置；
- spark安裝與配置；
- hadoop安裝與配置；
版本說明
jdk：1.8
scala：2.11.8
spark：2.3.0
hadoop：2.8.3
環(huán)境準備
jdk配置
1、配置JAVA_HOME與Path：
Path
2、驗證配置：
scala安裝與配置
1、scala下載：
訪問官方地址
http://www.scala-lang.org/download/2.11.8.html
2、配置Path：
3、驗證配置：
Spark安裝與配置
1、spark下載：
訪問官方地址
http://spark.apache.org/downloads.html
選中官方推薦的地址即可下載，其他地址也可用（建議采用迅雷等下載工具下載，速度比較會快很多）
2、解壓至D盤；
3、配置Path：
4、通過spark-shell進入Spark的交互式命令行模式：
如上，可以看到對應(yīng)的spark、scala、java版本，同時也看到了異常信息，該異常信息是由于hadoop導(dǎo)致的，下面來配置hadoop。
Hadoop安裝與配置
1、hadoop下載
訪問官方
http://hadoop.apache.org/releases.html
進入下載頁，如下建議地址（同樣建議用迅雷等下載工具下載，速度更快）
2、解壓至
3、配置HADOOP_HOME&Path：
path：
4、winutils下載：
https://github.com/steveloughran/winutils
下載對應(yīng)版本的bin目錄直接替換本地bin目錄即可。
5、此時繼續(xù)spark-shell進入spark命令行交互模式：
此時即不會出現(xiàn)上述的異常提示。
6、訪問控制臺中的webui如下：
到此這篇關(guān)于Spark在Win10下的環(huán)境搭建的文章就介紹到這了,更多相關(guān)win10 Spark環(huán)境搭建內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
微服務(wù)的架構(gòu)出現(xiàn)已經(jīng)很久很久了，微服務(wù)架構(gòu)就是一種將單個應(yīng)用程序轉(zhuǎn)換為一組小服務(wù)的方法，每個小服務(wù)都在自己的進程中運行，并使用輕量級的交互方式（如HTTP）進行通信2021-06-06
這篇文章主要介紹了Pascal Move的用法,需要的朋友可以參考下2021-11-11
FFmpeg是一套可以用來記錄、轉(zhuǎn)換數(shù)字音頻、視頻，并能將其轉(zhuǎn)化為流的開源計算機程序。這篇文章主要介紹了ffmpeg播放器實現(xiàn)詳解視頻顯示,需要的朋友可以參考下2020-07-07
app開發(fā)之原生開發(fā)、H5開發(fā)和混合開發(fā)的區(qū)別
這篇文章主要介紹了app開發(fā)之原生開發(fā)、H5開發(fā)和混合開發(fā)的區(qū)別,需要的朋友可以參考下2019-12-12
云計算的不斷發(fā)展，涌現(xiàn)出很多改變傳統(tǒng)IT架構(gòu)和運維方式的新技術(shù)，而以虛擬機、容器、微服務(wù)為代表的技術(shù)更是在各個層面不斷提升云服務(wù)的技術(shù)能力，它們將應(yīng)用和環(huán)境中很多通用能力變成了一種服務(wù)。但無論這些技術(shù)應(yīng)用在哪里，幫助企業(yè)降本增效是技術(shù)變革永恒的主題。2021-05-05
TCP 四種定時器（重傳定時器，堅持計時器，?；疃〞r器，時間等待計時器）
這篇文章主要介紹了TCP 四種定時器，重傳定時器，堅持計時器，?；疃〞r器，時間等待計時器的相關(guān)資料,需要的朋友可以參考下2017-03-03
Maven是一個項目管理工具，它包含了一個項目對象模型 (Project Object Model)，這篇文章主要介紹了maven命令大全,需要的朋友可以參考下2020-07-07
在本文中，我們將探討軟件開發(fā)過程中關(guān)于角色、重構(gòu)和質(zhì)量的問題。軟件不僅成為了一個必需品，更成為了一個競爭優(yōu)勢。因為眾多公司圍繞軟件而競爭，軟件開發(fā)相關(guān)的事宜顯得越發(fā)重要。開發(fā)軟件的人—軟件工程師正顯得越發(fā)重要。2021-05-05
下面小編就為大家分享一篇Hbuilder連遠程接服務(wù)器上傳代碼的圖文教程，具有很好的參考價值，一起跟隨小編過來看看吧，希望對大家有所幫助2017-11-11
Windows API函數(shù)大全，從事軟件開發(fā)的朋友可以參考下2012-05-05