Idea?編譯并運行?Spark?3.1.1?源碼的方法
Idea 編譯并運行 Spark 3.1.1 源碼
1、下載源碼
直接使用 idea clone spark 源碼，git 地址： https://github.com/apache/spark.git
如果網(wǎng)絡連接不上github的話可以去官網(wǎng)下載源碼壓縮包。下載地址：https://archive.apache.org/dist/spark/
clone 或 import 之后會有 maven 和 sbt 兩個選項導入，直接識別成 maven 項目，checkout自己需要的版本，我本次編譯版本為3.1分支
2、編譯源碼
直接使用 idea 頁面 ui 編譯，找到 Spark Project Parent POM 然后點擊 clean 和 package，勾選上 skipTest。
編譯過程中，報了如下異常：
這是maven插件的問題，我們跳過這個的功能，使用如下maven 語句編譯：
mvn clean package -DskipTests -Denforcer.skip=true
編譯過程中，又拋了如下異常：
Execute failed: java.io.IOException: Cannot run program “bash” (in directory “D:\Develop\workspace\spark\core”): CreateProcess error=2, 系統(tǒng)找不到指定的文件。
這個是本地Windows環(huán)境不能執(zhí)行bash導致的，需要本機安裝Git工具, 將git路徑添加到系統(tǒng)環(huán)境變量 Path 中，然后重啟電腦就可以解決。
之后就等待編譯完成即可，可能時間有點長，15分鐘左右。
3、運行源碼
嘗試根據(jù)官網(wǎng)案例運行代碼
運行 ./bin/run-example SparkPi 10 命令報找不到 HADOOP_HOME，配置一下HADOOP_HOME，然后重啟電腦即可。
配置完成之后，運行成功
spark shell 也可以正常啟動，證明我們的代碼可以正常運行了，更多的操作就留給大家自己操作了，下面就可以正常的進行代碼debug查看源碼了。
到此這篇關于Idea 編譯并運行 Spark 3.1.1 源碼的文章就介紹到這了,更多相關Idea 編譯運行 Spark內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
本文主要介紹了servlet創(chuàng)建web后端程序的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-06-06
在 SpringBoot中,提供了一種新的屬性注入方式,支持各種java基本數(shù)據(jù)類型及復雜類型的注入,下面這篇文章主要給大家介紹了關于SpringBoot屬性注入的多種方式,需要的朋友可以參考下2021-10-10
MyBatis是一個支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架，MyBatis越來越受大家的喜愛了。下面給大家分享MyBatis使用動態(tài)SQL標簽的小陷阱，感興趣的朋友一起看看吧2016-10-10
這篇文章主要介紹了springboot配置文件綁定實現(xiàn)解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-01-01
SpringBoot3.x中spring.factories?SPI?服務發(fā)現(xiàn)機制的改變問題小結
spring.factories其實是SpringBoot提供的SPI機制，底層實現(xiàn)是基于SpringFactoriesLoader檢索ClassLoader中所有jar引入的META-INF/spring.factories文件，這篇文章主要介紹了SpringBoot3.x中spring.factories?SPI?服務發(fā)現(xiàn)機制的改變,需要的朋友可以參考下2023-05-05
去掉IntelliJ IDEA 中 mybatis 對應的 xml 文件警告的教程圖解
本文通過圖文并茂的形式給大家介紹了去掉IntelliJ IDEA 中 mybatis 對應的 xml 文件警告的教程,需要的朋友可以參考下2018-06-06
在SpringBoot中,如何使用Netty實現(xiàn)遠程調用方法總結
我們在進行網(wǎng)絡連接的時候,建立套接字連接是一個非常消耗性能的事情,特別是在分布式的情況下,用線程池去保持多個客戶端連接,是一種非常消耗線程的行為.那么我們該通過什么技術去解決上述的問題呢,那么就不得不提一個網(wǎng)絡連接的利器——Netty,需要的朋友可以參考下2021-06-06
SpringBoot3整合mybatis-plus的實現(xiàn)
MyBatis-Plus是一個MyBatis的增強工具,在MyBatis的基礎上只做增強不做改變,本文主要介紹了Mybatis-Plus3.x的具體使用,具有一定的參考價值,感興趣的可以了解一下2023-10-10
SpringCloud之Admin服務監(jiān)控實現(xiàn)流程示例詳解
這篇文章主要為大家介紹了SpringCloud之Admin服務監(jiān)控流程示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09
本文主要介紹了SpringBoot接入釘釘自定義機器人預警通知，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-07-07