Spark-shell批量命令執(zhí)行腳本的方法
更新時間：2018年06月19日 16:34:58 作者：小蝸牛也有夢想
今天小編就為大家分享一篇Spark-shell批量命令執(zhí)行腳本的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
批量執(zhí)行spark-shell命令，并指定提交參數(shù)
#!/bin/bash
source /etc/profile
exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out")
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF
以上這篇Spark-shell批量命令執(zhí)行腳本的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了shell腳本自動安裝jdk的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-12-12
iredmail下安裝腳本分析（一）---get_all.sh 文件所在目錄為PKGS
這篇文章主要介紹了iredmail下安裝腳本分析（一）---get_all.sh 文件所在目錄為PKGS的相關資料,需要的朋友可以參考下2015-10-10
tree是一種遞歸目錄列表命令，產(chǎn)生一個深度縮進列表文件，這是彩色的ALA dircolors如果ls_colors設置環(huán)境變量和輸出是TTY。下面通過本文給大家分享linux下tree命令的用法，感興趣的朋友一起看看吧2017-09-09
這篇文章主要為大家分享了Shell 函數(shù)參數(shù),方便學習shell腳本的朋友2014-09-09
這篇文章主要介紹了Shell腳本實現(xiàn)從文件夾中遞歸復制文件,本文腳本實現(xiàn)從十層左右的文件夾中復制所有文件到一目錄中,需要的朋友可以參考下2015-02-02
Shell腳本中使用for循環(huán)和cat命令實現(xiàn)按順序合并文件
這篇文章主要介紹了Shell腳本中使用for循環(huán)和cat命令實現(xiàn)按順序合并文件,本文先是用sed命令來實現(xiàn),發(fā)現(xiàn)不能完成需求,后使用for循環(huán)解決,需要的朋友可以參考下2015-01-01
這篇文章主要介紹了shell腳本輸出多個主機的網(wǎng)卡速率的方法,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-12-12
這篇文章主要介紹了Linux中退出編輯模式的命令,本文給大家介紹的非常詳細，具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-05-05
這篇文章主要為大家介紹了Shell命令之數(shù)組表示語法學習，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-05-05
統(tǒng)計 cpu 內(nèi)存 使用率的shell腳本代碼
統(tǒng)計 cpu 內(nèi)存使用率的腳本，有需要的朋友可以參考下2013-02-02