Hadoop分布式集群的搭建的方法步驟
1 安裝說(shuō)明
1.1 用到的軟件
| 軟件 | 版本 | 下載地址 |
|---|---|---|
| linux | Ubuntu Server 18.04.2 LTS | https://ubuntu.com/download/server |
| hadoop | hadoop-2.7.1 | http://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz |
| java | jdk-8u211-linux-x64 | https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html |
1.2 節(jié)點(diǎn)安排
| 名稱 | ip | hostname |
|---|---|---|
| 主節(jié)點(diǎn) | 192.168.233.200 | Master |
| 子節(jié)點(diǎn)1 | 192.168.233.201 | Slave01 |
| 子節(jié)點(diǎn)2 | 192.168.233.202 | Slave02 |
2 創(chuàng)建hadoop用戶
所有的節(jié)點(diǎn)均創(chuàng)建一個(gè)名為hadoop的用戶，并添加管理員權(quán)限。
注意：這里這是單純?yōu)榱朔奖愎芾?，?chuàng)建的用戶名，也可以使用其他用戶名，或者使用系統(tǒng)之前的用戶，主要有管理員權(quán)限即可
$ sudo useradd -m hadoop -s /bin/bash #創(chuàng)建用戶 $ sudo passwd hadoop #修改密碼 $ sudo adduser hadoop sudo #添加管理員權(quán)限
3 配置網(wǎng)絡(luò)環(huán)境
3.1 修改主機(jī)名
修改 /etc/hostname文件，每個(gè)節(jié)點(diǎn)都要修改。
- 主節(jié)點(diǎn)修改為：Master
- 從節(jié)點(diǎn)分別修改為：Slave01,Slave02,...
注意：如果是ubuntu18.04桌面版直接修改/etc/hostname文件即可，ubuntu18.04服務(wù)器版還需要修改/etc/cloud/cloud.cfg文件，修改如下：
# This will cause the set+update hostname module to not operate (if true) preserve_hostname: true #這里是將false改成true
3.2 添加IP與主機(jī)名的映射關(guān)系
在/etc/hosts文件里添加如下內(nèi)容（每個(gè)節(jié)點(diǎn)都要修改，根據(jù)實(shí)際情況修改ip)
192.168.233.200 Master 192.168.233.201 Slave01 192.168.233.202 Slave02
檢查各個(gè)節(jié)點(diǎn)是否能相互ping通。
3.3 設(shè)置SSH無(wú)密碼登錄節(jié)點(diǎn)
讓Master能夠通過(guò)SSH無(wú)密碼登錄各個(gè)Slave節(jié)點(diǎn)
如果修改過(guò)主機(jī)名，需要重新生成的新的公鑰。
在Master上執(zhí)行如下命令：
$ cd ~/.ssh # 如果沒有該目錄，先執(zhí)行一次ssh localhost $ rm ./id_rsa* # 刪除之前生成的公匙（如果已經(jīng)存在） $ ssh-keygen -t rsa # 執(zhí)行該命令后，遇到提示信息，一直按回車就可以 $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
接著將Master中的id_rsa.pub文件復(fù)制到各個(gè)Slave節(jié)點(diǎn)中
$ scp ~/.ssh/id_rsa.pub hadoop@Slave01:/home/hadoop/ $ scp ~/.ssh/id_rsa.pub hadoop@Slave02:/home/hadoop/
在各個(gè)Slave節(jié)點(diǎn)中執(zhí)行如下命令：
$ mkdir ~/.ssh # 如果不存在該文件夾需先創(chuàng)建 $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys $ rm ~/id_rsa.pub # 用完以后就可以刪掉
在Master中驗(yàn)證是否可以無(wú)密碼登錄，各個(gè)Slave節(jié)點(diǎn)。
如：
$ ssh Slave01 #如果成功登錄，則配置完成 $ ssh Slave02 #如果成功登錄，則配置完成
4 安裝java環(huán)境
每個(gè)節(jié)點(diǎn)都要安裝，步驟相同
為了方便操作每個(gè)節(jié)點(diǎn)，默認(rèn)在/usr/local/下新建一個(gè)名為bigdata的文件夾，存放所有的大數(shù)據(jù)相關(guān)的軟件。
$ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop:hadoop /usr/local/bigdata/
4.1 解壓
$ sudo mkdir /usr/local/bigdata/java $ sudo tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/bigdata/java/
4.2 添加環(huán)境變量
在~/.bashrc文件中添加如下內(nèi)容，并執(zhí)行$ source ~/.bashrc命令使其生效
#java
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
5 解壓hadoop
下載hadoop-2.7.1.tar.gz文件，并解壓到/usr/local/bigdata/文件夾下
$ sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/bigdata
6 修改hadoop配置文件
需要修改6個(gè)文件，文件位于/usr/local/bigdata/hadoop-2.7.1/etc/hadoop/下
6.1 slave 文件
將文件中原來(lái)的 localhost 刪除，添加內(nèi)容：
Slave01 Slave02
6.2 core-site.xml 文件
內(nèi)容修改為：
<configuration>
<!-- 指定HADOOP所使用的文件系統(tǒng)schema（URI）-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
6.3 hdfs-site.xml文件
Hadoop的分布式文件系統(tǒng)HDFS一般采用冗余存儲(chǔ)，一份文件通常保存3份副本，所以dfs.replication的值還是設(shè)置為3。
具體內(nèi)容如下：
<configuration>
<property>
<!-- 指定SecondaryNamenode所在地址 -->
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/data</value>
</property>
</configuration>
6.4 mapred-site.xml 文件
修改內(nèi)容如下：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>
6.5 yarn-site.xml文件
內(nèi)容如下：
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6.6 hadoop-env.sh 文件
修改如下內(nèi)容：
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211 # 可以不用 export HADOOP_HOME=/usr/local/hadoop-2.7.1
7 設(shè)置hadoop環(huán)境變量
每個(gè)節(jié)點(diǎn)都要設(shè)置
在~/.bashrc文件中添加如下內(nèi)容，并$ source ~/.bashrc使其生效
export PATH=$PATH:/usr/local/bigdata/hadoop-2.7.1/bin:/usr/local/bigdata/hadoop-2.7.1/sbin
8 slave節(jié)點(diǎn)配置
slave節(jié)點(diǎn)只需將master節(jié)點(diǎn)上/usr/local/下的bigdata文件夾和~/.bashrc文件，放到slave節(jié)點(diǎn)即可
注意切換到對(duì)應(yīng)機(jī)器執(zhí)行$ source ~/.bashrc使環(huán)境變量生效。
后續(xù)的軟件均可使用此方式配置。
在master節(jié)點(diǎn)：
$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/tmp # 刪除 Hadoop 臨時(shí)文件，如果之前有啟動(dòng)過(guò) $ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/logs/* # 刪除日志文件，如果之前有啟動(dòng)過(guò) $ tar -zcvf ~/bigdata.tar.gz /usr/local/bigdata/ # 先壓縮再?gòu)?fù)制 $ scp ~/bigdata.tar.gz Slave01:/home/hadoop $ scp ~/bigdata.tar.gz Slave02:/home/hadoop $ scp ~/bashrc Slave01:/home/hadoop $ scp ~/bashrc Slave02:/home/hadoop
在各個(gè)slave節(jié)點(diǎn)上
$ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop：hadoop /usr/local/bigdata $ tar -zxvf ~/bigdata.tar.gz -C /usr/local/bigdata $ sudo source ~/.bashrc
9 啟動(dòng)Hadoop集群
在Master上執(zhí)行
首次運(yùn)行需要，執(zhí)行
$ hdfs namenode -format
格式化名稱節(jié)點(diǎn)，然后就可以啟動(dòng)hadoop了。
啟動(dòng)hadoop：
$ start-dfs.sh $ start-yarn.sh $ mr-jobhistory-daemon.sh start historyserver
使用jps查看啟動(dòng)的各個(gè)節(jié)點(diǎn)，缺少任何進(jìn)程，都表示出錯(cuò)。
$ jps 3585 JobHistoryServer 2938 NameNode 3148 SecondaryNameNode 3308 ResourceManager 3629 Jps
瀏覽器查看：http://192.168.233.200:50070/
查看相關(guān)信息：$ hdfs dfsadmin -report
關(guān)閉hadoop：
$ stop-yarn.sh $ stop-dfs.sh $ mr-jobhistory-daemon.sh stop historyserver
如果有問(wèn)題，重復(fù)如下命令：
$ stop-dfs.sh # 關(guān)閉 $ rm -r /usr/local/bigdata/hadoop-2.7.1/tmp # 刪除 tmp 文件，注意這會(huì)刪除 HDFS中原有的所有數(shù)據(jù) $ hdfs namenode -format # 重新格式化名稱節(jié)點(diǎn) $ start-dfs.sh # 重啟
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
在進(jìn)行Git合并某一次提交時(shí),有時(shí)會(huì)出現(xiàn)沖突,本文主要介紹了git合并部分提交的實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下2023-08-08
分享Win10 1903過(guò)TP的雙機(jī)調(diào)試問(wèn)題
本文給大家分享的是Win10 1903過(guò)TP的雙機(jī)調(diào)試問(wèn)題，通過(guò)實(shí)例代碼截圖的形式給大家展示的非常詳細(xì)，需要的朋友參考下2019-11-11
微信小程序應(yīng)用號(hào)開發(fā)體驗(yàn)
這篇文章主要介紹了微信小程序（應(yīng)用號(hào)）開發(fā)體驗(yàn)的相關(guān)資料,需要的朋友可以參考下2016-09-09
微信支付、支付寶支付等常用第三方支付通道接口手續(xù)費(fèi)對(duì)比
微信支付、支付寶等第三方支付，需要和銀聯(lián)、網(wǎng)聯(lián)對(duì)接，有清算機(jī)構(gòu)和銀行的交易處理通道成本。費(fèi)率指支付手續(xù)費(fèi)的費(fèi)率，不同行業(yè)、不同的支付平臺(tái)、不同的支付額度或次數(shù)所對(duì)應(yīng)的通道費(fèi)率是不一樣的。2023-01-01
這篇文章主要為大家介紹了微信小程序開發(fā)工具及基本的使用，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2022-04-04
12本互聯(lián)網(wǎng)科技大佬推薦的必讀書籍，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-03-03
ibatis簡(jiǎn)單實(shí)現(xiàn)與配置
ibatis與hibernate一樣，同樣也是一種OR框架，OR框架有很多種，相對(duì)用的比較多的就是hibernate與ibatis，ibatis是一種白自動(dòng)化的ORM的實(shí)現(xiàn)2009-01-01
Python雖然是腳本語(yǔ)言，但是因?yàn)槿菀讓W(xué)，迅速成為科學(xué)家的工具。Python 已經(jīng)是數(shù)據(jù)分析和 AI的第一語(yǔ)言，網(wǎng)絡(luò)攻防的第一黑客語(yǔ)言，正在成為編程入門教學(xué)的第一語(yǔ)言，云計(jì)算系統(tǒng)管理第一語(yǔ)言2019-06-06
解決YYC松鼠短視頻系統(tǒng)上傳視頻會(huì)被壓縮的問(wèn)題
這篇文章主要介紹了解決YYC松鼠短視頻系統(tǒng)上傳視頻會(huì)被壓縮的問(wèn)題,非常不錯(cuò)具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-02-02
JetPack開發(fā)中使用CameraX完成拍照和拍視頻功能
CameraX 是一個(gè) Google 推出的 JetPack 組件。今天給大家分享JetPack之使用CameraX完成拍照和拍視頻，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2020-06-06