如何安裝Hadoop并運行WordCount程序

更新時間：2025年05月14日 10:26:09 作者：依年南臺

這篇文章主要介紹了如何安裝Hadoop并運行WordCount程序,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友參考下吧

一、安裝 Java

Hadoop 依賴 Java，首先需要安裝 Java 開發(fā)工具包（JDK）。以 Ubuntu 為例：

sudo apt update
sudo apt install openjdk-8-jdk

安裝后，設置環(huán)境變量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

二、安裝 Hadoop

下載 Hadoop：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置環(huán)境變量：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

配置 Hadoop： core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/data/datanode</value>
    </property>
</configuration>

三、啟動 Hadoop

格式化 NameNode：

hdfs namenode -format

啟動 HDFS 和 YARN：

start-dfs.sh
start-yarn.sh

驗證服務：
訪問 http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。

四、運行 WordCount 程序

準備輸入數(shù)據(jù)：

echo "Hello Hadoop World" > input.txt
hdfs dfs -mkdir -p /user/input
hdfs dfs -put input.txt /user/input

執(zhí)行 WordCount：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output

查看結果：

hdfs dfs -cat /user/output/part-r-00000

到此這篇關于如何安裝Hadoop并運行WordCount程序的文章就介紹到這了,更多相關Hadoop安裝和WordCount程序內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

Spring動態(tài)多數(shù)據(jù)源配置實例Demo
本篇文章主要介紹了Spring動態(tài)多數(shù)據(jù)源配置實例Demo，具有一定的參考價值，有興趣的可以了解一下。
2017-01-01
Java的關鍵字之transient詳解
這篇文章主要介紹了Java的關鍵字之transient詳解,在Java編程中,transient是一個關鍵字,通常用于修飾變量,它的主要作用是用于指示JVM在對象序列化時忽略指定變量,從而避免數(shù)據(jù)泄露的安全問題,需要的朋友可以參考下
2023-09-09
java 出現(xiàn)問題javax.servlet.http.HttpServlet was not found解決方法
這篇文章主要介紹了java 出現(xiàn)問題javax.servlet.http.HttpServlet was not found解決方法的相關資料,需要的朋友可以參考下
2016-11-11
SpringBoot中AOP的動態(tài)匹配和靜態(tài)匹配詳解
這篇文章主要介紹了SpringBoot中AOP的動態(tài)匹配和靜態(tài)匹配詳解,在創(chuàng)建代理的時候?qū)δ繕祟惖拿總€連接點使用靜態(tài)切點檢查,如果僅通過靜態(tài)切點檢查就可以知道連接點是不匹配的,則在運行時就不再進行動態(tài)檢查了,需要的朋友可以參考下
2023-09-09
Java使用for循環(huán)解決經(jīng)典的雞兔同籠問題示例
這篇文章主要介紹了Java使用for循環(huán)解決經(jīng)典的雞兔同籠問題,結合實例形式分析了Java巧妙使用流程控制語句for循環(huán)解決雞兔同籠問題相關操作技巧,需要的朋友可以參考下
2018-05-05
Mybatis中關于自定義mapper.xml時,參數(shù)傳遞的方式及寫法
這篇文章主要介紹了Mybatis中關于自定義mapper.xml時,參數(shù)傳遞的方式及寫法,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-12-12
SpringCloud中的Feign遠程調(diào)用接口傳參失敗問題
這篇文章主要介紹了SpringCloud中的Feign遠程調(diào)用接口傳參失敗問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-03-03
Java SpringBoot集成ChatGPT實現(xiàn)AI聊天
ChatGPT已經(jīng)組件放開了，現(xiàn)在都可以基于它寫插件了，也許可以用它結合文字語音開發(fā)一個老人小孩需要的智能的說話陪伴啥的，這篇文章就介紹SpringBoot結合ChatGPT實現(xiàn)AI聊天感興趣的同學可以借鑒一下
2023-04-04
Java基礎:流Stream詳解
Stream流是數(shù)據(jù)渠道，用于操作數(shù)據(jù)源（集合、數(shù)組等）所生成的元素序列。這篇文章主要介紹了Java8新特性Stream流的相關資料，需要的朋友參考下吧
2021-09-09
java報錯:“錯誤：編碼GBK?的不可映射字符”解決辦法
當Java源代碼中包含中文字符時,我們在用javac編譯時會出現(xiàn)“錯誤：編碼GBK的不可映射字符”,這篇文章主要給大家介紹了關于java報錯:“錯誤：編碼GBK?的不可映射字符”的解決辦法,需要的朋友可以參考下
2024-08-08