快捷導(dǎo)航

hadoop 單機(jī)安裝配置教程

更新時(shí)間：2012年11月26日 14:59:20 作者：

單機(jī)安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等,需要的朋友可以參考下

單機(jī)安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等。主要的區(qū)別在于配置文件：slaves配置需要修改，另外如果分布式安裝中dfs.replication大于1，需要修改為1，因?yàn)橹挥?個(gè)datanode.
分布式安裝請參考：
http://acooly.iteye.com/blog/1179828
單機(jī)安裝中，使用一臺(tái)機(jī)器，即做namenode和JobTracker也是datanode和TaskTracker，當(dāng)然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布樹安裝配置，如果分布式安裝配置方案中hdfs-site.xml的副本數(shù)量定義大于1，則修改為1.

復(fù)制代碼代碼如下:

 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

主要不同在于slaves的配置，分布式安裝中是多個(gè)其他機(jī)器作為datanode，單機(jī)模式本機(jī)是datanode,所以修改slaves配置文件為本機(jī)的域名。如：本機(jī)機(jī)器名為hadoop11,則：
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后，啟動(dòng)：

復(fù)制代碼代碼如下:

 
$ start-all.sh 
$ jps 
Jps 
JobTracker 
TaskTracker 
SecondaryNameNode 
DataNode 
NameNode 

運(yùn)行DEMO
$ echo word1 word2 word2 word3 word3 word3 > words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3

您可能感興趣的文章:

相關(guān)文章

spring解決循環(huán)依賴
這篇文章主要介紹了spring如何解決循環(huán)依賴，幫助大家更好的理解和使用spring框架，感興趣的朋友可以了解下
2020-09-09
Java中Spring獲取bean方法小結(jié)
Spring是一個(gè)輕量級(jí)的控制反轉(zhuǎn)（IoC）和面向切面（AOP）的容器框架，如何在程序中獲取Spring配置的bean呢？下面通過本文給大家介紹Java中Spring獲取bean方法小結(jié)，對spring獲取bean方法相關(guān)知識(shí)感興趣的朋友一起學(xué)習(xí)吧
2016-01-01
Java?String相加底層原理分析
這篇文章主要介紹了Java?String相加底層原理,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-09-09
Java類鎖、對象鎖、私有鎖沖突測試
這篇文章主要介紹了Java類鎖、對象鎖、私有鎖沖突測試,得出結(jié)論是加鎖方法夠成了競爭關(guān)系,同一時(shí)刻只能有一個(gè)方法能執(zhí)行,需要的朋友可以參考下
2014-10-10
十種JAVA排序算法實(shí)例
本文件講了十種JAVA排序方法(冒泡（Bubble）排序——相鄰交換、選擇排序——每次最小/大排在相應(yīng)的位置、插入排序——將下一個(gè)插入已排好的序列中、殼（Shell）排序——縮小增量、歸并排序、快速排序、堆排序、拓?fù)渑判?、錦標(biāo)賽排序、基數(shù)排序)的使用，并提供了實(shí)例代碼可參考
2013-11-11
Mybatis動(dòng)態(tài)sql超詳細(xì)講解
動(dòng)態(tài)SQL是MyBatis的強(qiáng)大特性之一,顧名思義就是會(huì)動(dòng)的SQL,即是能夠靈活的根據(jù)某種條件拼接出完整的SQL語句,下面這篇文章主要給大家介紹了關(guān)于Mybatis動(dòng)態(tài)sql的相關(guān)資料,需要的朋友可以參考下
2023-04-04
SpringBoot中的健康檢查詳解
這篇文章主要介紹了SpringBoot中的健康檢查詳解,健康檢查是一種用來確保應(yīng)用程序和其所依賴的服務(wù)的狀態(tài)正常的機(jī)制,在本文中，我們將探討SpringBoot中的健康檢查是什么以及如何使用它來監(jiān)視應(yīng)用程序的狀態(tài),需要的朋友可以參考下
2023-07-07
MyBatis?Generator?ORM層面的代碼自動(dòng)生成器(推薦)
Mybatis?Generator是一個(gè)專門為?MyBatis和?ibatis框架使用者提供的代碼生成器，也可以快速的根據(jù)數(shù)據(jù)表生成對應(yīng)的pojo類、Mapper接口、Mapper文件，甚至生成QBC風(fēng)格的查詢對象，這篇文章主要介紹了MyBatis?Generator?ORM層面的代碼自動(dòng)生成器,需要的朋友可以參考下
2023-01-01
關(guān)于Openfire集群源碼的分析
這篇文章主要介紹了關(guān)于Openfire集群源碼的分析，內(nèi)容比較詳細(xì)，具有一定參考價(jià)值，需要的朋友可以了解下。
2017-09-09
Spring BeanUtils忽略空值拷貝的方法示例代碼
本文用示例介紹Spring（SpringBoot）如何使用BeanUtils拷貝對象屬性忽略空置，忽略null值拷貝屬性的用法，代碼簡單易懂，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友參考下吧
2022-03-03