hadoop入門之hadoop集群驗證任務(wù)存放在不同的節(jié)點上
我要評論Linux環(huán)境：CentOs6.4
Hadoop版本：Hadoop-1.1.2
master: 192.168.1.241 NameNode JobTracker DataNode TaskTracker
slave:192.168.1.242 DataNode TaskTracker
內(nèi)容：想hadoop文件系統(tǒng)中上傳一個大文件，驗證文件分別分布在192.168.1.241節(jié)點和192.168.1.242節(jié)點上。
第一步： 前期工作：搭建Hadoop集群，
在hdfs-site.xml中的配置為2.
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
運行執(zhí)行start-all.sh命令，運行結(jié)果如圖所示：
查看9000和9001的信息
9000是HDFS的入口9001是MapReduce的JobTracker的入口
從以上圖中可以確定Ip地址為192.168.1.241.
第二步：通過網(wǎng)頁查看節(jié)點的個數(shù)。在瀏覽器中輸入http://localhost:50070
以上看到LiveNodes的個數(shù)為2，說明啟動成功。
第三步：上傳大文件。具體步驟如圖所示：
通過網(wǎng)頁查看運行狀況：
大文件已經(jīng)上傳成功.文件的大小是244.91MBlock的大小是64M。所以每個節(jié)點能夠有4個Block。
Replication為2，表明每個Block有2個備份。
查看節(jié)點的使用情況：
從圖中可以看出，此文件分成了4個Block。（TotalNumberofblocks：4）。
每個Block在兩個節(jié)點上進行了備份，分別是192.168.1.241192.168.1.242
hadoop集群至此測試結(jié)束。測試成功。
相關(guān)文章
hadoop入門之統(tǒng)計單詞在文件中出現(xiàn)的個數(shù)示例
本文主要介紹了hadoop統(tǒng)計單詞在文件中出現(xiàn)的個數(shù)的示例，大家參考使用吧2014-02-16- 本文主要介紹了hadoop驗證hdfs是否能夠正常運行的方法，大家參考使用吧2014-02-16
hadoop入門之通過頁面驗證hadoop是否安裝成功的方法
本文主要介紹了通過頁面驗證hadoop是否安裝成功的方法，大家參考使用吧2014-02-16- 本文本主要介紹在win7上搭建hadoop開發(fā)環(huán)境，大家參考使用吧2013-12-31
Hadoop權(quán)威指南（中文版） ((美) Tom White ) pdf掃描版
本書從hadoop的緣起開始，由淺入深，結(jié)合理論和實踐，全方位地介紹hado叩這一高性能處理海量數(shù)據(jù)集的理想工具2013-11-27
這篇教程從用戶的角度出發(fā)，全面介紹了Hadoop Map Reduce框架的各個方面，涉及到Hadoop的安裝、概述、輸入與輸出、相關(guān)的例子和用戶界面等2013-08-07
Hadoop分布式文件系統(tǒng)使用指南 中文pdf版
一本Hadoop教程，講述Hadoop分布式文件系統(tǒng)的使用，WEB接口、Shell命令、Secondary Namenode、Rebalancer、機架感知、安全模式、Fack、升級和回滾、文件權(quán)限和安全性、可擴2013-08-07Hadoop datanode重新加載失敗無法啟動現(xiàn)象解決方法介紹
本人的解決方法適用于首次已經(jīng)成功啟動整個集群，但是由于不正常的操作造成第二次無法正常啟動。首次的啟動失敗可能原因有很多：可能是由于配置文件錯誤寫入造成的，或是由2013-07-29
Hadoop實戰(zhàn)中文版 pdf掃描版 (美) 拉姆 34M 人民郵電出版社
Hadoop實戰(zhàn)》適合需要處理大量離線數(shù)據(jù)的云計算程序員、架構(gòu)師和項目經(jīng)理閱讀參考2012-10-20
hadoop權(quán)威指南(第2版)》從hadoop的緣起開始，由淺入深，結(jié)合理論和實踐，全方位地介紹hadoop這一高性能處理海量數(shù)據(jù)集的理想工具2012-08-21
