hadoop入門之統(tǒng)計單詞在文件中出現(xiàn)的個數(shù)示例
我要評論Linux環(huán)境：CentOs6.4
Hadoop版本：hadoop-0.20.2
內(nèi)容：統(tǒng)計hadoop\bin下的所有文件中單詞出現(xiàn)的個數(shù)。
所用到的命令有：
//創(chuàng)建input文件夾
./hadoop fs -mkdir input
//將所有的需要統(tǒng)計單詞個數(shù)的文件放在input文件夾下
./hadoop fs -put *.sh /input/
//運行wordcount將結(jié)果輸出到output文件夾下
./hadoop jar hadoop-examples-0.20.2.jar wordcount /input /output
//驗證某個單詞的個數(shù)
grep xxx *.sh
grep xxx *.sh|wc
第一步:確定HDFS、MapReduce、jobTracker等是否正常啟動。查看http://chabaoo.cn/softjc/137245.html
第二步：在Hadoop文件系統(tǒng)根目錄中創(chuàng)建input文件夾。
執(zhí)行命令：
打開網(wǎng)頁查看input文件夾是否創(chuàng)建成功：
上圖表明已經(jīng)成功。
第三步：將bin目錄下的所有文件放到hadoop文件系統(tǒng)的input目錄下。
執(zhí)行命令：
通過瀏覽器查看input文件夾下是否已經(jīng)存在所存放的文件。
第四步：執(zhí)行wordcount命令統(tǒng)計單詞個數(shù)。
回到Hadoop文件夾下，找到統(tǒng)計個數(shù)的jar包。如圖，在hadoop-0.20.2目錄下有一個hadoop-0.20.2-examples.jar。
運行命令執(zhí)行此jar，統(tǒng)計個數(shù)。并將輸出結(jié)果放在output目錄下。命令如下:
運行成功。
第五步：驗證結(jié)果是否正確。通過命令統(tǒng)計某一單詞的個數(shù)，與MapReduce統(tǒng)計的個數(shù)進行對比。
通過命令查看文件中l(wèi)anguage單詞的個數(shù)為12個，如圖。
查看MapReduce運行結(jié)果，如圖：
運行結(jié)果相同。
附：從過頁面查看運行狀態(tài)
相關(guān)文章
- 本文主要介紹了hadoop驗證hdfs是否能夠正常運行的方法，大家參考使用吧2014-02-16
hadoop入門之通過頁面驗證hadoop是否安裝成功的方法
本文主要介紹了通過頁面驗證hadoop是否安裝成功的方法，大家參考使用吧2014-02-16