1.分布式的三種模式

 

2.Hadoop集群的運(yùn)行模式

Hadoop的運(yùn)行模式分為3種：

本地運(yùn)行模式（獨(dú)立模式，單機(jī)模式），

偽分布運(yùn)行模式，

集群運(yùn)行模式（完全分布式模式）

偽分布模式就是在一臺服務(wù)器上面模擬集群環(huán)境,但僅僅是機(jī)器數(shù)量少,其通信機(jī)制與運(yùn)行過程與真正的集群模式是一樣的，hadoop的偽分布運(yùn)行模式可以看做是集群運(yùn)行模式的特殊情況。

3.cloudera提供哪幾種安裝CDH方法

· Cloudera manager

· Tarball

· Yum

· Rpm

其中Yum及Rpm安裝可以算作一種安裝方式

4.Hadoop的模塊有哪些

 

5.Zookeeper的作用

 

6.Shuffle在MapReduce指的是什么？

 

7. resourceManager在YARN中的作用

 

8. 將打好的jar包，提交給YARA運(yùn)行，請寫出命令

 

9. 在完全分布式中，將副本數(shù)設(shè)置為7，在哪個配置文件中，如何配置

 

10. 如何確定map個數(shù)

 

11. MapReduce在hadoop中的作用

 

12. MapReduce分為哪兩個階段

 

13. Hadoop的序列化接口是什么

 

14. 自定義的MapReduce如何向yarn提交運(yùn)行

 

15. 自定義MapReduce的模型

 

16. 簡述HDFS的作用

 

17. 在HDFS的主從架構(gòu)中，誰是“主”

 

18. 簡述namenode和DataNode的區(qū)別及關(guān)系

 

19. 如何將用戶hadoop家目錄下的1.log,上傳到HDFS的 /input目錄下，請寫出命令

 

 

20. 請回答secondaryNameNode在HDFS的作用

 

21. 把下面的語句用hive方式實現(xiàn)

 

 

 

22. Hive的特點(diǎn)是什么？Hive和rdbms的異同？

 

23. metastore是什么

 

24. Hive有哪些方式保存數(shù)據(jù)，各有哪些特點(diǎn)

 

25. Hive的本質(zhì)是什么

 

 

====================================================================

 

1. 搭建偽分布式hadoop開發(fā)環(huán)境

1、Linux環(huán)境

2、Jdk安裝

3、 關(guān)閉防火墻

4、配置hadoop

5、格式化namenode（不需要重復(fù)）

6、啟動hdfs 守護(hù)進(jìn)程

7、Web 訪問界面  50070

8、配置YARN任務(wù)調(diào)度

9、啟動hdfs YARA進(jìn)程

10、檢查YARN狀態(tài)

11、向YARN提交任務(wù)

2. 編寫代碼測試HDFS API

 

 

3. 編寫MapReduce程序，實現(xiàn)wordcount的功能

 

 

 

 

4. 實現(xiàn)編程測試數(shù)據(jù)的統(tǒng)計

 

 

 

5. 搭建hadoop完全分布式簡單步驟

1、虛擬機(jī)裝備

2、網(wǎng)絡(luò)配置完好

3、JDK安裝

4、Ssh 配置

5、同步服務(wù)器時間

6、Hadoop集群配置

A:環(huán)境變量

B:hadoop文件配置，修改

 

7、啟動hadoop集群

8、Web端口訪問。

6. 編寫MR統(tǒng)計分省PV及臟數(shù)據(jù)

 

 

 

7. hive的安裝和使用

 

8. Hive架構(gòu)，分三個部分來講解，最好通過畫圖理解

 

 

9. 為什么說hive是hadoop的數(shù)據(jù)倉庫，從【數(shù)據(jù)存儲和分析】方面理解

 

10. Hive能做什么，與MapReduce相比較優(yōu)勢在哪（對于開發(fā)者）

 

最新評論