《Hadoop YARN權(quán)威指南》由YARN的創(chuàng)建和開發(fā)團(tuán)隊(duì)親筆撰寫，Altiscale的CEO作序鼎力推薦，是使用Hadoop YARN建立分布式、大數(shù)據(jù)應(yīng)用的權(quán)威指南。書中利用多個(gè)實(shí)例，詳細(xì)介紹Hadoop YARN的安裝和管理，以幫助用戶使用YARN進(jìn)行應(yīng)用開發(fā)，并在YARN上運(yùn)行除了MapReduce之外的新框架。

《Hadoop YARN權(quán)威指南》共12章，第1章講述Apache Hadoop YARN產(chǎn)生和發(fā)展的歷史；第2章講解在單臺(tái)機(jī)器（工作站、服務(wù)器或筆記本電腦）上快速安裝Hadoop 2.0；第3章介紹Apache Hadoop YARN資源管理器；第4章簡(jiǎn)要介紹YARN組件的功能，幫助讀者開始深入了解YARN；第5章詳細(xì)講解YARN的安裝方法，包括一個(gè)基于腳本的手動(dòng)安裝，以及使用Apache Ambari基于GUI的安裝；第6章講述對(duì)YARN集群的管理，涉及一些基本的YARN管理場(chǎng)景，介紹如何利用Nagios和Ganglia監(jiān)控集群，論述對(duì)JVM的監(jiān)視，并介紹Ambari的管理界面；第7章深入探究YARN的架構(gòu)，向讀者展示YARN的內(nèi)部工作原因；第8章深入討論Capacity調(diào)度器；第9章描述基于現(xiàn)有MapReduce的應(yīng)用程序如何繼續(xù)工作以及利用YARN的優(yōu)勢(shì)；第10章通過創(chuàng)建一個(gè)JBoss Application Server集群的過程，講述如何構(gòu)建一個(gè)YARN應(yīng)用程序；第11章描述建立在YARN上的典型示例程序distributed shell的使用和內(nèi)部情況；第12章總結(jié)運(yùn)行在YARN上的新興開源框架。最后提供6個(gè)附錄，包括補(bǔ)充內(nèi)容和代碼下載、YARN的安裝腳本、YARN管理腳本、Nagios模塊、資源及其他信息、HDFS快速參考。

目錄
 

譯者序
推薦序一
推薦序二
前　言
第1章　Apache Hadoop YARN：簡(jiǎn)明歷史及基本原理 1
1.1　引言 1
1.2　Apache Hadoop 2
1.3　階段0：Ad Hoc集群時(shí)期 3
1.4　階段1：Hadoop on Demand 3
1.4.1　HOD世界中的HDFS 5
1.4.2　HOD的特色及優(yōu)勢(shì) 5
1.4.3　HOD的缺點(diǎn) 6
1.5　階段2：共享計(jì)算集群的黎明 8
1.5.1　共享集群的演進(jìn) 8
1.5.2　使用共享MapReduce集群的問題 13
1.6　階段3：YARN的出現(xiàn) 15
1.7　小結(jié) 16
第2章　Apache Hadoop YARN安裝快速入門 17
2.1　準(zhǔn)備開始 18
2.2　配置單節(jié)點(diǎn)YARN集群的步驟 18
2.2.1　第1步：下載Apache Hadoop 18
2.2.2　第2步：設(shè)置JAVA_HOME 19
2.2.3　第3步：創(chuàng)建用戶和用戶組 19
2.2.4　第4步：創(chuàng)建數(shù)據(jù)和日志目錄 19
2.2.5　第5步：配置core-site.xml 19
2.2.6　第6步：配置hdfs-site.xml 20
2.2.7　第7步：配置mapred-site.xml 21
2.2.8　第8步：配置yarn-site.xml 21
2.2.9　第9步：調(diào)整Java堆大小 21
2.2.10　第10步：格式化HDFS 22
2.2.11　第11步：?jiǎn)?dòng)HDFS服務(wù) 22
2.2.12　第12步：?jiǎn)?dòng)YARN服務(wù) 23
2.2.13　第13步：通過Web接口驗(yàn)證正在運(yùn)行的服務(wù) 24
2.3　運(yùn)行MapReduce示例程序 25
2.4　小結(jié) 26
第3章　Apache Hadoop YARN的核心概念 27
3.1　不只是MapReduce 27
3.2　Apache Hadoop MapReduce 29
3.2.1　支持非MapReduce應(yīng)用的需求 30
3.2.2　解決可擴(kuò)展性 30
3.2.3　提高資源使用率 30
3.2.4　用戶敏捷性 30
3.3　Apache Hadoop YARN 31
3.4　YARN組件 32
3.4.1　ResourceManager 32
3.4.2　ApplicationMaster 32
3.4.3　資源模型 33
3.4.4　ResourceRequest和Container 33
3.4.5　Container規(guī)范 34
3.5　小結(jié) 34
第4章　YARN組件的功能概述 35
4.1　體系架構(gòu)概述 35
4.2　ResourceManager 37
4.3　YARN調(diào)度組件 38
4.3.1　FIFO調(diào)度器 38
4.3.2　Capacity調(diào)度器 38
4.3.3　Fair調(diào)度器 39
4.4　Container 40
4.5　NodeManager 40
4.6　ApplicationMaster 41
4.7　YARN資源模型 41
4.7.1　客戶端資源請(qǐng)求 42
4.7.2　ApplicationMaster Container的分配 42
4.7.3　ApplicationMaster與Container管理器的通信 44
4.8　管理應(yīng)用程序的依賴文件 44
4.8.1　LocalResource的定義 44
4.8.2　LocalResource時(shí)間戳 45
4.8.3　LocalResource類型 46
4.8.4　LocalResource的可見性 46
4.8.5　LocalResource的生命周期 47
4.9　小結(jié) 47
第5章　安裝Apache Hadoop YARN 49
5.1　基礎(chǔ)知識(shí) 49
5.2　系統(tǒng)準(zhǔn)備 50
5.2.1　第1步：安裝EPEL和pdsh 50
5.2.2　第2步：生成和分發(fā)ssh密鑰 51
5.3　基于腳本安裝Hadoop 2 51
5.3.1　JDK選項(xiàng) 52
5.3.2　第1步：下載并解壓腳本 52
5.3.3　第2步：設(shè)置腳本里的變量 52
5.3.4　第3步：提供節(jié)點(diǎn)名字 53
5.3.5　第4步：運(yùn)行腳本 54
5.3.6　第5步：驗(yàn)證安裝 54
5.4　基于腳本的卸載 57
5.5　配置文件處理 57
5.6　配置文件設(shè)置 57
5.6.1　core-site.xml 57
5.6.2　hdfs-site.xml 58
5.6.3　mapred-site.xml 58
5.6.4　yarn-site.xml 59
5.7　啟動(dòng)腳本 59
5.8　用Apache Ambari安裝Hadoop 60
5.8.1　基于Ambari安裝Hadoop 61
5.8.2　第1步：檢查要求 61
5.8.3　第2步：安裝Ambari服務(wù)器 62
5.8.4　第3步：安裝和啟動(dòng)Ambari代理 62
5.8.5　第4步：?jiǎn)?dòng)Ambari服務(wù)器 62
5.8.6　第5步：安裝HDP2.X集群 63
5.9　小結(jié) 70
第6章　Apache Hadoop YARN的管理 71
6.1　基于腳本的配置 71
6.2　監(jiān)控集群健康：Nagios 76
6.2.1　監(jiān)控基本的Hadoop服務(wù) 77
6.2.2　監(jiān)控JVM 80
6.3　實(shí)時(shí)監(jiān)控系統(tǒng)：Ganglia 82
6.4　使用Ambari管理 83
6.5　JVM分析 88
6.6　基本的YARN管理 90
6.6.1　YARN的管理工具 91
6.6.2　增加或關(guān)閉YARN節(jié)點(diǎn) 92
6.6.3　Capacity調(diào)度器的配置 92
6.6.4　YARN的Web代理 92
6.6.5　使用JobHistoryServer 93
6.6.6　更新用戶到用戶組的映射 93
6.6.7　更新超級(jí)用戶代理群組映射 93
6.6.8　更新ResourceManager管理的ACL 93
6.6.9　重新加載服務(wù)級(jí)授權(quán)策略文件 94
6.6.10　管理YARN作業(yè) 94
6.6.11　設(shè)置Container的內(nèi)存 94
6.6.12　設(shè)置Container核數(shù) 94
6.6.13　設(shè)置MapReduce配置項(xiàng) 95
6.6.14　用戶日志管理 95
6.7　小結(jié) 97
第7章　Apache Hadoop YARN的架構(gòu)指南 98
7.1　概述 98
7.2　ResourceManager 99
7.2.1　ResourceManager組件概述 100
7.2.2　客戶端和ResourceManager交互 100
7.2.3　應(yīng)用程序和ResourceManager的通信 102
7.2.4　節(jié)點(diǎn)和ResourceManager的通信 103
7.2.5　ResourceManager核心組件 104
7.2.6　ResourceManager安全相關(guān)的組件 105
7.3　NodeManager 109
7.3.1　NodeManager各組件概述 109
7.3.2　NodeManager組件 110
7.3.3　NodeManager安全組件 116
7.3.4　NodeManager的重要功能 116
7.4　ApplicationMaster 117
7.4.1　概述 117
7.4.2　活躍 119
7.4.3　資源需求 119
7.4.4　調(diào)度 120
7.4.5　調(diào)度協(xié)議和本地性 121
7.4.6　啟動(dòng)Container 123
7.4.7　完成的Container 124
7.4.8　ApplicationMaster失敗和恢復(fù) 124
7.4.9　協(xié)調(diào)和輸出提交 124
7.4.10　為客戶端提供信息 125
7.4.11　安全 125
7.4.12　ApplicationMaster退出時(shí)進(jìn)行清理 125
7.5　YARN Container 125
7.5.1　Container運(yùn)行環(huán)境 126
7.5.2　與ApplicationMaster通信 127
7.6　應(yīng)用程序開發(fā)者的摘要 127
7.7　小結(jié) 128
第8章　YARN中的Capacity調(diào)度器 129
8.1　Capacity調(diào)度器介紹 129
8.1.1　多租戶彈性 130
8.1.2　安全 130
8.1.3　資源感知 130
8.1.4　細(xì)粒度調(diào)度 130
8.1.5　本地化 131
8.1.6　調(diào)度策略 131
8.2　Capacity調(diào)度器配置 131
8.3　隊(duì)列 132
8.4　層級(jí)隊(duì)列 132
8.4.1　關(guān)鍵特性 132
8.4.2　隊(duì)列間的調(diào)度 132
8.4.3　定義層級(jí)隊(duì)列 133
8.5　隊(duì)列訪問控制 134
8.6　層級(jí)隊(duì)列Capacity管理 135
8.7　用戶級(jí)別限制 137
8.8　預(yù)訂 139
8.9　隊(duì)列的狀態(tài) 140
8.10　應(yīng)用程序的限制 141
8.11　用戶接口 141
8.12　小結(jié) 142
第9章　Apache Hadoop YARN下的MapReduce 143
9.1　運(yùn)行Hadoop YARN MapReduce實(shí)例 143
9.1.1　可利用的實(shí)例列表 143
9.1.2　運(yùn)行Pi實(shí)例 144
9.1.3　使用Web GUI監(jiān)控實(shí)例 146
9.1.4　運(yùn)行terasort測(cè)試 151
9.1.5　運(yùn)行TestDFSIO基準(zhǔn)測(cè)試 151
9.2　MapReduce兼容性 152
9.3　MapReduce ApplicationMaster 153
9.3.1　啟用ApplicationMaster的重啟 153
9.3.2　啟用已完成任務(wù)的恢復(fù) 153
9.3.3　JobHistory服務(wù) 153
9.4　計(jì)算一個(gè)節(jié)點(diǎn)的容量 154
9.5　Shuffle服務(wù)的變動(dòng) 155
9.6　運(yùn)行已有的第1版Hadoop的應(yīng)用程序 155
9.6.1　org.apache.hadoop.mapred API的二進(jìn)制兼容性 155
9.6.2　org.apache.hadoop.mapreduce API的源碼兼容性 155
9.6.3　命令行腳本的兼容性 156
9.6.4　MRv1和早期MRv2（0.23.x）應(yīng)用程序兼容性的權(quán)衡 156
9.7　運(yùn)行第1版MapReduce現(xiàn)有的代碼 157
9.7.1　在YARN上運(yùn)行Apache Pig腳本 157
9.7.2　在YARN上運(yùn)行Apache Hive查詢 157
9.7.3　在YARN上運(yùn)行Apache Oozie工作流 157
9.8　高級(jí)特性 158
9.8.1　Uber作業(yè) 158
9.8.2　可插拔的Shuffle和Sort 158
9.9　小結(jié) 159
第10章　Apache Hadoop YARN應(yīng)用程序范例 160
10.1　YARN客戶端 161
10.2　ApplicationMaster 175
10.3　小結(jié) 192
第11章　使用Apache Hadoop YARN Distributed-Shell 193
11.1　使用YARN Distributed-Shell 193
11.1.1　簡(jiǎn)單例子 194
11.1.2　使用更多Container 195
11.1.3　帶有shell命令參數(shù)的Distributed-Shell 195
11.2　Distributed-Shell內(nèi)部實(shí)現(xiàn) 197
11.2.1　應(yīng)用的常量定義 198
11.2.2　Client 198
11.2.3　ApplicationMaster 201
11.2.4　普通Container 205
11.3　小結(jié) 205
第12章　Apache Hadoop YARN框架 206
12.1　Distributed-Shell 206
12.2　Hadoop MapReduce 206
12.3　Apache Tez 207
12.4　Apache Giraph 207
12.5　Hoya：HBase on YARN 208
12.6　Dryad on YARN 208
12.7　Apache Spark 208
12.8　Apache Storm 209
12.9　REEF：Retainable Evaluator Execution Framework 209
12.10　Hamster：Hadoop and MPI on the Same Cluster 210
12.11　小結(jié) 210
附錄A　補(bǔ)充內(nèi)容和代碼下載 211
附錄B　YARN的安裝腳本 212
附錄C　YARN的管理腳本 224
附錄D　Nagios模塊 229
附錄E　資源及附加資料 235
附錄F　HDFS快速參考 237