《Hadoop大數據處理》以大數據處理系統(tǒng)的三大關鍵要素——“存儲”、“計算”與“容錯”為起點，深入淺出地介紹了如何使用Hadoop這一高性能分布式技術完成大數據處理任務。本書不僅包含了使用Hadoop進行大數據處理的實踐性知識和示例，還以圖文并茂的形式系統(tǒng)性地揭示了Hadoop技術族中關鍵組件的運行原理和優(yōu)化手段，為讀者進一步提升Hadoop使用技巧和運行效率提供了頗具價值的參考。

《Hadoop大數據處理》共10章，涉及的主題包括大數據處理概論、基于Hadoop的大數據處理框架、MapReduce計算模式、使用HDFS存儲大數據、HBase大數據庫、大數據的分析處理、Hadoop環(huán)境下的數據整合、Hadoop集群的管理與維護、基于MapReduce的數據挖掘實踐及面向未來的大數據處理技術。后附有一個在Windows環(huán)境下搭建Hadoop開發(fā)及調試環(huán)境的參考手冊。

《Hadoop大數據處理》適合需要使用Hadoop處理大數據的程序員、架構師和產品經理作為技術參考和培訓資料，也可作為高校研究生和本科生教材。

目錄

D11章大數據處理概論1
1.1什么是大數據2
1.2數據處理平臺的基礎架構5
1.3大數據處理的存儲7
1.3.1提升容量7
1.3.2提升吞吐量11
1.4大數據處理的計算模式17
1.4.1多處理技術17
1.4.2并行計算20
1.5大數據處理系統(tǒng)的容錯性26
1.5.1數據存儲容錯27
1.5.2計算任務容錯28
1.6大數據處理的云計算變革30
本章參考文獻32
D12章基于Hadoop的大數據處理架構35
2.1Google核心云計算技術35
2.1.1并行計算編程模型MapReduce36
2.1.2分布式文件系統(tǒng)GFS38
2.1.3分布式結構化數據存儲BigTable39
2.2Hadoop云計算技術及發(fā)展41
2.2.1Hadoop的由來41
2.2.2Hadoop原理與運行機制42
2.2.3Hadoop相關技術及簡介45
2.2.4Hadoop技術的發(fā)展與演進47
2.3基于云計算的大數據處理架構48
2.4基于云計算的大數據處理技術的應用51
2.4.1百度51
2.4.2阿里巴巴56
2.4.3騰訊58
2.4.4華為60
2.4.5中國移動62
2.5Hadoop運行實踐63
本章參考文獻64
D13章MapReduce計算模式66
3.1MapReduce原理66
3.2MapReduce工作機制69
3.2.1MapReduce運行框架的組件70
3.2.2MapReduce作業(yè)的運行流程70
3.2.3作業(yè)調度72
3.2.4異常處理73
3.3MapReduce應用開發(fā)74
3.3.1MapReduce應用開發(fā)流程74
3.3.2通過Web界面分析MapReduce應用76
3.3.3MapReduce任務執(zhí)行的單步跟蹤78
3.3.4多個MapReduce過程的組合模式79
3.3.5使用其他語言編寫MapReduce程序81
3.3.6不同數據源的數據聯(lián)結(Join)82
3.4MapReduce設計模式87
3.4.1計數(Counting)88
3.4.2分類(Classfication)88
3.4.3過濾處理(Filtering)89
3.4.4排序(Sorting)89
3.4.5去重計數(DistinctCounting)90
3.4.6相關計數(Cross-Correlation)91
3.5MapReduce算法實踐92
3.5.1*短路徑算法92
3.5.2反向索引算法94
3.5.3PageRank算法95
3.6MapReduce性能調優(yōu)97
3.6.1MapReduce參數配置優(yōu)化97
3.6.2使用Cominber減少數據傳輸99
3.6.3啟用數據壓縮100
3.6.4使用預測執(zhí)行功能101
3.6.5重用JVM101
本章參考文獻102
D14章使用HDFS存儲大數據103
4.1大數據的云存儲需求103
4.2HDFS架構與流程104
4.2.1系統(tǒng)框架104
4.2.2數據讀取過程105
4.2.3數據寫入過程106
4.3文件訪問與控制108
4.3.1基于命令行的文件管理108
4.3.2通過API操作文件110
4.4HDFS性能優(yōu)化114
4.4.1調整數據塊尺寸114
4.4.2規(guī)劃網絡與節(jié)點114
4.4.3調整服務隊列數量116
4.4.4預留磁盤空間116
4.4.5存儲平衡117
4.4.6根據節(jié)點功能優(yōu)化磁盤配置117
4.4.7其他參數119
4.5HDFS的小文件存儲問題119
4.5.1HadoopArchive工具120
4.5.2CombineFileInputFormat121
4.5.3SequenceFile格式121
4.5.4相關研究122
4.6HDFS的高可用性問題123
4.6.1基于配置的元數據備份123
4.6.2基于DRBD的元數據備份124
4.6.3SecondaryNameNode/CheckpointNode125
4.6.4BackupNode125
4.6.5NameNode熱備份126
4.6.6HDFS的HA方案總結126
本章參考文獻127
D15章HBase大數據庫128
5.1大數據環(huán)境下的數據庫128
5.2HBase架構與原理129
5.2.1系統(tǒng)架構及組件129
5.2.2數據模型與物理存儲131
5.2.3RegionServer的查找135
5.2.4物理部署與讀寫流程136
5.3管理HBase中的數據138
5.3.1Shell138
5.3.2JavaAPI141
5.3.3非Java語言訪問146
5.4從RDBMS到HBase147
5.4.1行到列與主鍵到行關鍵字149
5.4.2聯(lián)合查詢(Join)與去范例化(Denormalization)151
5.5在HBase上運行MapReduce152
5.6HBase性能優(yōu)化155
5.6.1參數配置優(yōu)化155
5.6.2表設計優(yōu)化156
5.6.3更新數據操作優(yōu)化157
5.6.4讀數據操作優(yōu)化158
5.6.5數據壓縮159
5.6.6JVMGC優(yōu)化159
5.6.7負載均衡160
5.6.8性能測試工具160
本章參考文獻161
D16章大數據的分析處理162
6.1大數據的分析處理概述162
6.2Hive163
6.2.1系統(tǒng)架構及組件163
6.2.2Hive數據結構164
6.2.3數據存儲格式166
6.2.4Hive支持的數據類型168
6.2.5使用HiveQL訪問數據170
6.2.6自定義函數擴展功能175
6.3Pig177
6.3.1Pig架構178
6.3.2PigLatin語言179
6.3.3使用Pig處理數據184
6.4Hive與Pig的對比187
本章參考文獻188
D17章Hadoop環(huán)境下的數據整合189
7.1Hadoop計算環(huán)境下的數據整合問題189
7.2數據庫整合工具Sqoop191
7.2.1使用Sqoop導入數據192
7.2.2使用Sqoop導出數據195
7.2.3Sqoop與Hive結合196
7.2.4Sqoop對大對象數據的處理197
7.3Hadoop平臺內部數據整合工具HCatalog197
7.3.1HCatalog的需求與實現198
7.3.2MapReduce使用HCatalog管理數據202
7.3.3Pig使用HCatalog管理數據204
7.3.4HCatalog的命令行與通知功能205
本章參考文獻207
D18章Hadoop集群的管理與維護208
8.1云計算平臺的管理體系208
8.2ZooKeeper——集群中的配置管理與協(xié)調者211
8.2.1集群環(huán)境下的配置管理211
8.2.2ZooKeeper架構212
8.2.3ZooKeeper的數據模型213
8.3Hadoop集群監(jiān)控的基礎組件214
8.3.1Nagios214
8.3.2Ganglia217
8.3.3JMX219
8.4Ambari——Hadoop集群部署與監(jiān)控集成工具220
8.5基于Cacti的Hadoop集群服務器監(jiān)控223
8.6Chukwa——集群日志收集及分析225
8.7基于Kerberos的Hadoop安全管理227
8.8Hadoop集群管理工具分析230
本章參考文獻231
D19章基于MapReduce的數據挖掘232
9.1數據挖掘及其分布式并行化232
9.2基于MapReduce的數據挖掘與Mahout237
9.3經典數據挖掘算法的MapReduce實例242
9.3.1矩陣乘法243
9.3.2相似度計算246
9.4基于云計算的數據挖掘實踐及面臨的挑戰(zhàn)252
本章參考文獻256
D110章面向未來的大數據處理257
10.1下一代計算框架YARN257
10.2大數據的實時交互式分析260
10.2.1GoogleDremel261
10.2.2ClouderaImpala265
10.3大數據的圖計算266
10.3.1BSP模型267
10.3.2GooglePregel計算框架268
10.3.3ApacheHama開源項目271
本章參考文獻275
附錄基于Cygwin的Hadoop環(huán)境搭建276
附錄A安裝和配置Cygwin276
附錄B安裝和配置Hadoop281
附錄C運行示例程序驗證Hadoop安裝285
附錄D安裝和配置Eclipse下的Hadoop開發(fā)環(huán)境286