《Hadoop云計算實戰(zhàn)》全面介紹了云計算的基本概念、Google（谷歌）云計算的關鍵技術，以及Hadoop云計算的相關配套項目及其實戰(zhàn)，包括Hadoop的HDFS、MapReduce、HBase、Hive、Pig、Cassandra、Chukwa及ZooKeeper等配套項目的實現機制、用法及應用。

目錄
第1章 云計算概論 1
1.1 云計算概述 1
1.1.1 云計算的定義 1
1.1.2 云計算產生的背景 2
1.1.3 云時代誰是主角 3
1.1.4 云計算的特征 4
1.1.5 云計算的發(fā)展史 5
1.1.6 云計算的服務層次 7
1.1.7 云計算的服務形式 7
1.1.8 云計算的實現機制 9
1.1.9 云計算研究方向 11
1.1.10 云計算發(fā)展趨勢 12
1.2 云計算關鍵技術研究 14
1.2.1 虛擬化技術 14
1.2.2 數據存儲技術 15
1.2.3 資源管理技術 17
1.2.4 能耗管理技術 18
1.2.5 云監(jiān)測技術 19
1.3 云計算應用研究 22
1.3.1 語義分析應用 22
1.3.2 IT企業(yè)應用 22
1.3.3 生物學應用 23
1.3.4 電信企業(yè)應用 24
1.3.5 數據庫的應用 27
1.3.6 地理信息應用 28
1.3.7 醫(yī)學應用 29
1.4 云安全 30
1.4.1 云安全發(fā)展趨勢 31
1.4.2 云安全與網絡安全的差別 31
1.4.3 云安全研究的方向 31
1.4.4 云安全難點問題 32
1.4.5 云安全新增及增強功能 32
1.5 云計算生命周期 33
1.6 云計算存在的問題 34
1.7 云計算的優(yōu)缺點 35
第2章 Hadoop相關項目介紹 37
2.1 Hadoop簡介 37
2.1.1 Hadoop的基本架構 37
2.1.2 Hadoop文件系統(tǒng)結構 40
2.1.3 Hadoop文件讀操作 41
2.1.4 Hadoop文件寫操作 42
2.2 Hadoop系統(tǒng)性質 42
2.2.1 可靠存儲性 43
2.2.2 數據均衡 43
2.3 比較SQL數據庫與Hadoop 44
2.4 MapReduce概述 45
2.4.1 MapReduce實現機制 45
2.4.2 MapReduce執(zhí)行流程 46
2.4.3 MapReduce映射和化簡 47
2.4.4 MapReduce輸入格式 47
2.4.5 MapReduce輸出格式 48
2.4.6 MapReduce運行速度 48
2.5 HBase概述 48
2.5.1 HBase的系統(tǒng)框架 49
2.5.2 HBase訪問接口 51
2.5.3 HBase的存儲格式 52
2.5.4 HBase的讀寫流程 52
2.5.5 Hbase的優(yōu)缺點 53
2.6 ZooKeeper概述 53
2.6.1 為什么需要ZooKeeper 54
2.6.2 ZooKeeper設計目標 54
2.6.3 ZooKeeper數據模型 54
2.6.4 ZooKeeper工作原理 55
2.6.5 ZooKeeper實現機制 56
2.6.6 ZooKeeper的特性 57
2.7 Hive概述 58
2.7.1 Hive的組成 59
2.7.2 Hive結構解析 59
2.8 Pig概述 63
2.9 Cassandra概述 64
2.9.1 Cassandra主要功能 64
2.9.2 Cassandra的體系結構 65
2.9.3 Cassandra存儲機制 65
2.9.4 Cassandra的寫過程 66
2.9.5 Cassandra的讀過程 67
2.9.6 Cassandra的刪除 68
2.10 Chukwa概述 68
2.10.1 使用Chukwa的原因 68
2.10.2 Chukwa的不是 69
2.10.3 Chukwa的定義 69
2.10.4 Chukwa架構與設計 70
第3章 Hadoop配置與實戰(zhàn) 74
3.1 Hadoop的安裝 74
3.1.1 在Linux下安裝Hadoop 74
3.1.2 運行模式 75
3.1.3 在Windows下安裝Hadoop 80
3.2 運行Hadoop 86
3.3 Hadoop的Avatar機制 87
3.3.1 系統(tǒng)架構 88
3.3.2 元數據同步機制 89
3.3.3 切換故障過程 91
3.3.4 運行流程 92
3.3.5 切換故障流程 96
3.4 Hadoop實戰(zhàn) 99
3.4.1 使用Hadoop運行wordcount實例 99
3.4.2 使用Eclipse編寫Hadoop程序 101
第4章 Hadoop的分布式數據HDFS 102
4.1 HDFS的操作 102
4.1.1 文件操作 102
4.1.2 管理與更新 103
4.2 FS Shell使用指南 104
4.3 API使用 111
4.3.1 文件系統(tǒng)的常見操作 111
4.3.2 API的Java操作實例 113
第5章 Hadoop編程模型MapReduce 118
5.1 MapReduce基礎 118
5.1.1 MapReduce編程模型 118
5.1.2 MapReduce實現機制 119
5.1.3 Java MapReduce 121
5.2 MapReduce的容錯性 124
5.3 MapReduce實例分析 125
5.4 不帶map()、reduce()的MapReduce 131
5.5 Shuffle過程 133
5.6 新增Hadoop API 136
5.7 Hadoop的Streaming 138
5.7.1 通過UNIX命令使用Streaming 138
5.7.2 通過Ruby版本使用Streaming 139
5.7.3 通過Python版本使用Streaming 141
5.8 MapReduce實戰(zhàn) 142
5.8.1 MapReduce排序 142
5.8.2 MapReduce二次排序 145
5.9 MapReduce作業(yè)分析 153
5.10 定制MapReduce數據類型 156
5.10.1 內置的數據輸入格式和RecordReader 156
5.10.2 定制輸入數據格式與RecordReader 157
5.10.3 定制數據輸出格式實現多集合文件輸出 160
5.11 鏈接MapReduce作業(yè) 162
5.11.1 順序鏈接MapReduce作業(yè) 162
5.11.2 復雜的MapReduce鏈接 163
5.11.3 前后處理的鏈接 163
5.11.4 鏈接不同的數據 166
5.12 Hadoop的Pipes 172
5.13 創(chuàng)建Bloom filter 174
5.13.1 Bloom filter作用 175
5.13.2 Bloom filter實現 175
第6章 Hadoop的數據庫HBase 182
6.1 HBase數據模型 182
6.1.1 數據模型 182
6.1.2 概念視圖 183
6.1.3 物理視圖 184
6.2 HBase與RDBMS對比 185
6.3 Bigtable的應用實例 188
6.4 HBase的安裝與配置 189
6.5 Java API 196
6.6 HBase實例分析 204
6.6.1 RowLock 204
6.6.2 HBase的HFileOutputFormat 207
6.6.3 HBase的TableOutputFormat 210
6.6.4 在HBase中使用MapReduce 213
6.6.5 HBase分布式模式 215
第7章 Hadoop的數據倉庫Hive 220
7.1 Hive的安裝 220
7.1.1 準備的軟件包 220
7.1.2 內嵌模式安裝 220
7.1.3 安裝獨立模式 221
7.1.4 遠程模式安裝 222
7.1.5 查看數據信息 222
7.2 Hive的入口 223
7.2.1 類CliDriver 225
7.2.2 類CliSessionState 229
7.2.3 類CommandProcessor 230
7.3 Hive QL詳解 232
7.3.1 Hive的數據類型 232
7.3.2 Hive與數據庫比較 233
7.3.3 DDL操作 234
7.3.4 join查詢 241
7.3.5 DML操作 243
7.3.6 SQL操作 245
7.3.7 Hive QL的應用實例 248
7.4 Hive的服務 250
7.4.1 JDBC/ODBC服務 250
7.4.2 Thrift服務 253
7.4.3 Web接口 255
7.5 Hive SQL的優(yōu)化 256
7.5.1 Hive SQL優(yōu)化選項 256
7.5.2 Hive SQL優(yōu)化應用實例 258
7.6 Hive的擴展性 261
7.6.1 SerDe 262
7.6.2 Map/Reduce腳本 263
7.6.3 UDF 263
7.6.4 UDAF 264
7.7 Hive實戰(zhàn) 266
第8章 Hadoop的大規(guī)模數據平臺Pig 274
8.1 Pig的安裝與運行 274
8.1.1 Pig的安裝 274
8.1.2 Pig的運行 274
8.2 Pig實現 278
8.3 Pig Latin語言 279
8.3.1 Pig Latin語言概述 280
8.3.2 Pig Latin數據類型 282
8.3.3 Pig Latin運算符 284
8.3.4 Pig Latin關鍵字 287
8.3.5 Pig內置函數 288
8.4 自定義函數 291
8.4.1 UDF的編寫 292
8.4.2 UDFS的使用 293
8.5 Jaql和Pig查詢語言的比較 293
8.5.1 Pig和Jaql運行環(huán)境和執(zhí)行形式的比較 294
8.5.2 Pig和Jaql支持數據類型的比較 294
8.5.3 Pig和Jaql操作符和內建函數以及自定義函數的比較 295
8.5.4 其他 299
8.6 Pig實戰(zhàn) 300
第9章 Hadoop的非關系型數據Cassandra 308
9.1 Cassandra的安裝 308
9.1.1 在Windows 7中安裝 308
9.1.2 在Linux中安裝 310
9.2 Cassandra的數據模型 311
9.2.1 Column 311
9.2.2 SuperColumn 312
9.2.3 ColumnFamily 312
9.2.4 Row 313
9.2.5 排序 313
9.3 Cassandra的實例分析 315
9.3.1 Cassandra的數據存儲結構 315
9.3.2 跟蹤客戶端代碼 319
9.4 Cassandra常用的編程語言 324
9.4.1 Java使用Cassandra 324
9.4.2 PHP使用Cassandra 325
9.4.3 Python使用Cassandra 326
9.4.4 C#使用Cassandra 327
9.4.5 Ruby使用Cassandra 328
9.5 Cassandra與MapReduce結合 328
9.5.1 需求分析 329
9.5.2 代碼分析 330
9.5.3 MapReduce代碼 330
9.6 Cassandra實戰(zhàn) 331
9.6.1 BuyerDao功能驗證 331
9.6.2 SellerDao功能驗證 332
9.6.3 ProductDao功能驗證 333
9.6.4 新建Schema在線功能 336
9.6.5 功能驗證 337
第10章 Hadoop的收集數據Chukwa 339
10.1 Chukwa的安裝與配置 339
10.1.1 配置要求 339
10.1.2 Chukwa的安裝 340
10.1.3 基本命令 341
10.2 Chukwa數據流處理 344
10.2.1 支持數據類型 344
10.2.2 數據處理 345
10.2.3 自定義數據模塊 351
10.3 Chukwa源代碼分析 352
10.3.1 Chukwa適配器 352
10.3.2 Chukwa連接器 357
10.3.3 Chukwa收集器 362
10.4 Chukwa實例分析 366
10.4.1 生成數據 366
10.4.2 收集數據 367
10.4.3 處理數據 367
10.4.4 析取數據 368
10.4.5 稀釋數據 368
第11章 Hadoop的分布式系統(tǒng)ZooKeeper 369
11.1 ZooKeeper的安裝與配置 369
11.1.1 ZooKeeper的安裝 369
11.1.2 ZooKeeper的配置 371
11.1.3 ZooKeeper數據模型 373
11.1.4 ZooKeeper的API接口 373
11.1.5 ZooKeeper編程實現 375
11.2 ZooKeeper的Leader流程 378
11.3 ZooKeeper鎖服務 379
11.3.1 ZooKeeper中的鎖機制 379
11.3.2 ZooKeeper的寫鎖實現 380
11.3.3 ZooKeeper鎖服務實現例子 381
11.4 創(chuàng)建ZooKeeper應用程序 383
11.5 ZooKeeper的應用開發(fā) 387
11.6 ZooKeeper的典型應用 395
11.6.1 統(tǒng)一命名服務 396
11.6.2 配置管理 396
11.6.3 集群管理 397
11.6.4 共享鎖 398
11.6.5 隊列管理 399
11.7 實現NameNode自動切換 402
網上參考資源 410
參考文獻 412