大數(shù)據(jù)貴在落實(shí)！ 本書(shū)是一本講解大數(shù)據(jù)實(shí)戰(zhàn)的圖書(shū)，按照“深入分析組件原理、充分展示搭建過(guò)程、詳細(xì)指導(dǎo)應(yīng)用開(kāi)發(fā)”編寫(xiě)。全書(shū)分為三篇，第一篇為大數(shù)據(jù)的基本概念和技術(shù)，主要介紹大數(shù)據(jù)的背景、發(fā)展及關(guān)鍵技術(shù)；第二篇為Hadoop大數(shù)據(jù)平臺(tái)搭建與基本應(yīng)用，內(nèi)容涉及Linux、HDFS、MapReduce、YARN、Hive、HBase、Sqoop、Kafka、Spark等；第三篇為大數(shù)據(jù)處理與項(xiàng)目開(kāi)發(fā)，包括交互式數(shù)據(jù)處理、協(xié)同過(guò)濾推薦系統(tǒng)、銷(xiāo)售數(shù)據(jù)分析系統(tǒng)，并就京東的部分銷(xiāo)售數(shù)據(jù)應(yīng)用大數(shù)據(jù)進(jìn)行處理分析。

目錄

第一篇 大數(shù)據(jù)的基本概念和技術(shù)
第1章 緒論 3
1.1 時(shí)代背景 3
1.1.1 全球大數(shù)據(jù)浪潮 3
1.1.2 我國(guó)的大數(shù)據(jù)國(guó)家戰(zhàn)略 5
1.2 大數(shù)據(jù)的概念 7
1.2.1 概念 7
1.2.2 特征 8
1.3 技術(shù)支撐體系 9
1.3.1 概覽 9
1.3.2 大數(shù)據(jù)采集層 9
1.3.3 大數(shù)據(jù)存儲(chǔ)層 10
1.3.4 大數(shù)據(jù)分析（處理與服務(wù)）層 11
1.3.5 大數(shù)據(jù)應(yīng)用層 11
1.3.6 垂直視圖 13
1.4 大數(shù)據(jù)人才及其能力要求 14
1.4.1 首席數(shù)據(jù)官 14
1.4.2 數(shù)據(jù)科學(xué)家（數(shù)據(jù)分析師） 15
1.4.3 大數(shù)據(jù)開(kāi)發(fā)工程師 16
1.4.4 大數(shù)據(jù)運(yùn)維工程師 17
1.5 本章小結(jié) 17
第2章 Hadoop大數(shù)據(jù)關(guān)鍵技術(shù) 19
2.1 Hadoop生態(tài)系統(tǒng) 19
2.1.1 架構(gòu)的基本理論 19
2.1.2 主要組件及其關(guān)系 21
2.2 數(shù)據(jù)采集 24
2.2.1 結(jié)構(gòu)化數(shù)據(jù)采集工具 24
2.2.2 日志文件采集工具與技術(shù) 25
2.3 大數(shù)據(jù)存儲(chǔ)技術(shù) 29
2.3.1 相關(guān)概念 29
2.3.2 分布式文件存儲(chǔ)系統(tǒng) 34
2.3.3 數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù) 38
2.4 分布式計(jì)算框架 43
2.4.1 離線(xiàn)計(jì)算框架 43
2.4.2 實(shí)時(shí)流計(jì)算平臺(tái) 50
2.5 數(shù)據(jù)分析平臺(tái)與工具 57
2.5.1 面向大數(shù)據(jù)的數(shù)據(jù)挖掘與分析工具 57
2.5.2 機(jī)器學(xué)習(xí) 61
2.6 本章小結(jié) 66
第二篇 Hadoop大數(shù)據(jù)平臺(tái)搭建與基本應(yīng)用
第3章 Linux操作系統(tǒng)與集群搭建 69
3.1 Linux操作系統(tǒng) 69
3.1.1 概述 69
3.1.2 特點(diǎn) 70
3.1.3 Linux的組成 72
3.2 Linux安裝與集群搭建 75
3.2.1 安裝VMware Workstation 75
3.2.2 在VMware上安裝Linux（CentOS7） 79
3.3 集群的配置 91
3.3.1 設(shè)置主機(jī)名 91
3.3.2 網(wǎng)絡(luò)設(shè)置 93
3.3.3 關(guān)閉防火墻 98
3.3.4 安裝JDK 99
3.3.5 免密鑰登錄配置 102
3.4 Linux基本命令 105
3.5 本章小結(jié) 112
第4章 HDFS安裝與基本應(yīng)用 113
4.1 HDFS概述 113
4.1.1 特點(diǎn) 113
4.1.2 主要組件與架構(gòu) 114
4.2 HDFS架構(gòu)分析 114
4.2.1 數(shù)據(jù)塊 114
4.2.2 NameNode 115
4.2.3 DataNode 116
4.2.4 SecondaryNameNode 117
4.2.5 數(shù)據(jù)備份 117
4.2.6 通信協(xié)議 118
4.2.7 可靠性保證 118
4.3 文件操作過(guò)程分析 119
4.3.1 讀文件 119
4.3.2 寫(xiě)文件 120
4.3.3 刪除文件 122
4.4 Hadoop HDFS安裝與配置 122
4.4.1 解壓Hadoop安裝包 122
4.4.2 配置Hadoop環(huán)境變量 123
4.4.3 配置Yarn環(huán)境變量 124
4.4.4 配置核心組件文件 125
4.4.5 配置文件系統(tǒng) 125
4.4.6 配置yarn-site.xml文件 126
4.4.7 配置MapReduce計(jì)算框架文件 128
4.4.8 配置Master的slaves文件 129
4.4.9 復(fù)制Master上的Hadoop到Slave節(jié)點(diǎn) 129
4.5 Hadoop集群的啟動(dòng) 130
4.5.1 配置操作系統(tǒng)環(huán)境變量 130
4.5.2 創(chuàng)建Hadoop數(shù)據(jù)目錄 131
4.5.3 格式化文件系統(tǒng) 132
4.5.4 啟動(dòng)和關(guān)閉Hadoop 133
4.5.5 驗(yàn)證Hadoop是否啟動(dòng)成功 133
4.6 Hadoop集群的基本應(yīng)用 136
4.6.1 HDFS基本命令 136
4.6.2 在Hadoop集群中運(yùn)行程序 139
4.7 本章小結(jié) 141
第5章 MapReduce與Yarn 143
5.1 MapReduce程序的概念 143
5.1.1 基本編程模型 143
5.1.2 計(jì)算過(guò)程分析 144
5.2 深入理解Yarn 147
5.2.1 Yarn的基本架構(gòu) 147
5.2.2 Yarn的工作流程 151
5.3 在Linux平臺(tái)安裝Eclipse 152
5.3.1 Eclipse簡(jiǎn)介 153
5.3.2 安裝并啟動(dòng)Eclipse 154
5.4 開(kāi)發(fā)MapReduce程序的基本方法 155
5.4.1 為Eclipse安裝Hadoop插件 156
5.4.2 WordCount：第一個(gè)MapReduce程序 160
5.5 本章小結(jié) 175
第6章 Hive和HBase的安裝與應(yīng)用 177
6.1 在CentOS7下安裝MySQL 177
6.1.1 下載或復(fù)制MySQL安裝包 177
6.1.2 執(zhí)行安裝命令 178
6.1.3 啟動(dòng)MySQL 179
6.1.4 登錄MySQL 179
6.1.5 使用MySQL 181
6.1.6 問(wèn)題與解決辦法 182
6.2 Hive安裝與應(yīng)用 183
6.2.1 下載并解壓Hive安裝包 183
6.2.2 配置Hive 184
6.2.3 啟動(dòng)并驗(yàn)證Hive 187
6.2.4 Hive的基本應(yīng)用 189
6.3 ZooKeeper集群安裝 190
6.3.1 ZooKeeper簡(jiǎn)介 190
6.3.2 安裝ZooKeeper 191
6.3.3 配置ZooKeeper 191
6.3.4 啟動(dòng)和測(cè)試 193
6.4 HBase的安裝與應(yīng)用 195
6.4.1 解壓并安裝HBase 195
6.4.2 配置HBase 196
6.4.3 啟動(dòng)并驗(yàn)證HBase 199
6.4.4 HBase的基本應(yīng)用 200
6.4.5 應(yīng)用HBase中常見(jiàn)問(wèn)題及其解決辦法 203
6.5 本章小結(jié) 204
第7章 Sqoop和Kafka的安裝與應(yīng)用 205
7.1 安裝部署Sqoop 205
7.1.1 下載或復(fù)制Sqoop安裝包 205
7.1.2 解壓并安裝Sqoop 206
7.1.3 配置Sqoop 206
7.1.4 啟動(dòng)并驗(yàn)證Sqoop 208
7.1.5 測(cè)試Sqoop與MySQL的連接 209
7.2 安裝部署Kafka集群 211
7.2.1 下載或復(fù)制Kafka安裝包 211
7.2.2 解壓縮Kafka安裝包 211
7.2.3 配置Kafka集群 211
7.2.4 Kafka的初步應(yīng)用 213
7.3 本章小結(jié) 218
第8章 Spark集群安裝與開(kāi)發(fā)環(huán)境配置 219
8.1 深入理解Spark 219
8.1.1 Spark系統(tǒng)架構(gòu) 219
8.1.2 關(guān)鍵概念 221
8.2 安裝與配置Scala 224
8.2.1 下載Scala安裝包 225
8.2.2 安裝Scala 225
8.2.3 啟動(dòng)并應(yīng)用Scala 226
8.3 Spark集群的安裝與配置 226
8.3.1 安裝模式 226
8.3.2 Spark的安裝 227
8.3.3 啟動(dòng)并驗(yàn)證Spark 230
8.3.4 幾點(diǎn)說(shuō)明 234
8.4 開(kāi)發(fā)環(huán)境安裝與配置 236
8.4.1 IDEA簡(jiǎn)介 236
8.4.2 IDEA的安裝 236
8.4.3 IDEA的配置 238
8.5 本章小結(jié) 243
第9章 Spark應(yīng)用基礎(chǔ) 245
9.1 Spark程序的運(yùn)行模式 245
9.1.1 Spark on Yarn-cluster 245
9.1.2 Spark on Yarn-client 246
9.2 Spark應(yīng)用設(shè)計(jì) 247
9.2.1 分布式估算圓周率 248
9.2.2 基于Spark MLlib的貸款風(fēng)險(xiǎn)預(yù)測(cè) 265
9.3 本章小結(jié) 285
第三篇 數(shù)據(jù)處理與項(xiàng)目開(kāi)發(fā)術(shù)
第10章 交互式數(shù)據(jù)處理 289
10.1 數(shù)據(jù)預(yù)處理 289
10.1.1 查看數(shù)據(jù) 289
10.1.2 數(shù)據(jù)擴(kuò)展 291
10.1.3 數(shù)據(jù)過(guò)濾 292
10.1.4 數(shù)據(jù)上傳 293
10.2 創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù) 294
10.2.1 創(chuàng)建Hive數(shù)據(jù)倉(cāng)庫(kù)的基本命令 294
10.2.2 創(chuàng)建Hive分區(qū)表 296
10.3 數(shù)據(jù)分析 299
10.3.1 基本統(tǒng)計(jì) 299
10.3.2 用戶(hù)行為分析 301
10.3.3 實(shí)時(shí)數(shù)據(jù) 303
10.4 本章小結(jié) 304
第11章 協(xié)同過(guò)濾推薦系統(tǒng) 305
11.1 推薦算法概述 305
11.1.1 基于人口統(tǒng)計(jì)學(xué)的推薦 305
11.1.2 基于內(nèi)容的推薦 306
11.1.3 協(xié)同過(guò)濾推薦 307
11.2 協(xié)同過(guò)濾推薦算法分析 308
11.2.1 基于用戶(hù)的協(xié)同過(guò)濾推薦 308
11.2.2 基于物品的協(xié)同過(guò)濾推薦 310
11.3 Spark MLlib推薦算法應(yīng)用 312
11.3.1 ALS算法原理 312
11.3.2 ALS的應(yīng)用設(shè)計(jì) 315
11.4 本章小結(jié) 329
第12章 銷(xiāo)售數(shù)據(jù)分析系統(tǒng) 331
12.1 數(shù)據(jù)采集 331
12.1.1 在Windows下安裝JDK 331
12.1.2 在Windows下安裝Eclipse 334
12.1.3 將WebCollector項(xiàng)目導(dǎo)入Eclipse 335
12.1.4 在Windows下安裝MySQL 336
12.1.5 連接JDBC 339
12.1.6 運(yùn)行爬蟲(chóng)程序 340
12.2 在HBase集群上準(zhǔn)備數(shù)據(jù) 342
12.2.1 將數(shù)據(jù)導(dǎo)入到MySQL 342
12.2.2 將MySQL表中的數(shù)據(jù)導(dǎo)入到HBase表中 344
12.3 安裝Phoenix中間件 347
12.3.1 Phoenix架構(gòu) 347
12.3.2 解壓安裝Phoenix 348
12.3.3 Phoenix環(huán)境配置 349
12.3.4 使用Phoenix 350
12.4 基于Web的前端開(kāi)發(fā) 353
12.4.1 將Web前端項(xiàng)目導(dǎo)入Eclipse 353
12.4.2 安裝Tomcat 355
12.4.3 在Eclipse中配置Tomcat 355
12.4.4 在Web瀏覽器中查看執(zhí)行結(jié)果 359
12.5 本章小結(jié) 361