本書以大數(shù)據(jù)分析全流程為主線，介紹了數(shù)據(jù)采集、數(shù)據(jù)存儲與管理、數(shù)據(jù)處理與分析、數(shù)據(jù)可視化等環(huán)節(jié)典型軟件的安裝、使用和基礎編程方法。本書內容涵蓋操作系統(tǒng)（Linux和Windows）、開發(fā)工具（Eclipse）以及大數(shù)據(jù)相關技術、軟件（Sqoop、Kafka、Flume、Hadoop、HDFS、MapReduce、HBase、Hive、Spark、MySQL、MongoDB、Redis、R、Easel.ly、D3、魔鏡、ECharts、Tableau）等。同時，本書還提供了豐富的課程實驗和綜合案例，以及大量免費的在線教學資源，可以較好地滿足高等院校大數(shù)據(jù)教學實際需求。

本書是《大數(shù)據(jù)技術原理與應用——概念、存儲、處理、分析與應用》的“姊妹篇”，可以作為高等院校計算機、信息管理等相關專業(yè)的大數(shù)據(jù)課程輔助教材，用于指導大數(shù)據(jù)編程實踐；也可供相關技術人員參考。

目錄

第1章大數(shù)據(jù)技術概述/1
1.1大數(shù)據(jù)時代/1
1.2大數(shù)據(jù)關鍵技術/2
1.3大數(shù)據(jù)軟件/3
1.3.1Hadoop/4
1.3.2Spark/5
1.3.3NoSQL數(shù)據(jù)庫/5
1.3.4數(shù)據(jù)可視化/6
1.4內容安排/7
1.5在線資源/8
1.5.1在線資源一覽表/9
1.5.2下載專區(qū)/9
1.5.3在線視頻/10
1.5.4拓展閱讀/11
1.5.5大數(shù)據(jù)課程公共服務平臺/11
1.6本章小結/12第2章Linux系統(tǒng)的安裝和使用/13
2.1Linux系統(tǒng)簡介/13
2.2Linux系統(tǒng)安裝/13
2.2.1下載安裝文件/14
2.2.2Linux系統(tǒng)的安裝方式/14
2.2.3安裝Linux虛擬機/15
2.2.4生成Linux虛擬機鏡像文件/36
2.3Linux系統(tǒng)及相關軟件的基本使用方法/38
2.3.1Shell/38
2.3.2root用戶/38
2.3.3創(chuàng)建普通用戶/38〖2〗〖4〗大數(shù)據(jù)基礎編程、實驗和案例教程目錄〖3〗2.3.4sudo命令/39
2.3.5常用的Linux系統(tǒng)命令/40
2.3.6文件解壓縮/40
2.3.7常用的目錄/41
2.3.8目錄的權限/41
2.3.9更新APT/41
2.3.10切換中英文輸入法/43
2.3.11vim編輯器的使用方法/43
2.3.12在Windows系統(tǒng)中使用SSH方式登錄Linux系統(tǒng)/44
2.3.13在Linux中安裝Eclipse/48
2.3.14其他使用技巧/49
2.4關于本書內容的一些約定/49
2.5本章小結/50第3章Hadoop的安裝和使用/51
3.1Hadoop簡介/51
3.2安裝Hadoop前的準備工作/52
3.2.1創(chuàng)建hadoop用戶/52
3.2.2更新APT/52
3.2.3安裝SSH/52
3.2.4安裝Java環(huán)境/53
3.3安裝Hadoop/55
3.3.1下載安裝文件/55
3.3.2單機模式配置/56
3.3.3偽分布式模式配置/57
3.3.4分布式模式配置/66
3.3.5使用Docker搭建Hadoop分布式集群/75
3.4本章小結/87第4章HDFS操作方法和基礎編程/88
4.1HDFS操作常用Shell命令/88
4.1.1查看命令使用方法/88
4.1.2HDFS目錄操作/90
4.2利用HDFS的Web管理界面/92
4.3HDFS編程實踐/92
4.3.1在Eclipse中創(chuàng)建項目/93
4.3.2為項目添加需要用到的JAR包/94
4.3.3編寫Java應用程序/96
4.3.4編譯運行程序/98
4.3.5應用程序的部署/100
4.4本章小結/102第5章HBase的安裝和基礎編程/103
5.1安裝HBase/103
5.1.1下載安裝文件/103
5.1.2配置環(huán)境變量/104
5.1.3添加用戶權限/104
5.1.4查看HBase版本信息/104
5.2HBase的配置/105
5.2.1單機模式配置/105
5.2.2偽分布式配置/107
5.3HBase常用Shell命令/109
5.3.1在HBase中創(chuàng)建表/109
5.3.2添加數(shù)據(jù)/110
5.3.3查看數(shù)據(jù)/110
5.3.4刪除數(shù)據(jù)/111
5.3.5刪除表/112
5.3.6查詢歷史數(shù)據(jù)/112
5.3.7退出HBase數(shù)據(jù)庫/112
5.4HBase編程實踐/113
5.4.1在Eclipse中創(chuàng)建項目/113
5.4.2為項目添加需要用到的JAR包/116
5.4.3編寫Java應用程序/117
5.4.4編譯運行程序/123
5.4.5應用程序的部署/124
5.5本章小結/124第6章典型NoSQL數(shù)據(jù)庫的安裝和使用/125
6.1Redis安裝和使用/125
6.1.1Redis簡介/125
6.1.2安裝Redis/125
6.1.3Redis實例演示/127
6.2MongoDB的安裝和使用/128
6.2.1MongDB簡介/129
6.2.2安裝MongoDB/129
6.2.3使用Shell命令操作MongoDB/130
6.2.4Java API編程實例/136
6.3本章小結/139第7章MapReduce基礎編程/140
7.1詞頻統(tǒng)計任務要求/140
7.2MapReduce程序編寫方法/141
7.2.1編寫Map處理邏輯/141
7.2.2編寫Reduce處理邏輯/141
7.2.3編寫main方法/142
7.2.4完整的詞頻統(tǒng)計程序/143
7.3編譯打包程序/144
7.3.1使用命令行編譯打包詞頻統(tǒng)計程序/145
7.3.2使用Eclipse編譯運行詞頻統(tǒng)計程序/145
7.4運行程序/154
7.5本章小結/156第8章數(shù)據(jù)倉庫Hive的安裝和使用/157
8.1Hive的安裝/157
8.1.1下載安裝文件/157
8.1.2配置環(huán)境變量/158
8.1.3修改配置文件/158
8.1.4安裝并配置MySQL/159
8.2Hive的數(shù)據(jù)類型/161
8.3Hive基本操作/162
8.3.1創(chuàng)建數(shù)據(jù)庫、表、視圖/162
8.3.2刪除數(shù)據(jù)庫、表、視圖/163
8.3.3修改數(shù)據(jù)庫、表、視圖/164
8.3.4查看數(shù)據(jù)庫、表、視圖/165
8.3.5描述數(shù)據(jù)庫、表、視圖/165
8.3.6向表中裝載數(shù)據(jù)/166
8.3.7查詢表中數(shù)據(jù)/166
8.3.8向表中插入數(shù)據(jù)或從表中導出數(shù)據(jù)/166
8.4Hive應用實例: WordCount/167
8.5Hive編程的優(yōu)勢/167
8.6本章小結/168第9章Spark的安裝和基礎編程/169
9.1基礎環(huán)境/169
9.2安裝Spark/169
9.2.1下載安裝文件/169
9.2.2配置相關文件/170
9.3使用 Spark Shell編寫代碼/171
9.3.1啟動Spark Shell/171
9.3.2讀取文件/172
9.3.3編寫詞頻統(tǒng)計程序/174
9.4編寫Spark獨立應用程序/174
9.4.1用Scala語言編寫Spark獨立應用程序/175
9.4.2用Java語言編寫Spark獨立應用程序/178
9.5本章小結/182第10章典型的可視化工具的使用方法/183
10.1Easel.ly信息圖制作方法/183
10.1.1信息圖/183
10.1.2信息圖制作基本步驟/183
10.2D3可視化庫的使用方法/186
10.2.1D3可視化庫的安裝/187
10.2.2基本操作/187
10.3可視化工具Tableau使用方法/194
10.3.1安裝Tableau/195
10.3.2界面功能介紹/195
10.3.3Tableau簡單操作/197
10.4使用“魔鏡”制作圖表/202
10.4.1“魔鏡”簡介/202
10.4.2簡單制作實例/202
10.5使用ECharts圖表制作/206
10.5.1ECharts簡介/206
10.5.2ECharts圖表制作方法/206
10.5.3兩個實例/210
10.6本章小結/217第11章數(shù)據(jù)采集工具的安裝和使用/218
11.1Flume/218
11.1.1安裝Flume/218
11.1.2兩個實例/220
11.2Kafka/225
11.2.1Kafka相關概念/225
11.2.2安裝Kafka/225
11.2.3一個實例/225
11.3Sqoop/227
11.3.1下載安裝文件/227
11.3.2修改配置文件/228
11.3.3配置環(huán)境變量/228
11.3.4添加MySQL驅動程序/228
11.3.5測試與MySQL的連接/229
11.4實例: 編寫Spark程序使用Kafka數(shù)據(jù)源/230
11.4.1Kafka準備工作/230
11.4.2Spark準備工作/232
11.4.3編寫Spark程序使用Kafka數(shù)據(jù)源/234
11.5本章小結/239第12章大數(shù)據(jù)課程綜合實驗案例/241
12.1案例簡介/241
12.1.1案例目的/241
12.1.2適用對象/241
12.1.3時間安排/241
12.1.4預備知識/241
12.1.5硬件要求/242
12.1.6軟件工具/242
12.1.7數(shù)據(jù)集/242
12.1.8案例任務/242
12.2實驗環(huán)境搭建/243
12.3實驗步驟概述/244
12.4本地數(shù)據(jù)集上傳到數(shù)據(jù)倉庫Hive/245
12.4.1實驗數(shù)據(jù)集的下載/245
12.4.2數(shù)據(jù)集的預處理/246
12.4.3導入數(shù)據(jù)庫/249
12.5Hive數(shù)據(jù)分析/253
12.5.1簡單查詢分析/253
12.5.2查詢條數(shù)統(tǒng)計分析/255
12.5.3關鍵字條件查詢分析/256
12.5.4根據(jù)用戶行為分析/258
12.5.5用戶實時查詢分析/259
12.6Hive、MySQL、HBase數(shù)據(jù)互導/260
12.6.1Hive預操作/260
12.6.2使用Sqoop將數(shù)據(jù)從Hive導入MySQL/261
12.6.3使用Sqoop將數(shù)據(jù)從MySQL導入HBase/265
12.6.4使用HBase Java API把數(shù)據(jù)從本地導入到HBase中/269
12.7利用R進行數(shù)據(jù)可視化分析/275
12.7.1安裝R/275
12.7.2安裝依賴庫/277
12.7.3可視化分析/278
12.8本章小結/283第13章實驗/284
13.1實驗一： 熟悉常用的Linux操作和Hadoop操作/284
13.1.1實驗目的/284
13.1.2實驗平臺/284
13.1.3實驗步驟/284
13.1.4實驗報告/286
13.2實驗二: 熟悉常用的HDFS操作/286
13.2.1實驗目的/286
13.2.2實驗平臺/286
13.2.3實驗步驟/287
13.2.4實驗報告/287
13.3實驗三: 熟悉常用的HBase操作/288
13.3.1實驗目的/288
13.3.2實驗平臺/288
13.3.3實驗步驟/288
13.3.4實驗報告/290
13.4實驗四: NoSQL和關系數(shù)據(jù)庫的操作比較/290
13.4.1實驗目的/290
13.4.2實驗平臺/290
13.4.3實驗步驟/290
13.4.4實驗報告/293
13.5實驗五: MapReduce初級編程實踐/294
13.5.1實驗目的/294
13.5.2實驗平臺/294
13.5.3實驗步驟/294
13.5.4實驗報告/297附錄A大數(shù)據(jù)課程實驗答案/298
A.1實驗一: 熟悉常用的Linux操作和Hadoop操作/298
A.1.1實驗目的/298
A.1.2實驗平臺/298
A.1.3實驗步驟/298
A.2實驗二: 熟悉常用的HDFS操作/303
A.2.1實驗目的/303
A.2.2實驗平臺/303
A.2.3實驗步驟/303
A.3實驗三: 熟悉常用的HBase操作/323
A.3.1實驗目的/323
A.3.2實驗平臺/323
A.3.3實驗步驟/323
A.4實驗四: NoSQL和關系數(shù)據(jù)庫的操作比較/331
A.4.1實驗目的/331
A.4.2實驗平臺/331
A.4.3實驗步驟/332
A.5實驗五: MapReduce初級編程實踐/349
A.5.1實驗目的/349
A.5.2實驗平臺/349
A.5.3實驗步驟/350附錄BLinux系統(tǒng)中的MySQL安裝及常用操作/360
B.1安裝MySQL/360
B.2MySQL常用操作/363參考文獻/367