《大數(shù)據(jù)開發(fā)工程師系列：Hadoop & Spark大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)》圍繞Hadoop和Spark這兩個(gè)主流技術(shù)進(jìn)行講解，主要內(nèi)容包括Hadoop環(huán)境配置、分布式文件系統(tǒng)HDFS、分布式計(jì)算框架MapReduce、資源調(diào)度框架YARN與Hadoop新特性、大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫Hive、離線處理輔助系統(tǒng)、SparkCore、Spark SQL、Spark Streaming等知識(shí)。

為保證學(xué)習(xí)效果，《大數(shù)據(jù)開發(fā)工程師系列：Hadoop & Spark大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)》緊密結(jié)合實(shí)際應(yīng)用，利用大量案例說明和實(shí)踐，提煉含金量十足的開發(fā)經(jīng)驗(yàn)。

《大數(shù)據(jù)開發(fā)工程師系列：Hadoop & Spark大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)》使用Hadoop和Spark進(jìn)行大數(shù)據(jù)開發(fā)，并配以完善的學(xué)習(xí)資源和支持服務(wù)，包括視頻教程、案例素材下載、學(xué)習(xí)交流社區(qū)、討論組等終身學(xué)習(xí)內(nèi)容，為開發(fā)者帶來全方位的學(xué)習(xí)體。

目錄

前言
關(guān)于引用作品版權(quán)說明
第1章 初識(shí)Hadoop
本章任務(wù)
任務(wù)1 大數(shù)據(jù)概述
1．1．1 大數(shù)據(jù)基本概念
1．1．2 大數(shù)據(jù)對(duì)于企業(yè)帶來的挑戰(zhàn)
任務(wù)2 Hadoop概述
1．2．1 Hadoop簡(jiǎn)介
1．2．2 HadooD生態(tài)系統(tǒng)
1．2．3 大數(shù)據(jù)應(yīng)用案例
任務(wù)3 Hadoop環(huán)境措建
1．3．1 虛擬機(jī)安裝
1．3．2 Linux系統(tǒng)安裝
1．3．3 Hadoop偽分布式環(huán)境搭建
本章總結(jié)
本章作業(yè)
第2章 分布式文件系統(tǒng)HDFS
本章任務(wù)
任務(wù)1 初識(shí)HDFS
2．1．1 HDFS概述
2．1．2 HDFS基本概念
2．1．3 HDFS體系結(jié)構(gòu)
任務(wù)2 HDFS操作
2．2．1 HDFS shell訪問
2．2．2 Java API訪問
任務(wù)3 HDFS運(yùn)行機(jī)制
2．3．1 HDFS文件讀寫流程
2．3．2 HDFS副本機(jī)制
2．3．3 數(shù)據(jù)負(fù)載均衡
2．3．4 機(jī)架感知
任務(wù)4 HDFS進(jìn)階
2．4．1 Hadoop序列化
2．4．2 基于文件的數(shù)據(jù)結(jié)構(gòu)SequenceFile
2．4．3 基于文件的數(shù)據(jù)結(jié)構(gòu)MapFile
本章總結(jié)
本章作業(yè)
第3章 分布式計(jì)算框架MapReduce
本章任務(wù)
任務(wù)1 MapReduce編程模型
3．1．1 MapReduce概述
3．1．2 MapReduce編程模型
3．1．3 MapReduce Woracount編程實(shí)例
任務(wù)2 MapReduce進(jìn)階
3．2．1 MapReduce類型
3．2．2 MapReduce輸入格式
3．2．3 MapReduce輸出格式
3．2．4 Combiner
3．2．5 Partitioner
3．2．6 RecordReader
任務(wù)3 MapReduce高級(jí)編程
3．3．1 Join的MapReduce實(shí)現(xiàn)
3．3．2 排序的MapReduce實(shí)現(xiàn)
3．3．3 二次排序的MapReduce實(shí)現(xiàn)
3．3．4 合并小文件的MapReduce實(shí)現(xiàn)
本章總結(jié)
本章作業(yè)
第4章 YARN與Hadoop新特性
本章任務(wù)
任務(wù)1 初識(shí)資源調(diào)度框架YARN
4．1．1 YARN產(chǎn)生背景
4．1．2 初識(shí)YARN
4．1．3 YARN運(yùn)行機(jī)制
任務(wù)2 HDFS新特性
4．2．1 HDFS NameNOde HA
4．2．2 HDFS NameN0de Federation
4．2．3 HDFSSnaoshots
4．2．4 WebHOFS RESTAPI
4．2．5 DistCp
任務(wù)3 YARN新特性
4．3．1 ResourceManager Restart
4．3．2 ResourceManager HA
本章總結(jié)
本章作業(yè)
第5章 大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫Hive
本章任務(wù)
任務(wù)1 初識(shí)Hive
5．1．1 Hiye簡(jiǎn)介
5．1．2 Hiye架構(gòu)
5．1．3 Hiye與Hadoop的關(guān)系
5．1．4 Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫對(duì)比
5．1．5 Hive數(shù)據(jù)存儲(chǔ)
5．1．6 Hive環(huán)境部署
任務(wù)2 Hive基本操作
5．2．1 DDL操作
5．2．2 DML操作
5．2．3 Hive shell操作
任務(wù)3 Hive進(jìn)階
5．3．1 Hive函數(shù)
5．3．2 Hive常用調(diào)優(yōu)策略
本章總結(jié)
本章作業(yè)
第6章 離線處理輔助系統(tǒng)
本章任務(wù)
任務(wù)1 使用Sqoop完成數(shù)據(jù)遷移
6．1．1 Sqoop簡(jiǎn)介
6．1．2 導(dǎo)入MysQL數(shù)據(jù)到HDFS
6．1．3 導(dǎo)出HOFS數(shù)據(jù)到MySQL
6．1．4 導(dǎo)入MySQL數(shù)據(jù)到Hive
6．1．5 Sqoop中Job的使用
任務(wù)2 工作流調(diào)度框架Azkaban
6．2．1 Azkaban簡(jiǎn)介
6．2．2 Azkaban部署
6．2．3 Azkaban實(shí)戰(zhàn)
本章總結(jié)
本章作業(yè)
第7章 Spark入門
本章任務(wù)
任務(wù)1 初識(shí)Spark
7．1．1 Spark概述
7．1．2 Spark優(yōu)點(diǎn)
7．1．3 Spark生態(tài)系統(tǒng)BDAs
任務(wù)2 Scala入門
7．2．1 Scala介紹
7．2．2 Scala函數(shù)
7．2．3 Scala面向?qū)ο?br /> 7．2．4 Scala集合
7．2．5 Scala進(jìn)階
任務(wù)3 獲取Spark源碼并進(jìn)行編譯
7．3．1 獲取Spark源碼
7．3．2 Spark源碼編譯
任務(wù)4 第次與Spark親密接觸
7．4．1 Spark環(huán)境部署
7．4．2 Spark完成詞頻統(tǒng)計(jì)分析
本章總結(jié)
本章作業(yè)
第8章 SparkCore
本章任務(wù)
任務(wù)1 SparK的基石RDD
8．1．1 RDD概述
8．1．2 RDD常用創(chuàng)建方式
8．1．3 RDD的轉(zhuǎn)換
8．1．4 ROD的動(dòng)作
8．1．5 RDD的依賴
任務(wù)2 RDD進(jìn)階
8．2．1 RDD緩存
8．2．2 共享變量(Shared Variables)
8．2．3 Spark核心概念
8．2．4 Spark運(yùn)行架構(gòu)
任務(wù)3 基于RDD的Spark編程
8．3．1 開發(fā)前置準(zhǔn)備
8．3．2 使用SparkCore開發(fā)詞頻計(jì)數(shù)WordCount
8．3．3 使用SparkCore進(jìn)行年齡統(tǒng)計(jì)
本章總結(jié)
本章作業(yè)
第9章 Spark SQL
本章任務(wù)
任務(wù)1 SparkSQL前世今生
9．1．1 為什么需要SQL
9．1．2 常用的SQL on Hadoop框架
9．1．3 Spark SQL概述
任務(wù)2 Spark SQL編程
9．2．1 SparkSQL編程入口
9．2．2 DataFrame是什么
9．2．3 DataFrame編程
任務(wù)3 SparkSQL進(jìn)階
9．3．1 Spark SQL外部數(shù)據(jù)源操作
9．3．2 SparkSQL函數(shù)的使用
9．3．3 Spark SQL常用調(diào)優(yōu)
本章總結(jié)
本章作業(yè)
第10章 Spark Streaming
本章任務(wù)
任務(wù)1 初始流處理框架及Spark Streaming
10．1．1 流處理框架概述
10．1．2 Spark Streaming概述
任務(wù)2 Spark Streaming編程
10．2．1 Spark Streaming核心概念
10．2．2 使用Spark Streaming編程
任務(wù)3 Spark Streaming進(jìn)階
10．3．1 Spark Streaming整合Flume
10．3．2 Spark Streaming整合Kafka
10．3．3 Spark Streaming常用優(yōu)化策略
本章總結(jié)
本章作業(yè)