《大數(shù)據(jù)技術(shù)體系詳解：原理、架構(gòu)與實(shí)踐》是一部系統(tǒng)、深度講解大數(shù)據(jù)技術(shù)棧的著作，從數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、資源管理與服務(wù)協(xié)調(diào)、計(jì)算引擎、數(shù)據(jù)分析、數(shù)據(jù)可視化6個(gè)層次講解了整個(gè)大數(shù)據(jù)技術(shù)體系中所有核心技術(shù)的原理、架構(gòu)與實(shí)踐。不僅能讓讀者從宏觀上全面認(rèn)識(shí)整個(gè)大數(shù)據(jù)系統(tǒng)，而且還能讓讀者從微觀上深入理解各種大數(shù)據(jù)技術(shù)的細(xì)節(jié)。

本書(shū)將以數(shù)據(jù)在大數(shù)據(jù)系統(tǒng)中的生命周期為線索，一共17章，分為七個(gè)部分：

第一部分（第1章）：概述

主要介紹企業(yè)級(jí)大數(shù)據(jù)技術(shù)框架、技術(shù)實(shí)現(xiàn)方案和架構(gòu)，包括Google的大數(shù)據(jù)技術(shù)棧和以Hadoop和Spark為代表的開(kāi)源技術(shù)棧。

第二部分（第2-4章）：數(shù)據(jù)收集

講解大數(shù)據(jù)收集相關(guān)技術(shù)，主要涉及關(guān)系型數(shù)據(jù)收集工具Sqoop與Canel，非關(guān)系型數(shù)據(jù)收集系統(tǒng)Flume以及分布式消息隊(duì)列Kafka。

第三部分（第5-7章）：數(shù)據(jù)存儲(chǔ)

講解大數(shù)據(jù)存儲(chǔ)相關(guān)技術(shù)，涉及數(shù)據(jù)存儲(chǔ)格式，分布式文件系統(tǒng)以及分布式數(shù)據(jù)庫(kù)三部分，包括Thrift、Protobuf、Avro、HDFS和HBase等。

第四部分（第8-9章）：分布式協(xié)調(diào)與資源管理

講解資源管理和服務(wù)協(xié)調(diào)相關(guān)技術(shù)，涉及資源管理和調(diào)度系統(tǒng)YARN以及資源協(xié)調(diào)系統(tǒng)Zookeeper。

第五部分（第10-13章）：計(jì)算引擎

講解計(jì)算引擎相關(guān)技術(shù)，涉及批處理、交互式處理以及流式實(shí)時(shí)處理三類引擎，包括MapReduce、Spark、Impala/Presto、Storm等常用技術(shù)。

第六部分（第14-16章）：數(shù)據(jù)分析

講解數(shù)據(jù)分析相關(guān)技術(shù)，涉及基于數(shù)據(jù)分析語(yǔ)言HQL與SQL，大數(shù)據(jù)統(tǒng)一編程模型及機(jī)器學(xué)習(xí)庫(kù)等。

第七部分（第17章）：應(yīng)用案例

講解了3個(gè)企業(yè)級(jí)大數(shù)據(jù)綜合應(yīng)用案例，包括Lambda架構(gòu)、基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉(cāng)庫(kù)、用戶行為實(shí)時(shí)統(tǒng)計(jì)系統(tǒng)。

目錄

第一部分　概述篇
第1章　企業(yè)級(jí)大數(shù)據(jù)技術(shù)體系概述 2
第二部分　數(shù)據(jù)收集篇
第2章　關(guān)系型數(shù)據(jù)的收集 20
第3章　非關(guān)系型數(shù)據(jù)的收集 36
第4章　分布式消息隊(duì)列Kafka 51
第三部分　數(shù)據(jù)存儲(chǔ)篇
第5章　數(shù)據(jù)序列化與文件存儲(chǔ)格式 70
第6章　分布式文件系統(tǒng) 90
第7章　分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng) 104
第四部分　分布式協(xié)調(diào)與資源管理篇
第8章　分布式協(xié)調(diào)服務(wù)ZooKeeper 130
第9章　資源管理與調(diào)度系統(tǒng)YARN 146