對于很多企業(yè)而言，大數(shù)據(jù)的重要性不言而喻，但是如何構建、實施和應用大數(shù)據(jù)系統(tǒng)卻是一個復雜工程。本書讓讀者認識到大數(shù)據(jù)不僅僅是數(shù)據(jù)、技術、架構、應用，更是結合了商業(yè)模式、戰(zhàn)略定位、信息安全、單位協(xié)同、組織保障、實施選型的完整體系。

本書內(nèi)容從大數(shù)據(jù)的規(guī)劃定位、組織實施和價值提升三個維度展開，兼顧從整體性、全局性、安全性、價值性、技術性、體系性等方面的考慮。

第一部分：企業(yè)大數(shù)據(jù)戰(zhàn)略規(guī)劃

主要從宏觀的角度介紹大數(shù)據(jù)的定位、組織保障、解決方案選擇和自主實施思路，目的是從全局角度引導建立大數(shù)據(jù)工作的整體思維。

第二部分：企業(yè)大數(shù)據(jù)落地實施

主要從執(zhí)行層面介紹了大數(shù)據(jù)落地相關的技術、架構、開發(fā)、大數(shù)據(jù)工作流、應用和價值評估，直接以落地視角解讀大數(shù)據(jù)工作中每個環(huán)節(jié)涉及到的流程、知識和方法，這也是本書的核心章節(jié)。

第三部分：大數(shù)據(jù)價值、變革和挑戰(zhàn)

主要涉及大數(shù)據(jù)的社會價值、當前問題和挑戰(zhàn)以及大數(shù)據(jù)的未來趨勢，這是對現(xiàn)有大數(shù)據(jù)工作的延展以及未來趨勢的探索。

目錄

Contents 目　　錄
前言
第1章 企業(yè)大數(shù)據(jù)戰(zhàn)略定位 1
1.1 宏觀 1
1.2 微觀 4
1.2.1 資源協(xié)同 5
1.2.2 戰(zhàn)略定位 6
1.2.3 啟動契機 7
1.2.4 大數(shù)據(jù)歷程 9
1.3 本章小結 12
第2章 企業(yè)大數(shù)據(jù)職能規(guī)劃 13
2.1 大數(shù)據(jù)組織架構體系 13
2.1.1 大數(shù)據(jù)部門在企業(yè)中的角色 13
2.1.2 常見的大數(shù)據(jù)職能及職責 17
2.2 大數(shù)據(jù)職位構建體系 24
2.2.1 基礎平臺類 24
2.2.2 數(shù)據(jù)管理類 26
2.2.3 技術研發(fā)類 27
2.2.4 產(chǎn)品設計類 30
2.2.5 數(shù)據(jù)挖掘類 32
2.2.6 數(shù)據(jù)分析類 33
2.3 大數(shù)據(jù)制度和流程規(guī)范 35
2.3.1 制度和流程規(guī)范意義 35
2.3.2 制度和流程規(guī)范內(nèi)容 35
2.3.3 制度和流程規(guī)范模板 42
2.4 本章小結 44
第3章 企業(yè)大數(shù)據(jù)解決方案 45
3.1 企業(yè)大數(shù)據(jù)解決方案實現(xiàn)方式 45
3.1.1 獨立研發(fā) 45
3.1.2 第三方解決方案 46
3.1.3 聯(lián)合開發(fā) 57
3.2 如何選擇解決方案 58
3.2.1 外部環(huán)境分析 58
3.2.2 內(nèi)部環(huán)境分析 59
3.2.3 需求規(guī)劃分析 62
3.2.4 解決方案特性分析 63
3.2.5 解決方案費用評估 67
3.3 本章小結 70
第4章 企業(yè)大數(shù)據(jù)自主實施思路 71
4.1 制定規(guī)劃原則 71
4.1.1 價值性 71
4.1.2 實時性 72
4.1.3 高效性 72
4.1.4 安全性 72
4.1.5 延展性 73
4.1.6 全局性 74
4.2 制定目標藍圖 75
4.3 制定建設目標 76
4.4 明確組織規(guī)劃 78
4.4.1 組織結構設計的作用 79
4.4.2 組織結構設立的導向 79
4.4.3 組織結構的最終設立 81
4.5 設計技術方案 85
4.5.1 大數(shù)據(jù)系統(tǒng)建設方案 85
4.5.2 大數(shù)據(jù)系統(tǒng)與傳統(tǒng)BI的融合方案 91
4.6 制定人才規(guī)劃 94
4.6.1 指導思想 94
4.6.2 規(guī)劃原則 94
4.6.3 核心內(nèi)容 95
4.7 投入產(chǎn)出評估 97
4.7.1 數(shù)據(jù)投入與產(chǎn)出的內(nèi)涵 97
4.7.2 數(shù)據(jù)投入與產(chǎn)出的特征 98
4.7.3 數(shù)據(jù)投入與產(chǎn)出的管理 99
4.8 數(shù)據(jù)風險管理 105
4.8.1 數(shù)據(jù)風險管理的概念 105
4.8.2 數(shù)據(jù)風險管理的類型 106
4.8.3 數(shù)據(jù)風險管理的原則 109
4.8.4 數(shù)據(jù)風險管理與控制 110
4.9 本章小結 114
第5章 大數(shù)據(jù)技術介紹 115
5.1 核心技術 115
5.1.1 Hadoop生態(tài) 115
5.1.2 NoSQL 142
5.1.3 實時計算 150
5.1.4 全文檢索 160
5.2 相關技術 204
5.2.1 數(shù)據(jù)可視化 204
5.2.2 數(shù)據(jù)緩存 220
5.2.3 中間件 227
5.2.4 關系型數(shù)據(jù)庫 236
5.2.5 數(shù)據(jù)ETL 245
5.3 大數(shù)據(jù)算法庫 250
5.4 本章小結 276
第6章 大數(shù)據(jù)架構設計 277
6.1 大數(shù)據(jù)架構設計原則 277
6.2 大數(shù)據(jù)核心架構要素 279
6.3 大數(shù)據(jù)架構設計模式 284
6.4 本章小結 289
第7章 大數(shù)據(jù)技術開發(fā) 290
7.1 數(shù)據(jù)采集 290
7.1.1 批量采集 291
7.1.2 增量采集 292
7.2 數(shù)據(jù)存儲 293
7.2.1 HDFS文件存儲引擎 294
7.2.2 Hive數(shù)據(jù)存儲引擎 295
7.2.3 HBase列式存儲引擎 295
7.2.4 MySQL關系型數(shù)據(jù)存儲引擎 296
7.3 多維計算 296
7.4 功能服務 299
7.5 平臺管理 301
7.5.1 監(jiān)控管理 301
7.5.2 調(diào)度管理 302
7.5.3 權限管理 304
7.6 應用域 307
7.7 本章小結 308
第8章 大數(shù)據(jù)工作流 309
8.1 數(shù)據(jù)源 310
8.1.1 日志/文件 310
8.1.2 數(shù)據(jù)庫 310
8.1.3 網(wǎng)絡爬蟲 311
8.1.4 第三方API/合作 311
8.2 數(shù)據(jù)處理 312
8.2.1 數(shù)據(jù)質(zhì)量校驗 312
8.2.2 清洗轉換 316
8.2.3 質(zhì)量提升 320
8.2.4 數(shù)據(jù)脫敏 321
8.2.5 集成整合 323
8.3 數(shù)據(jù)存儲 324
8.3.1 關系型數(shù)據(jù)庫 324
8.3.2 分布式文件系統(tǒng) 325
8.4 數(shù)據(jù)計算 325
8.4.1 三種數(shù)據(jù)計算時效性 325
8.4.2 結構化數(shù)據(jù)計算 327
8.4.3 半/非結構化數(shù)據(jù)計算 333
8.4.4 深度挖掘學習 360
8.5 數(shù)據(jù)應用 376
8.5.1 輔助決策 376
8.5.2 數(shù)據(jù)驅動 377
8.6 數(shù)據(jù)質(zhì)量管理 379
8.6.1 數(shù)據(jù)質(zhì)量建設的內(nèi)涵 379
8.6.2 影響數(shù)據(jù)質(zhì)量的常見因素 380
8.6.3 數(shù)據(jù)質(zhì)量建設的框架 381
8.7 本章小結 392
第9章 企業(yè)大數(shù)據(jù)業(yè)務應用 393
9.1 大數(shù)據(jù)應用場景概述 393
9.1.1 場景商業(yè)目的分析 394
9.1.2 場景數(shù)據(jù)來源分析 394
9.1.3 場景數(shù)據(jù)難易分析 397
9.1.4 場景應用舉例 397
9.2 用戶畫像 407
9.2.1 業(yè)務應用背景 407
9.2.2 主要實現(xiàn)過程 408
9.2.3 關鍵應用場景 414
9.2.4 應用價值提煉 415
9.2.5 場景總結回顧 417
9.3 個性化營銷 419
9.3.1 業(yè)務應用背景 419
9.3.2 主要實現(xiàn)過程 421
9.3.3 關鍵應用場景 424
9.3.4 應用價值提煉 425
9.3.5 場景總結回顧 426
9.4 精準廣告 427
9.4.1 業(yè)務應用背景 427
9.4.2 主要實現(xiàn)過程 429
9.4.3 關鍵應用場景 438
9.4.4 應用價值提煉 439
9.4.5 場景總結回顧 440
9.5 征信 441
9.5.1 應用場景背景 441
9.5.2 主要實現(xiàn)過程 442
9.5.3 主要應用場景 447
9.5.4 應用價值提煉 449
9.5.5 場景總結回顧 449
9.6 本章小結 450
第10章　企業(yè)大數(shù)據(jù)價值評估 451
10.1　資產(chǎn)價值 451
10.1.1　數(shù)據(jù)規(guī)模 451
10.1.2　數(shù)據(jù)價值度 452
10.1.3　數(shù)據(jù)鮮活性 454
10.1.4　數(shù)據(jù)關聯(lián)維度 454
10.1.5　數(shù)據(jù)粒度 455
10.2　業(yè)務價值 455
10.2.1　用戶體驗提升 455
10.2.2　運營優(yōu)化 457
10.2.3　銷售貢獻 460
10.2.4　供應鏈優(yōu)化 461
10.3　本章小結 462
第11章　大數(shù)據(jù)的社會價值 463
11.1　民生價值 463
11.2　政務價值 465
11.3　產(chǎn)業(yè)價值 468
11.4　本章小結 470
第12章　大數(shù)據(jù)當前問題及挑戰(zhàn) 471
12.1　數(shù)據(jù)挑戰(zhàn) 471
12.2　安全挑戰(zhàn) 472
12.3　價值挑戰(zhàn) 474
12.4　認知挑戰(zhàn) 475
12.5　技術挑戰(zhàn) 478
12.6　人才挑戰(zhàn) 480
12.7　本章小結 481
第13章　大數(shù)據(jù)未來趨勢 482
13.1　價值資產(chǎn)化 482
13.2　產(chǎn)業(yè)生態(tài)化 487
13.3　主體社會化 490
13.4　應用智能化 491
13.5　本章小結 492