《Storm技術(shù)內(nèi)幕與大數(shù)據(jù)實(shí)踐》內(nèi)容主要圍繞實(shí)時(shí)大數(shù)據(jù)系統(tǒng)的各個(gè)方面展開(kāi)，從實(shí)時(shí)平臺(tái)總體介紹到集群源碼、運(yùn)維監(jiān)控、實(shí)時(shí)系統(tǒng)擴(kuò)展、以用戶畫(huà)像為主的數(shù)據(jù)平臺(tái)，最后到推薦、廣告、搜索等具體的大數(shù)據(jù)應(yīng)用。書(shū)中提到的不少問(wèn)題是實(shí)際生產(chǎn)環(huán)境中因?yàn)閿?shù)據(jù)量增長(zhǎng)而遇到的一些真實(shí)問(wèn)題，對(duì)即將或正在運(yùn)用實(shí)時(shí)系統(tǒng)處理大數(shù)據(jù)問(wèn)題的團(tuán)隊(duì)會(huì)有所幫助。

目錄
第1章　緒論 1
1．1　Storm的基本組件 2
1．1．1　集群組成 2
1．1．2　核心概念 3
1．1．3　Storm的可靠性 5
1．1．4　Storm的特性 6
1．2　其他流式處理框架 6
1．2．1　Apache S4 6
1．2．2　Spark Streaming 6
1．2．3　流計(jì)算和Storm的應(yīng)用 7
第2章　實(shí)時(shí)平臺(tái)介紹 11
2．1　實(shí)時(shí)平臺(tái)架構(gòu)介紹 11
2．2　Kafka架構(gòu) 13
2．2．1　Kafka的基本術(shù)語(yǔ)和概念 13
2．2．2　Kafka在實(shí)時(shí)平臺(tái)中的應(yīng)用 14
2．2．3　消息的持久化和順序讀寫(xiě) 15
2．2．4　sendfile系統(tǒng)調(diào)用和零復(fù)制 15
2．2．5　Kafka的客戶端 17
2．2．6　Kafka的擴(kuò)展 17
2．3　大眾點(diǎn)評(píng)實(shí)時(shí)平臺(tái) 17
2．3．1　相關(guān)數(shù)據(jù) 18
2．3．2　實(shí)時(shí)平臺(tái)簡(jiǎn)介 18
2．3．3　Blackhole 19
2．4　1號(hào)店實(shí)時(shí)平臺(tái) 20
第3章　Storm集群部署和配置 23
3．1　Storm的依賴組件 23
3．2　Storm的部署環(huán)境 24
3．3　部署Storm服務(wù) 24
3．3．1　部署ZooKeeper 24
3．3．2　部署Storm 25
3．3．3　配置Storm 25
3．4　啟動(dòng)Storm 28
3．5　Storm的守護(hù)進(jìn)程 28
3．6　部署Storm的其他節(jié)點(diǎn) 30
3．7　提交Topology 30
第4章　Storm內(nèi)部剖析 33
4．1　Storm客戶端 33
4．2　Nimbus 36
4．2．1　啟動(dòng)Nimbus服務(wù) 36
4．2．2　Nimbus服務(wù)的執(zhí)行過(guò)程 38
4．2．3　分配Executor 44
4．2．4　調(diào)度器 46
4．2．5　默認(rèn)調(diào)度器DefaultScheduler 47
4．2．6　均衡調(diào)度器EvenScheduler 50
4．3　Supervisor 53
4．3．1　ISupervisor接口 54
4．3．2　Supervisor的共享數(shù)據(jù) 54
4．3．3　Supervisor的執(zhí)行過(guò)程 56
4．4　Worker 61
4．4．1　Worker中的數(shù)據(jù)流 61
4．4．2　創(chuàng)建Worker的過(guò)程 62
4．5　Executor 65
4．5．1　Executor的創(chuàng)建 66
4．5．2　創(chuàng)建Spout的Executor 69
4．5．3　創(chuàng)建Bolt的Executor 74
4．6　Task 76
4．6．1　Task的上下文對(duì)象 77
4．6．2　Task的創(chuàng)建 82
4．7　Storm中的統(tǒng)計(jì) 84
4．7．1　stats框架 85
4．7．2　metric框架 90
4．8　Ack框架 91
4．8．1　Ack的原理 92
4．8．2　Acker Bolt 94
4．9　Storm總體架構(gòu) 95
第5章　Storm運(yùn)維和監(jiān)控 97
5．1　主機(jī)信息監(jiān)控 97
5．1　日志和監(jiān)控 98
5．2　Storm UI和NimbusClient 99
5．3　Storm Metric的使用 100
5．4　Storm ZooKeeper的目錄 102
5．5　Storm Hook的使用 104
第6章　Storm的擴(kuò)展 107
6．1　Storm UI的擴(kuò)展 107
6．1．1　Storm UI原生功能 108
6．1．2　Storm UI新功能需求 108
6．1．3　Storm的Thrift接口 109
6．2　資源隔離 110
6．2．1　CGroup測(cè)試 111
6．2．2　基于CGroup的資源隔離的實(shí)現(xiàn) 119
第7章　Storm開(kāi)發(fā) 121
7．1　簡(jiǎn)單示例 121
7．2　調(diào)試和日志 122
7．3　Storm Trident 124
7．4　Strom DRPC 128
第8章　基于Storm的實(shí)時(shí)數(shù)據(jù)平臺(tái) 129
8．1　Hadoop到Storm的代碼遷移經(jīng)驗(yàn) 129
8．2　實(shí)時(shí)用戶畫(huà)像 130
8．2．1　簡(jiǎn)單實(shí)時(shí)畫(huà)像 130
8．2．2　實(shí)時(shí)畫(huà)像優(yōu)化 131
8．2．3　實(shí)時(shí)畫(huà)像的毫秒級(jí)更新 133
8．3　其他場(chǎng)景畫(huà)像 135
8．4　畫(huà)像的興趣度模型構(gòu)建 136
8．5　外部畫(huà)像融合經(jīng)驗(yàn)分享 138
8．6　交互式查詢和分析用戶畫(huà)像 142
8．7　實(shí)時(shí)產(chǎn)品和店鋪信息更新 143
第9章　大數(shù)據(jù)應(yīng)用案例 145
9．1　實(shí)時(shí)DAU計(jì)算 145
9．2　實(shí)時(shí)個(gè)性化推薦 150
9．2．1　推薦系統(tǒng)介紹 150
9．2．2　實(shí)時(shí)推薦系統(tǒng)的方法 153
9．2．3　基于Storm的實(shí)時(shí)推薦系統(tǒng) 156
9．3　廣告投放的精準(zhǔn)化 158
9．3．1　點(diǎn)擊率預(yù)測(cè) 158
9．3．2　搜索引擎營(yíng)銷 161
9．3．3　精準(zhǔn)化營(yíng)銷與千人千面 161
9．4　實(shí)時(shí)意圖和搜索 164
9．4．1　用戶意圖預(yù)測(cè) 165
9．4．2　搜索比價(jià) 167
9．4．3　搜索排序 168
第10章　Storm使用經(jīng)驗(yàn)和性能優(yōu)化 171
10．1　使用經(jīng)驗(yàn) 171
10．1．1　使用rebalance命令動(dòng)態(tài)調(diào)整并發(fā)度 171
10．1．2　使用tick消息做定時(shí)器 172
10．1．3　使用組件的并行度代替線程池 174
10．1．4　不要用DRPC批量處理大數(shù)據(jù) 174
10．1．5　不要在Spout中處理耗時(shí)的操作 174
10．1．6　log4j的使用技巧 175
10．1．7　注意fieldsGrouping的數(shù)據(jù)均衡性 176
10．1．8　優(yōu)先使用localOrShuffleGrouping 176
10．1．9　設(shè)置合理的MaxSpoutPending值 177
10．1．10　設(shè)置合理的Worker數(shù) 177
10．1．11　平衡吞吐量和時(shí)效性 178
10．2　性能優(yōu)化 179
10．2．1　找到Topology的性能瓶頸 179
10．2．2　GC參數(shù)優(yōu)化 181
10．3　性能優(yōu)化原則 181
附錄A　Kafka原理 183
附錄B　將Storm源碼導(dǎo)入Eclipse 191