本書介紹了一些主流技術(shù)在商業(yè)項目中的應(yīng)用，包括機(jī)器學(xué)習(xí)中的分類、聚類和線性回歸，搜索引擎，推薦系統(tǒng)，用戶行為跟蹤，架構(gòu)設(shè)計的基本理念及常用的消息和緩存機(jī)制。在這個過程中，我們有機(jī)會實踐R、Mahout、Solr、Elasticsearch、Hadoop、HBase、Hive、Flume、Kafka、Storm等系統(tǒng)。如前所述，本書最大的特色就是，從商業(yè)需求出發(fā)演變到合理的技術(shù)方案和實現(xiàn)，因此根據(jù)不同的應(yīng)用場景、不同的數(shù)據(jù)集合、不同的進(jìn)階難度，我們?yōu)樽x者提供了反復(fù)溫習(xí)和加深印象的機(jī)會。

目錄
 

目錄
推薦序
前言
引子 1
第一篇　支持高效的運(yùn)營
第1章　方案設(shè)計和技術(shù)選型：分類 5
1.1　分類的基本概念 6
1.2　分類任務(wù)的處理流程 7
1.3　算法：樸素貝葉斯和K最近鄰 8
1.3.1　樸素貝葉斯 8
1.3.2　K最近鄰 9
1.4　分類效果評估 10
1.5　相關(guān)軟件：R和Mahout 12
1.5.1　R簡介 12
1.5.2　Mahout簡介 13
1.5.3　Hadoop簡介 14
1.6　案例實踐 17
1.6.1　實驗環(huán)境設(shè)置 17
1.6.2　中文分詞 18
1.6.3　使用R進(jìn)行樸素貝葉斯分類 22
1.6.4　使用R進(jìn)行K最近鄰分類 37
1.6.5　單機(jī)環(huán)境使用Mahout運(yùn)行樸素貝葉斯分類 39
1.6.6　多機(jī)環(huán)境使用Mahout運(yùn)行樸素貝葉斯分類 47
1.7　更多的思考 58
第2章　方案設(shè)計和技術(shù)選型：聚類 60
2.1　聚類的基本概念 60
2.2　算法：K均值和層次型聚類 61
2.2.1　K均值聚類 61
2.2.2　層次型聚類 62
2.3　聚類的效果評估 64
2.4　案例實踐 66
2.4.1　使用R進(jìn)行K均值聚類 66
2.4.2　使用Mahout進(jìn)行K均值聚類 69
第3章　方案設(shè)計和技術(shù)選型：因變量連續(xù)的回歸分析 74
3.1　線性回歸的基本概念 74
3.2　案例實踐 76
3.2.1　實驗環(huán)境設(shè)置 76
3.2.2　R中數(shù)據(jù)的標(biāo)準(zhǔn)化 78
3.2.3　使用R的線性回歸分析 81
第二篇 為顧客發(fā)現(xiàn)喜歡的商品：
基礎(chǔ)篇
第4章　方案設(shè)計和技術(shù)選型：搜索 94
4.1　搜索引擎的基本概念 94
4.1.1　相關(guān)性 95
4.1.2　及時性 97
4.2　搜索引擎的評估 100
4.3　為什么不是數(shù)據(jù)庫 103
4.4　系統(tǒng)框架 104
4.4.1　離線預(yù)處理 104
4.4.2　在線查詢 107
4.5　常見的搜索引擎實現(xiàn) 108
4.5.1　Lucene簡介 108
4.5.2　Solr簡介 113
4.5.3　Elasticsearch簡介 120
4.6　案例實踐 123
4.6.1　實驗環(huán)境設(shè)置 123
4.6.2　基于Solr的實現(xiàn) 123
4.6.3　基于Elasticsearch的實現(xiàn) 154
4.6.4　統(tǒng)一的搜索API 175
第三篇 為顧客發(fā)現(xiàn)喜歡的商品：高級篇
第5章　方案設(shè)計和技術(shù)選型：NoSQL和搜索的整合 195
5.1　問題分析 195
5.2　HBase簡介 196
5.3　結(jié)合HBase和搜索引擎 203
5.4　案例實踐 204
5.4.1　實驗環(huán)境設(shè)置 204
5.4.2　HBase的部署 205
5.4.3　HBase和搜索引擎的集成 211
第6章　方案設(shè)計和技術(shù)選型：查詢分類和搜索的整合 219
6.1　問題分析 219
6.2　結(jié)合分類器和搜索引擎 219
6.3　案例實踐 225
6.3.1　實驗環(huán)境設(shè)置 225
6.3.2　構(gòu)建查詢分類器 226
6.3.3　定制化的搜索排序 229
6.3.4　整合查詢分類和定制化排序 236
第7章　方案設(shè)計和技術(shù)選型：個性化搜索 245
7.1　問題分析 245
7.2　結(jié)合用戶畫像和搜索引擎 245
7.3　案例實踐 249
7.3.1　用戶畫像的讀取 250
7.3.2　個性化搜索引擎 253
7.3.3　結(jié)果對比 260
第8章　方案設(shè)計和技術(shù)選型：搜索分片 267
8.1　問題分析 267
8.2　利用搜索的分片機(jī)制 269
8.3　案例實踐 271
8.3.1　Solr路由的實現(xiàn) 271
8.3.2　Elasticsearch路由的實現(xiàn) 278
第9章　方案設(shè)計和技術(shù)選型：搜索提示 283
9.1　問題分析 283
9.2　案例實踐：基礎(chǔ)方案 284
9.2.1　Solr搜索建議和拼寫糾錯的實現(xiàn) 284
9.2.2　Elasticsearch搜索建議和拼寫糾錯的實現(xiàn) 286
9.3　改進(jìn)方案 291
9.4　案例實踐：改進(jìn)方案 294
第10章　方案設(shè)計和技術(shù)選型：推薦 303
10.1　推薦系統(tǒng)的基本概念 305
10.2　推薦的核心要素 306
10.2.1　系統(tǒng)角色 306
10.2.2　相似度 307
10.2.3　相似度傳播框架 307
10.3　推薦系統(tǒng)的分類 307
10.4　混合模型 311
10.5　系統(tǒng)架構(gòu) 312
10.6　Mahout中的推薦算法 313
10.7　電商常見的推薦系統(tǒng)方案 314
10.7.1　電商常見的推薦系統(tǒng)方案 314
10.7.2　相似度的計算 317
10.7.3　協(xié)同過濾 319
10.7.4　結(jié)果的查詢 320
10.8　案例實踐 321
10.8.1　基于內(nèi)容特征的推薦 321
10.8.2　基于行為特征的推薦 341
第四篇　獲取數(shù)據(jù)，跟蹤效果
第11章　方案設(shè)計和技術(shù)選型：行為跟蹤 369
11.1　基本概念 370
11.1.1　網(wǎng)站的核心框架 370
11.1.2　行為數(shù)據(jù)的類型 371
11.1.3　行為數(shù)據(jù)的模式 372
11.1.4　設(shè)計理念 374
11.2　使用谷歌分析 375
11.3　自行設(shè)計之Flume、HDFS和Hive的整合 378
11.3.1　數(shù)據(jù)的收集——Flume簡介 378
11.3.2　數(shù)據(jù)的存儲——Hadoop HDFS回顧 382
11.3.3　批量數(shù)據(jù)分析——Hive簡介 383
11.3.4　Flume、HDFS和Hive的整合方案 386
11.4　自行設(shè)計之Flume、Kafka和Storm的整合 386
11.4.1　實時性數(shù)據(jù)分析之Kafka簡介 386
11.4.2　實時性數(shù)據(jù)分析之Storm簡介 388
11.4.3　Flume、Kafka和Storm的整合方案 390
11.5　案例實踐 391
11.5.1　數(shù)據(jù)模式的設(shè)計 392
11.5.2　實驗環(huán)境設(shè)置 392
11.5.3　谷歌分析實戰(zhàn) 394
11.5.4　自主設(shè)計實戰(zhàn)之Flume、HDFS和Hive的整合 401
11.5.5　自主設(shè)計實戰(zhàn)之Flume、Kafka和Storm的整合 410
11.6　更多的思考 424
后記 425