這是國內(nèi)首本Greenplum著作，國內(nèi)最早開始使用Greenplum的企業(yè)是阿里巴巴，本書的兩位作者是阿里巴巴最早負(fù)責(zé)使用和維護(hù)Greenplum的技術(shù)工程師，權(quán)威性毋庸置疑。本書完全立足于阿里巴巴的企業(yè)應(yīng)用實踐，不僅系統(tǒng)介紹Greenplum的功能特性、使用方法、高級應(yīng)用，而且還詳細(xì)講解Greenplum的系統(tǒng)架構(gòu)、運維管理、性能優(yōu)化和各種技巧。最重要的是，包含大量企業(yè)級應(yīng)用案例，每個案例都進(jìn)行了詳盡的講解和實操指導(dǎo)。

全書一共15章，分為三個部分：基礎(chǔ)篇（第1~3章）首先介紹了Greenplum的應(yīng)用場景、功能特性以及與PostgreSQL的關(guān)系，然后講解了Greenplum的安裝配置、語法以及相關(guān)操作，最后通過兩個具體的數(shù)據(jù)倉庫ETL案例加強(qiáng)讀者對Greenplum的功能特性的了解和操作能力；進(jìn)階篇（第4~7章）圍繞數(shù)據(jù)字典、執(zhí)行計劃、系統(tǒng)架構(gòu)、高級特性等主題對Greenplum進(jìn)行了更深入地講解，不僅能讓讀者更深入理解Greenplum的工作原理，也能讓讀者游刃有余地應(yīng)對各種日常操作；管理篇（8~15章）從運維和管理的角度講解了Greenplum的線上部署、數(shù)據(jù)庫管理、腳本維護(hù)、監(jiān)控、權(quán)限控制、容災(zāi)/擴(kuò)容、備份恢復(fù)、性能調(diào)優(yōu)、常用技巧和常見問題等。

目　錄
前言
上篇　基　礎(chǔ)　篇
第1章　Greenplum簡介 2
1.1　Greenplum的起源和發(fā)展歷程 2
1.2　OLTP與OLAP 3
1.3　PostgreSQL與Greenplum的關(guān)系 3
1.3.1　PostgreSQL 3
1.3.2　Greenplum 5
1.4　Greenplum特性及應(yīng)用場景 6
1.4.1　Greenplum特性 6
1.4.2　Greenplum應(yīng)用場景 7
1.5　小結(jié) 8
第2章　Greenplum快速入門 9
2.1　軟件安裝及數(shù)據(jù)庫初始化 9
2.1.1　Greenplum架構(gòu) 9
2.1.2　環(huán)境搭建 11
2.1.3　Greenplum安裝 13
2.1.4　創(chuàng)建數(shù)據(jù)庫 20
2.1.5　數(shù)據(jù)庫啟動與關(guān)閉 20
2.2　安裝Greenplum的常見問題 22
2.2.1　/etc/hosts配置錯誤 22
2.2.2　MASTER_DATA_DIRECTORY設(shè)置錯誤 24
2.3　暢游Greenplum 25
2.3.1　如何訪問Greenplum 25
2.3.2　數(shù)據(jù)庫整體概況 27
2.3.3　基本語法介紹 28
2.3.4　常用數(shù)據(jù)類型 35
2.3.5　常用函數(shù) 37
2.3.6　分析函數(shù) 43
2.3.7　分區(qū)表 46
2.3.8　外部表 49
2.3.9　COPY命令 51
2.4　小結(jié) 52
第3章　Greenplum實戰(zhàn) 53
3.1　歷史拉鏈表 53
3.1.1　應(yīng)用場景描述 53
3.1.2　原理及步驟 54
3.1.3　表結(jié)構(gòu) 55
3.1.4　Demo數(shù)據(jù)準(zhǔn)備 57
3.1.5　數(shù)據(jù)加載 58
3.1.6　數(shù)據(jù)刷新 61
3.1.7　分區(qū)裁剪 64
3.1.8　數(shù)據(jù)導(dǎo)出 64
3.2　日志分析 65
3.2.1　應(yīng)用場景描述 65
3.2.2　數(shù)據(jù)Demo 65
3.2.3　日志分析實戰(zhàn) 66
3.3　數(shù)據(jù)分布 68
3.3.1　數(shù)據(jù)分散情況查看 69
3.3.2　數(shù)據(jù)加載速度影響 69
3.3.3　數(shù)據(jù)查詢速度影響 72
3.4　數(shù)據(jù)壓縮 73
3.4.1　數(shù)據(jù)加載速度影響 73
3.4.2　數(shù)據(jù)查詢速度影響 74
3.5　索引 75
3.6　小結(jié) 75
中篇　進(jìn)　階　篇
第4章　數(shù)據(jù)字典詳解 78
4.1　oid無處不在 78
4.2　數(shù)據(jù)庫集群信息 80
4.2.1　Gp_configuration和gp_segment_configuration 80
4.2.2　Gp_id 82
4.2.3　Gp_configuration_history 84
4.2.4　pg_filespace_entry 84
4.2.5　集群配置信息表轉(zhuǎn)化 84
4.3　常用數(shù)據(jù)字典 85
4.3.1　pg_class 85
4.3.2　pg_attribute 88
4.3.3　gp_distribution_policy 89
4.3.4　pg_statistic和pg_stats 90
4.4　分區(qū)表信息 90
4.4.1　如何實現(xiàn)分區(qū)表 91
4.4.2　pg_partition 91
4.4.3　pg_partition_rule 92
4.4.4　pg_partitions視圖及其優(yōu)化 93
4.5　自定義類型以及類型轉(zhuǎn)換 94
4.6　主、備節(jié)點同步的相關(guān)數(shù)據(jù)字典 95
4.7　數(shù)據(jù)字典應(yīng)用示例 96
4.7.1　獲取表的字段信息 96
4.7.2　獲取表的分布鍵 96
4.7.3　獲取一個視圖的定義 97
4.7.4　查詢comment（備注信息） 98
4.7.5　獲取數(shù)據(jù)庫建表語句 99
4.7.6　查詢表上的視圖 103
4.7.7　查詢表的數(shù)據(jù)文件創(chuàng)建時間 104
4.7.8　分區(qū)表總大小 106
4.7.9　如何分析數(shù)據(jù)字典變化 108
4.7.10　獲取數(shù)據(jù)庫鎖信息 111
4.8　Gp_toolkit介紹 112
4.9　小結(jié) 114
第5章　執(zhí)行計劃詳解 115
5.1　執(zhí)行計劃入門 115
5.1.1　什么是執(zhí)行計劃 115
5.1.2　查看執(zhí)行計劃 116
5.2　分布式執(zhí)行計劃概述 116
5.2.1　架構(gòu) 116
5.2.2　重分布與廣播 117
5.2.3　Greenplum Master的工作 119
5.3　Greenplum執(zhí)行計劃中的術(shù)語 120
5.3.1　數(shù)據(jù)掃描方式 120
5.3.2　分布式執(zhí)行 121
5.3.3　兩種聚合方式 122
5.3.4　關(guān)聯(lián) 123
5.3.5　SQL消耗 126
5.3.6　其他術(shù)語 126
5.4　數(shù)據(jù)庫統(tǒng)計信息收集 128
5.4.1　Analyze分析 128
5.4.2　固定執(zhí)行計劃 129
5.5　控制執(zhí)行計劃的參數(shù)介紹 130
5.6　規(guī)劃器開銷的計算方法 131
5.7　各種執(zhí)行計劃原理分析 133
5.7.1　詳解關(guān)聯(lián)的廣播與重分布 133
5.7.2　HashAggregate與GroupAggregate 137
5.7.3　Nestloop Join 、 Hash Join 與Merge Join 141
5.7.4　分析函數(shù)：開窗函數(shù)和grouping sets 142
5.8　案例 144
5.8.1　關(guān)聯(lián)鍵強(qiáng)制類型轉(zhuǎn)換，導(dǎo)致重分布 144
5.8.2　統(tǒng)計信息過期 145
5.8.3　執(zhí)行計劃出錯 145
5.8.4　分布鍵選擇不恰當(dāng) 147
5.8.5　計算distinct 148
5.8.6　union與union all 150
5.8.7　子查詢not in 152
5.8.8　聚合函數(shù)太多導(dǎo)致內(nèi)存不足 154
5.9　小結(jié) 155
第6章　Greenplum高級應(yīng)用 156
6.1　Appendonly表與壓縮表 157
6.1.1　應(yīng)用場景及語法介紹 157
6.1.2　壓縮表的性能差異 157
6.1.3　Appendonly表特性 158
6.1.4　相關(guān)數(shù)據(jù)字典 164
6.2　列存儲 165
6.2.1　應(yīng)用場景 165
6.2.2　數(shù)據(jù)文件存儲特性 166
6.2.3　如何使用列存儲 166
6.2.4　性能比較 166
6.3　外部表高級應(yīng)用 168
6.3.1　外部表實現(xiàn)原理 168
6.3.2　可寫外部表 171
6.3.3　HDFS外部表 173
6.3.4　可執(zhí)行外部表 177
6.4　自定義函數(shù)—各個編程接口 179
6.4.1　pl/pgsql 180
6.4.2　C語言接口 182
6.4.3　plpython 185
6.5　Greenplum MapReduce 187
6.6　小結(jié) 193
第7章　Greenplum架構(gòu)介紹 195
7.1　并行和分布式計算 195
7.2　并行數(shù)據(jù)庫 197
7.3　Greenplum架構(gòu)分析 198
7.4　冗余與故障切換 199
7.5　數(shù)據(jù)分布及負(fù)載均衡 200
7.6　跨庫關(guān)聯(lián) 202
7.7　分布式事務(wù) 203
7.8　其他大數(shù)據(jù)分析方案 205
7.9　小結(jié) 208
下篇　管　理　篇
第8章　Greenplum線上環(huán)境部署 210
8.1　服務(wù)器硬件選型 210
8.1.1　CPU 211
8.1.2　內(nèi)存 211
8.1.3　磁盤及硬盤接口 211
8.1.4　網(wǎng)絡(luò) 213
8.2　服務(wù)器系統(tǒng)參數(shù)調(diào)整 213
8.2.1　Solaris參數(shù)修改 214
8.2.2　Linux參數(shù)修改 216
8.2.3　系統(tǒng)參數(shù)及性能驗證 217
8.3　計算節(jié)點分配技巧 221
8.4　數(shù)據(jù)庫參數(shù)介紹 221
8.5　數(shù)據(jù)庫集群基準(zhǔn)測試 225
8.6　小結(jié) 227
第9章　數(shù)據(jù)庫管理 228
9.1　用戶及權(quán)限管理 228
9.1.1　Greenplum數(shù)據(jù)庫邏輯結(jié)構(gòu) 228
9.1.2　Grant語法 229
9.2　登錄權(quán)限控制 231
9.3　資源隊列及并發(fā)控制 232
9.4　Greenplum鎖機(jī)制 236
9.5　數(shù)據(jù)目錄結(jié)構(gòu) 238
9.6　數(shù)據(jù)文件存儲分布 240
9.7　表空間管理 241
9.8　小結(jié) 244
第10章　數(shù)據(jù)庫監(jiān)控及調(diào)優(yōu) 245
10.1　Linux監(jiān)控工具介紹 245
10.1.1　監(jiān)控磁盤 245
10.1.2　監(jiān)控網(wǎng)絡(luò) 246
10.1.3　監(jiān)控CPU 247
10.1.4　監(jiān)控內(nèi)存 247
10.2　安裝Performance Monitor 248
10.3　監(jiān)控Segment是否正常 252
10.4　VACUUM系統(tǒng)表 253
10.5　數(shù)據(jù)傾斜排查 255
10.6　查看子節(jié)點的SQL運行狀態(tài) 258
10.7　自動加分區(qū) 261
10.8　自動賦權(quán) 266
10.9　清理過期數(shù)據(jù) 266
10.10　小結(jié) 267
第11章　解讀Greenplum維護(hù)腳本 268
11.1　添加Greenplum Contrib模塊 268
11.2　啟動和關(guān)閉腳本gpstart和gpstop 270
11.3　初始化系統(tǒng)腳本gpinitsystem 272
11.4　集群操作腳本gpssh和gpscp 274
11.5　數(shù)據(jù)庫狀態(tài)檢查腳本gpstate 275
11.6　數(shù)據(jù)庫升級腳本gpmigrate 276
11.7　參數(shù)修改腳本gpconfig 281
11.8　數(shù)據(jù)庫一致性檢查腳本gpcheckcat 282
11.9　小結(jié) 284
第12章　備份及恢復(fù)策略 286
12.1　Greenplum 3.x 286
12.2　Greenplum 4.x 287
12.3　gp_dump和pg_dump 290
12.4　Greenplum Master備份策略 294
12.4.1　增加Standby Master 295
12.4.2　重新同步Standby Master 296
12.4.3　啟用Standby Master 296
12.5　小結(jié) 297
第13章　數(shù)據(jù)庫擴(kuò)容 299
13.1　遷移計算節(jié)點 299
13.1.1　兩種備份方案 300
13.1.2　數(shù)據(jù)遷移實戰(zhàn) 301
13.2　增加計算節(jié)點 306
13.3　小結(jié) 311
第14章　基于Greenplum的海量數(shù)據(jù)實時分析服務(wù)平臺 312
14.1　需求概述 312
14.2　典型方案 313
14.2.1　NoSQL 313
14.2.2　分布式數(shù)據(jù)庫/集群 314
14.2.3　分表分庫 315
14.2.4　方案優(yōu)劣分析 316
14.3　基于Greenplum的混合架構(gòu) 316
14.3.1　架構(gòu)分析 317
14.3.2　實施要點 317
14.4　小結(jié) 318
第15章　使用Greenplum的常見報錯及小技巧 319
15.1　分析常見報錯 319
15.1.1　找不到類型705對應(yīng)的操作符 319
15.1.2　SQL占用的資源超過了資源隊列限制 321
15.1.3　自定義函數(shù)不能在Segment上執(zhí)行 321
15.1.4　子查詢沒有加別名 322
15.1.5　字段名有歧義 322
15.1.6　字段重名 323
15.1.7　gpfdist錯誤：無法讀取文件 323
15.1.8　事務(wù)被中止 324
15.1.9　網(wǎng)絡(luò)異常錯誤 324
15.1.10　無法刪除表 324
15.1.11　內(nèi)存不足 325
15.1.12　文件名在pg_class中已存在 325
15.1.13　不能對分布鍵執(zhí)行Update 325
15.1.14　網(wǎng)絡(luò)錯誤 326
15.1.15　無法找到數(shù)據(jù)文件 326
15.2　常見問題及解決辦法 326
15.3　常用的一些小技巧 329
15.3.1　顯示SQL執(zhí)行的時間 330
15.3.2　獲取某個schema下所有的表或視圖 330
15.3.3　查找分區(qū)最多的表 330
15.3.4　連接Segment節(jié)點 331
15.3.5　psql默認(rèn)密碼登錄 331
15.3.6　查看數(shù)據(jù)庫啟動時間 331
15.3.7　查看在psql中\(zhòng)d到底查詢了哪些數(shù)據(jù)字典 331
15.4　小結(jié) 332