PostgreSQL中MVCC 機(jī)制的實(shí)現(xiàn)
PostgreSQL 使用多版本并發(fā)控制(MVCC)作為其核心并發(fā)控制機(jī)制,這是它與許多其他數(shù)據(jù)庫(kù)系統(tǒng)的關(guān)鍵區(qū)別之一。MVCC 允許讀操作不阻塞寫(xiě)操作,寫(xiě)操作也不阻塞讀操作,從而提供高度并發(fā)性。
一 MVCC 基本原理
1.1 MVCC 核心概念
- 多版本:每行數(shù)據(jù)可以有多個(gè)版本同時(shí)存在
- 快照隔離:每個(gè)事務(wù)看到的是數(shù)據(jù)庫(kù)在某個(gè)時(shí)間點(diǎn)的"快照"
- 無(wú)讀鎖:讀操作不需要獲取鎖,不會(huì)阻塞寫(xiě)操作
- 寫(xiě)操作優(yōu)化:寫(xiě)操作創(chuàng)建新版本而非直接修改現(xiàn)有數(shù)據(jù)
1.2 與傳統(tǒng)鎖機(jī)制對(duì)比
特性 | 傳統(tǒng)鎖機(jī)制 | MVCC |
---|---|---|
讀-寫(xiě)沖突 | 讀寫(xiě)互相阻塞 | 讀寫(xiě)不互相阻塞 |
并發(fā)度 | 較低 | 較高 |
實(shí)現(xiàn)復(fù)雜度 | 相對(duì)簡(jiǎn)單 | 較復(fù)雜 |
存儲(chǔ)開(kāi)銷(xiāo) | 較小 | 較大(需要版本存儲(chǔ)) |
二 PostgreSQL MVCC 實(shí)現(xiàn)細(xì)節(jié)
2.1 系統(tǒng)列(System Columns)
PostgreSQL 每行數(shù)據(jù)都包含幾個(gè)隱藏的系統(tǒng)列:
SELECT xmin, xmax, cmin, cmax, ctid, * FROM your_table;
- xmin:創(chuàng)建該行版本的事務(wù)ID(插入事務(wù))
- xmax:刪除/鎖定該行版本的事務(wù)ID(初始為0)
- cmin/cmax:事務(wù)內(nèi)的命令標(biāo)識(shí)符
- ctid:行版本在表中的物理位置
2.2 事務(wù)狀態(tài)與可見(jiàn)性判斷
PostgreSQL 通過(guò)比較事務(wù)ID(xmin, xmax)和事務(wù)快照來(lái)判斷行版本是否可見(jiàn):
- 如果 xmin 未提交或晚于當(dāng)前事務(wù)快照 → 不可見(jiàn)
- 如果 xmax 已提交且早于當(dāng)前事務(wù)快照 → 不可見(jiàn)(已刪除)
- 否則可見(jiàn)
2.3 事務(wù)ID管理
- 事務(wù)ID是32位整數(shù),約40億個(gè)可能值
- PostgreSQL 使用事務(wù)ID環(huán)繞保護(hù)機(jī)制
- 通過(guò)
vacuum
過(guò)程凍結(jié)舊的事務(wù)ID
三 MVCC 具體行為示例
3.1 插入操作
-- 事務(wù)1 BEGIN; INSERT INTO test VALUES (1, 'data'); -- 此時(shí)xmin=當(dāng)前事務(wù)ID, xmax=0 COMMIT;
3.2 更新操作(實(shí)際是刪除+插入)
-- 事務(wù)2 BEGIN; UPDATE test SET value = 'new' WHERE id = 1; -- 原行xmax設(shè)置為事務(wù)2的ID -- 新行xmin=事務(wù)2的ID, xmax=0 COMMIT;
3.3 刪除操作
-- 事務(wù)3 BEGIN; DELETE FROM test WHERE id = 1; -- 行xmax設(shè)置為事務(wù)3的ID COMMIT;
四 MVCC 存儲(chǔ)實(shí)現(xiàn)
4.1 表文件結(jié)構(gòu)
- 主數(shù)據(jù)文件(
oid
)存儲(chǔ)當(dāng)前行版本 - 每個(gè)行版本都包含xmin/xmax等系統(tǒng)字段
- 更新操作不會(huì)原地修改,而是創(chuàng)建新版本
4.2 事務(wù)快照
-- 查看當(dāng)前事務(wù)快照 SELECT pg_current_snapshot(); -- 輸出示例: 100:100: -- 格式為 xmin:xmax:xip_list
4.3 可見(jiàn)性映射(Visibility Map)
- 標(biāo)記哪些數(shù)據(jù)塊只包含對(duì)所有事務(wù)可見(jiàn)的元組
- 加速vacuum過(guò)程
五 MVCC 維護(hù)機(jī)制
5.1 VACUUM 機(jī)制
-- 常規(guī)vacuum(不鎖表) VACUUM [VERBOSE] [ANALYZE] table_name; -- 全量vacuum(需要鎖) VACUUM FULL [VERBOSE] table_name;
VACUUM作用:
- 回收死元組占用的空間
- 凍結(jié)舊的事務(wù)ID防止環(huán)繞
- 更新優(yōu)化器統(tǒng)計(jì)信息
- 更新可見(jiàn)性映射
5.2 自動(dòng)vacuum
-- 查看自動(dòng)vacuum設(shè)置 SELECT name, setting FROM pg_settings WHERE name LIKE 'autovacuum%'; -- 重要參數(shù) autovacuum = on -- 是否啟用 autovacuum_vacuum_threshold = 50 -- 觸發(fā)vacuum的更新/刪除元組閾值 autovacuum_analyze_threshold = 50 -- 觸發(fā)analyze的更新/刪除元組閾值 autovacuum_vacuum_scale_factor = 0.2-- 表大小的縮放因子
六 MVCC 優(yōu)缺點(diǎn)分析
優(yōu)勢(shì)
- 高并發(fā):讀寫(xiě)不互相阻塞
- 讀一致性:事務(wù)看到一致的快照
- 避免鎖競(jìng)爭(zhēng):減少鎖等待時(shí)間
- 回滾高效:不需要專(zhuān)門(mén)的回滾段
劣勢(shì)
- 存儲(chǔ)開(kāi)銷(xiāo):需要保留多個(gè)版本
- 維護(hù)成本:需要定期vacuum
- 更新性能:更新實(shí)質(zhì)是刪除+插入
- 表膨脹:不當(dāng)維護(hù)會(huì)導(dǎo)致空間浪費(fèi)
七 MVCC 優(yōu)化建議
7.1 合理配置autovacuum
-- 對(duì)大表調(diào)整autovacuum參數(shù) ALTER TABLE large_table SET ( autovacuum_vacuum_scale_factor = 0.05, autovacuum_vacuum_threshold = 10000 );
7.2 監(jiān)控表膨脹
-- 查看表膨脹情況 SELECT schemaname, relname, pg_size_pretty(pg_relation_size(relid)) as size, n_dead_tup, n_live_tup FROM pg_stat_user_tables ORDER BY n_dead_tup DESC;
7.3 定期維護(hù)
-- 對(duì)大表定期手動(dòng)vacuum VACUUM (VERBOSE, ANALYZE) large_table; -- 在低峰期執(zhí)行vacuum full VACUUM FULL VERBOSE table_name;
7.4 事務(wù)設(shè)計(jì)優(yōu)化
- 避免長(zhǎng)時(shí)間運(yùn)行的事務(wù)
- 將大事務(wù)拆分為小事務(wù)
- 避免在事務(wù)中執(zhí)行不必要的查詢(xún)
到此這篇關(guān)于PostgreSQL中MVCC 機(jī)制的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)PostgreSQL MVCC機(jī)制 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
postgresql 中的幾個(gè) timeout參數(shù) 用法說(shuō)明
這篇文章主要介紹了postgresql中的幾個(gè)timeout參數(shù)用法說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01Postgresql通過(guò)查詢(xún)進(jìn)行更新的操作
這篇文章主要介紹了Postgresql通過(guò)查詢(xún)進(jìn)行更新的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01PostgreSQL如何查看數(shù)據(jù)庫(kù)及表中數(shù)據(jù)占用空間大小詳解
這篇文章主要介紹了PostgreSQL中用于查看數(shù)據(jù)庫(kù)和表空間大小的函數(shù),并提供了每個(gè)函數(shù)的詳細(xì)說(shuō)明和應(yīng)用場(chǎng)景,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2025-02-02postgresql 實(shí)現(xiàn)replace into功能的代碼
這篇文章主要介紹了postgresql 實(shí)現(xiàn)replace into功能的代碼,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01PostgreSQL實(shí)現(xiàn)一個(gè)通用標(biāo)簽系統(tǒng)
這篇文章主要給大家介紹了關(guān)于利用PostgreSQL實(shí)現(xiàn)一個(gè)通用標(biāo)簽系統(tǒng)的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-01-01postgresql 除法保留小數(shù)位的實(shí)例
這篇文章主要介紹了postgresql 除法保留小數(shù)位的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01PostgreSQL如何根據(jù)字符串的長(zhǎng)度排序
在PostgreSQL數(shù)據(jù)庫(kù)中,可以通過(guò)LENGTH函數(shù)獲取字符串的長(zhǎng)度,并據(jù)此進(jìn)行排序,LENGTH函數(shù)會(huì)計(jì)算并返回字符串的字符數(shù)量,要根據(jù)字符串長(zhǎng)度進(jìn)行升序排序,可以在SQL查詢(xún)中直接使用LENGTH函數(shù),本文介紹PostgreSQL如何根據(jù)字符串的長(zhǎng)度排序,感興趣的朋友一起看看吧2024-11-11PostgreSQL的upsert實(shí)例操作(insert on conflict do)
這篇文章主要介紹了PostgreSQL的upsert實(shí)例操作(insert on conflict do),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01