PostgreSQL數(shù)據(jù)庫(kù)如何定期清理歸檔(pg_wal)日志
運(yùn)行了5個(gè)月的數(shù)據(jù)庫(kù),突然發(fā)現(xiàn)服務(wù)器磁盤快滿了,一看是歸檔日志很大,打算寫個(gè)腳本在不影響數(shù)據(jù)庫(kù)運(yùn)行的情況下定期清理PostgreSQL中的archive日志。
我的postgresql.conf中的歸檔日志配置(不做配置的話默認(rèn)歸檔日志在pg_wal中):
archive_mode = on archive_command = 'cp %p /home/archive/%f'
1. 清理方法
讀取控制文件以確定可以清理的WAL(Write-Ahead Logging)文件范圍??梢允褂胮g_controldata命令來(lái)獲取這些信息。
pg_controldata $PGDATA
將顯示當(dāng)前可以刪除的WAL文件的范圍。
下圖中表示:000000010000003700000007這個(gè)文件之前的文件都可以刪除了
也可以通過(guò)pg_archivecleanup清理(前提是沒(méi)有配置archive_command路徑,使用默認(rèn)路徑pg_log)
執(zhí)行如下命令將會(huì)清除000000010000003700000007之前的所有日志。
pg_archivecleanup -d $PGDATA/pg_wal 000000010000003700000007
PS:我自己是直接用下面的腳本清理,很好用!定時(shí)任務(wù):每周5的凌晨2點(diǎn)執(zhí)行
0 2 * * 5 cd /home/scripts && ./wal_clean.sh >> ./logfile.log 2>&1
2. 定期清理archive日志腳本
#!/bin/bash # 設(shè)置歸檔目錄路徑 archive_directory="/home/archive" TIME="$(date +%Y-%m-%d-%H-%M)" # 執(zhí)行pg_controldata命令并提取Latest checkpoint's REDO WAL file的值 result=$(pg_controldata "$PGDATA" | grep "Latest checkpoint's REDO WAL file") value=$(echo "$result" | awk '{print $6}') # 輸出結(jié)果 echo "時(shí)間:$TIME" echo "Latest checkpoint's REDO WAL file: $value" #查詢15天之前的所有日志,判斷是否存在未完成歸檔日志(一般查詢1天以后的日志都是不存在的,根據(jù)自己需要修改),都可以直接刪除 file=`find $archive_directory -type f -name "000*" -mtime +15 |grep $value` if [ "$file" != "" ]; then echo "存在未完成歸檔的日志,不能刪除" echo $file exit 1 else echo "可以清理已完成歸檔日志操作" #清理15天以前的歸檔日志 find $archive_directory -type f -name "000*" -mtime +15 -exec rm {} \; fi
附:在生產(chǎn)環(huán)境中,數(shù)據(jù)庫(kù)都需要開(kāi)啟歸檔模式,那么PG該如何開(kāi)始?xì)w檔呢?
PG中歸檔配置涉及幾個(gè)參數(shù):
# - Archiving - #是否開(kāi)啟歸檔 #archive_mode = off # enables archiving; off, on, or always # (change requires restart) #歸檔命令,注意 %p %f %% 格式化的含義。 #%p 是被歸檔的redo文件的路徑, #%f 是被歸檔的redo文檔的文件名 #%% 是百分號(hào) #archive_command = '' # command to use to archive a logfile segment # placeholders: %p = path of file to archive # %f = file name only # e.g. 'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f' #超時(shí)強(qiáng)制歸檔,例:如果10分鐘數(shù)據(jù)庫(kù)都沒(méi)有什么活動(dòng),一個(gè)redo文件沒(méi)有寫完,就不會(huì)歸檔, #但是我們希望數(shù)據(jù)庫(kù)至少10分鐘要切換一個(gè)日志,則可以使用archive_timeout #archive_timeout = 0 # force a logfile segment switch after this # number of seconds; 0 disables
1、創(chuàng)建歸檔目錄
[pg12@mambapg ~]$ mkdir -p $PGDATA/archive/
2、配置歸檔相關(guān)參數(shù)postgresql.conf
wal_level = replica archive_mode = on archive_command = 'test ! -f $PGDATA/archive/%f && cp %p $PGDATA/archive/$f'
3、重啟數(shù)據(jù)庫(kù),然后查看歸檔配置是否生效
postgres=# select * from pg_settings where name in ('wal_level','archive_mode','archive_command');
總結(jié)
到此這篇關(guān)于PostgreSQL數(shù)據(jù)庫(kù)如何定期清理歸檔(pg_wal)日志的文章就介紹到這了,更多相關(guān)PostgreSQL定期清理歸檔日志內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
PostgreSQL樹(shù)形結(jié)構(gòu)的遞歸查詢示例
這篇文章主要給大家介紹了關(guān)于PostgreSQL樹(shù)形結(jié)構(gòu)的遞歸查詢的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用PostgreSQL具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05postgresql關(guān)于like%xxx%的優(yōu)化操作
這篇文章主要介紹了postgresql關(guān)于like%xxx%的優(yōu)化操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01解決PostgreSQL數(shù)據(jù)遷移過(guò)程中的數(shù)據(jù)類型不匹配問(wèn)題
在數(shù)據(jù)遷移的過(guò)程中,經(jīng)常會(huì)遇到源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)類型不匹配的情況,對(duì)于 PostgreSQL 數(shù)據(jù)庫(kù)來(lái)說(shuō),處理這種數(shù)據(jù)類型不匹配問(wèn)題需要一些特定的策略和技巧,需要的朋友可以參考下2024-07-07PostgreSQL pg_archivecleanup與清理archivelog的操作
這篇文章主要介紹了PostgreSQL pg_archivecleanup與清理archivelog的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01PostgreSQL實(shí)現(xiàn)批量插入、更新與合并操作的方法
這篇文章主要給大家介紹了關(guān)于PostgreSQL實(shí)現(xiàn)批量插入、更新與合并操作的相關(guān)資料,文中通過(guò)圖文以及示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-02-02sqoop 實(shí)現(xiàn)將postgresql表導(dǎo)入hive表
這篇文章主要介紹了sqoop 實(shí)現(xiàn)將postgresql表導(dǎo)入hive表,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-12-12PostgreSQL 自定義自動(dòng)類型轉(zhuǎn)換操作(CAST)
這篇文章主要介紹了PostgreSQL 自定義自動(dòng)類型轉(zhuǎn)換操作(CAST),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01PostgreSQL截取字符串到指定字符位置詳細(xì)示例
這篇文章主要給大家介紹了關(guān)于PostgreSQL截取字符串到指定字符位置的相關(guān)資料,PostgreSQL數(shù)據(jù)庫(kù)拼接字符串函數(shù)是一種非常重要的函數(shù),使用它可以方便地將不同的字符串進(jìn)行拼接操作,從而得到我們需要的結(jié)果,需要的朋友可以參考下2023-07-07