編寫腳本令Xtrabackup對(duì)MySQL數(shù)據(jù)進(jìn)行備份的教程
更新時(shí)間：2015年12月09日 16:54:45 作者：workming
這篇文章主要介紹了編寫腳本令Xtrabackup對(duì)MySQL數(shù)據(jù)進(jìn)行備份的教程,示例環(huán)境基于CentOS系統(tǒng),需要的朋友可以參考下
Xtrabackup備份恢復(fù)原理
備份innodb表時(shí)，xtrabackup若干個(gè)線程拷貝獨(dú)立表空間的.ibd文件，并不停監(jiān)視此過程中redo log的變化，添加到自己的事務(wù)日志文件（xtrabackup_logfile）中。在此過程中，發(fā)生的物理寫操作越多，xtrabackup_logfile越大。在拷貝完成后的第一個(gè)prepare階段，xtrabackup采用類似于innodb崩潰恢復(fù)的方法，把數(shù)據(jù)文件恢復(fù)到與日志文件一致的狀態(tài)，并把未提交的事務(wù)回滾。如果同時(shí)需要備份myisam表以及innodb表結(jié)構(gòu)等文件，那么就需要用flush tables with lock來獲得全局鎖，開始拷貝這些不再變化的文件，同時(shí)獲得binlog位置，拷貝結(jié)束后釋放鎖，也停止對(duì)redo log的監(jiān)視。
很多同學(xué)對(duì)上面的理解有混淆，以為拷貝.ibd文件就跟操作系統(tǒng)拷貝文件一樣。其實(shí)這里涉及到fractured page的問題，他應(yīng)該會(huì)重新讀?。☉?yīng)該也有重試次數(shù)，超過后備份不成功）。
其實(shí)這個(gè)原理很簡(jiǎn)單，了解下doublewrite就可以理解了“本段摘錄自《MySQL技術(shù)內(nèi)幕：InnoDB存儲(chǔ)引擎》”：
如果說插入緩沖帶給InnoDB存儲(chǔ)引擎的是性能，那么兩次寫帶給InnoDB存儲(chǔ)引擎的是數(shù)據(jù)的可靠性。當(dāng)數(shù)據(jù)庫(kù)宕機(jī)時(shí)，可能發(fā)生數(shù)據(jù)庫(kù)正在寫一個(gè)頁(yè)面，而這個(gè)頁(yè)只寫了一部分（比如16K的頁(yè)，只寫前4K的頁(yè)）的情況，我們稱之為部分寫失效（partial page write）。在InnoDB存儲(chǔ)引擎未使用double write技術(shù)前，曾出現(xiàn)過因?yàn)椴糠謱懯Ф鴮?dǎo)致數(shù)據(jù)丟失的情況。
有人也許會(huì)想，如果發(fā)生寫失效，可以通過重做日志進(jìn)行恢復(fù)。這是一個(gè)辦法。但是必須清楚的是，重做日志中記錄的是對(duì)頁(yè)的物理操作，如偏移量800，寫“aaaa”記錄。如果這個(gè)頁(yè)本身已經(jīng)損壞，再對(duì)其進(jìn)行重做是沒有意義的。這就是說，在應(yīng)用（apply）重做日志前，我們需要一個(gè)頁(yè)的副本，當(dāng)寫入失效發(fā)生時(shí)，先通過頁(yè)的副本來還原該頁(yè)，再進(jìn)行重做，這就是doublewrite。
一、下載和安裝
XtraBackup現(xiàn)在最新版本為2.1.5，官方也提供了2.0的版本可供下載，官方鏈接地址：http://www.percona.com/software/percona-xtrabackup；可以下載源碼編譯安裝，也可以下載適合的RPM包或使用yum進(jìn)行安裝。由于沒有需要特殊定制的，因此建議直接使用RPM安裝即可。
安裝方法一：
下載RPM安裝包：
wget http://www.percona.com/downloads/XtraBackup/LATEST/RPM/rhel6/x86_64/percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm
安裝依賴：
[root@localhost ~]# yum install -y perl-DBD-MySQL perl-DBI perl-Time-HiRes libaio*
安裝：
[root@localhost ~]# rpm -ivh percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm
Preparing... ########################################### [100%] 1:percona-xtrabackup ########################################### [100%]
安裝方法二：
安裝percona源：
[root@localhost ~]# rpm -Uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm
使用yum安裝percona-xtrabackup：
[root@localhost ~]# yum -y install percona-xtrabackup
查看安裝結(jié)果：
[root@localhost ~]# rpm -qa |grep xtrabackup
percona-xtrabackup-2.1.5-680.rhel6.x86_64
[root@localhost ~]# rpm -ql percona-xtrabackup-2.1.5-680.rhel6.x86_64
/usr/bin/innobackupex /usr/bin/innobackupex-1.5.1 /usr/bin/xbcrypt /usr/bin/xbstream /usr/bin/xtrabackup /usr/bin/xtrabackup_55 /usr/bin/xtrabackup_56 /usr/share/doc/percona-xtrabackup-2.1.5 /usr/share/doc/percona-xtrabackup-2.1.5/COPYING
Xtrabackup中主要包含兩個(gè)工具：
xtrabackup：是用于熱備份innodb, xtradb表中數(shù)據(jù)的工具，不能備份其他類型的表，也不能備份數(shù)據(jù)表結(jié)構(gòu)；
innobackupex：是將xtrabackup進(jìn)行封裝的perl腳本，提供了備份myisam表的能力。
二、備份腳本
#!/bin/sh
#===================================================================================================
## 備份工具：
## percona-xtrabackup-2.2.6
##
## 備份策略：
## (1)、每天凌晨04:20點(diǎn)進(jìn)行全量備份一次；
## (2)、每隔1小時(shí)增量備份一次；
##
#===================================================================================================
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin
## DB備份基路徑
BACKUP_BASE_DIR="/data/mysql_backup"
## 增量備份時(shí)，用到的基準(zhǔn)目錄列表文件
## 內(nèi)容格式：基準(zhǔn)目錄|本次備份目錄|備份類型【full|inc】
INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"
## 備份工具路徑
XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"
## MySQL配置路徑
MYSQL_CNF_PATH="/etc/my.cnf"
## 線程數(shù)
THREAD_CNT=6
#===================================================================================================
function print_help_info()
{
echo "--------------------------------------------------------------"
echo "Usage: $0 full | inc | help"
echo "--------------------------------------------------------------"
echo ""
exit 1
}
[[ $# -lt 1 ]] && print_help_info
[[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}
## xtrabackup基礎(chǔ)套件不存在時(shí)，進(jìn)行自動(dòng)下載安裝
if [[ ! -e ${XTRABACKUP_PATH} ]]; then
cd /usr/local
wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz
tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz
mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6
rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup
for FNAME in `ls -1t /usr/local/xtrabackup/bin`
do
rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME}
done
fi
## 只允許一個(gè)副本運(yùn)行，以避免全量備份與增量備份出現(xiàn)交叉，發(fā)生數(shù)據(jù)錯(cuò)亂的可能性
##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1
## 目錄名默認(rèn)精確到分鐘，為避免意外情況，導(dǎo)致備份任務(wù)失敗，可以精確到秒
CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`
[[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S`
#===================================================================================================
## 全量備份
if [[ "$1" == "full" ]]; then
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
## 增量備份
elif [[ "$1" == "inc" ]]; then
## 基準(zhǔn)目錄列表文件不存在或者為空的情況，需要做一次全量備份
if [[ ! -f ${INC_BASE_LIST} || `sed '/^$/d' ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
## 不存在任何目錄的情況，需要做一次全量備份，以避免增量備份失敗
elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
## 在上一次備份的基礎(chǔ)上，進(jìn)行增量備份
else
PREV_BACKUP_DIR=`sed '/^$/d' ${INC_BASE_LIST} | tail -1 | awk -F '|' '{print $2}'`
## 上次的備份目錄不存在或者目錄為空的情況，以避免人為刪除的可能性【針對(duì)部分惡意刪除的情況，目前還沒有較好的檢查方法】
if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
else
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}
echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}
fi
fi
elif [[ "$1" == "help" ]]; then
print_help_info
else
print_help_info
fi
## 刪除2周前的數(shù)據(jù)備份
rm -rf ${BACKUP_BASE_DIR}/`date -d '14 days ago' +'%F'`_*
sed -i "/`date -d '14 days ago' +'%F'`/d" ${INC_BASE_LIST}
#===================================================================================================
##The End
####################################################################################################
## 需要添加的crontab信息：
## (1)、全量備份
## 20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1
##
## (2)、增量備份
## 00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1
##
####################################################################################################
####################################################################################################
## DB數(shù)據(jù)恢復(fù)步驟：
## (1)、應(yīng)用基準(zhǔn)
## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full
##
## (2)、應(yīng)用第一個(gè)增量備份
## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one
##
## (3)、應(yīng)用第二個(gè)增量備份
## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two
##
## (4)、再次應(yīng)用基準(zhǔn)
## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full
##
## (5)、恢復(fù)
## innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full
####################################################################################################
三、效果展示
您可能感興趣的文章:
- 安裝使用Percona XtraBackup來備份恢復(fù)MySQL的教程
- MySQL中使用innobackupex、xtrabackup進(jìn)行大數(shù)據(jù)的備份和還原教程
- 利用Xtrabackup工具備份及恢復(fù)(MySQL DBA的必備工具)
- mysql中xtrabackup全量備份/增量備份及恢復(fù)
- mysql xtrabackup 備份恢復(fù)實(shí)現(xiàn)分享
- MySQL數(shù)據(jù)xtrabackup物理備份的方式
- xtrabackup備份還原MySQL數(shù)據(jù)庫(kù)
- MySQL xtrabackup 物理備份原理解析
- 使用xtrabackup實(shí)現(xiàn)mysql備份
- MySQL使用Xtrabackup備份流程詳解
- MySQL物理備份之Percona XtraBackup的實(shí)現(xiàn)示例
相關(guān)文章
MySQL對(duì)window函數(shù)執(zhí)行sum函數(shù)可能出現(xiàn)的一個(gè)Bug
這篇文章主要給大家介紹了關(guān)于MySQL對(duì)window函數(shù)執(zhí)行sum函數(shù)可能出現(xiàn)的一個(gè)Bug，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者使用MySQL具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
CentOS系統(tǒng)下如何設(shè)置mysql每天自動(dòng)備份
備份是容災(zāi)的基礎(chǔ)，是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，而將全部或部分?jǐn)?shù)據(jù)集合從應(yīng)用主機(jī)的硬盤或陣列復(fù)制到其它的存儲(chǔ)介質(zhì)的過程。本文將詳細(xì)介紹在CentOS系統(tǒng)下如何設(shè)置mysql每天自動(dòng)備份，有需要的朋友們下面來一起看看吧。2016-10-10
mysql中如何判斷當(dāng)前是字符 mysql判斷字段中有無漢字
這篇文章主要介紹了mysql如何判斷字段中有無漢字的方法,使用length與char_length兩個(gè)函數(shù)就可以完成2014-01-01
Python MySQL進(jìn)行數(shù)據(jù)庫(kù)表變更和查詢
這篇文章主要介紹了Python MySQL進(jìn)行數(shù)據(jù)庫(kù)表變更和查詢的相關(guān)資料,需要的朋友可以參考下2017-05-05
MySQL 數(shù)據(jù)庫(kù) 索引和事務(wù)
這篇文章主要介紹了MySQL 數(shù)據(jù)庫(kù) 索引和事務(wù)，索引是為了加速對(duì)表中數(shù)據(jù)行的檢索而創(chuàng)建的一種分散的存儲(chǔ)結(jié)；事物是屬于計(jì)算機(jī)中一個(gè)很廣泛的概念，一般是指要做的或所做的事情，下面我們就一起進(jìn)入文章了解具體內(nèi)容吧2021-12-12
這篇文章主要介紹了MySQL安裝后沒有my.ini配置文件的解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
給大家詳細(xì)分析了MySQL慢日志線上問題分析及功能優(yōu)化方案，需要的朋友跟著學(xué)習(xí)下吧。2017-12-12
這篇文章主要介紹了Mysql如何解決死鎖問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-04-04
ubuntu?22.04安裝mysql?8.0步驟與避坑指南
MySQL最流行的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng),在WEB應(yīng)用方面MySQL是最好的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)應(yīng)用軟件之一,這篇文章主要給大家介紹了關(guān)于ubuntu?22.04安裝mysql?8.0步驟與避坑指南的相關(guān)資料,需要的朋友可以參考下2023-12-12
PhpMyAdmin 配置文件現(xiàn)在需要一個(gè)短語(yǔ)密碼的解決方法
本文主要介紹PhpMyAdmin 配置文件現(xiàn)在需要一個(gè)短語(yǔ)密碼的解決方法，比較實(shí)用，希望能給大家做一個(gè)參考。2016-06-06