Mysql中Binlog3種格式的介紹與分析
一.Mysql Binlog格式介紹
Mysql binlog日志有三種格式,分別為Statement,MiXED,以及ROW!
1.Statement:每一條會(huì)修改數(shù)據(jù)的sql都會(huì)記錄在binlog中。
優(yōu)點(diǎn):不需要記錄每一行的變化,減少了binlog日志量,節(jié)約了IO,提高性能。(相比row能節(jié)約多少性能與日志量,這個(gè)取決于應(yīng)用的SQL情況,正常同一條記錄修改或者插入row格式所產(chǎn)生的日志量還小于Statement產(chǎn)生的日志量,但是考慮到如果帶條件的update操作,以及整表刪除,alter表等操作,ROW格式會(huì)產(chǎn)生大量日志,因此在考慮是否使用ROW格式日志時(shí)應(yīng)該跟據(jù)應(yīng)用的實(shí)際情況,其所產(chǎn)生的日志量會(huì)增加多少,以及帶來(lái)的IO性能問(wèn)題。)
缺點(diǎn):由于記錄的只是執(zhí)行語(yǔ)句,為了這些語(yǔ)句能在slave上正確運(yùn)行,因此還必須記錄每條語(yǔ)句在執(zhí)行的時(shí)候的一些相關(guān)信息,以保證所有語(yǔ)句能在slave得到和在master端執(zhí)行時(shí)候相同 的結(jié)果。另外mysql 的復(fù)制,像一些特定函數(shù)功能,slave可與master上要保持一致會(huì)有很多相關(guān)問(wèn)題(如sleep()函數(shù), last_insert_id(),以及user-defined functions(udf)會(huì)出現(xiàn)問(wèn)題).
使用以下函數(shù)的語(yǔ)句也無(wú)法被復(fù)制:
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非啟動(dòng)時(shí)啟用了 --sysdate-is-now 選項(xiàng))
同時(shí)在INSERT ...SELECT 會(huì)產(chǎn)生比 RBR 更多的行級(jí)鎖
2.Row:不記錄sql語(yǔ)句上下文相關(guān)信息,僅保存哪條記錄被修改。
優(yōu)點(diǎn): binlog中可以不記錄執(zhí)行的sql語(yǔ)句的上下文相關(guān)的信息,僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內(nèi)容會(huì)非常清楚的記錄下每一行數(shù)據(jù)修改的細(xì)節(jié)。而且不會(huì)出現(xiàn)某些特定情況下的存儲(chǔ)過(guò)程,或function,以及trigger的調(diào)用和觸發(fā)無(wú)法被正確復(fù)制的問(wèn)題
缺點(diǎn):所有的執(zhí)行的語(yǔ)句當(dāng)記錄到日志中的時(shí)候,都將以每行記錄的修改來(lái)記錄,這樣可能會(huì)產(chǎn)生大量的日志內(nèi)容,比如一條update語(yǔ)句,修改多條記錄,則binlog中每一條修改都會(huì)有記錄,這樣造成binlog日志量會(huì)很大,特別是當(dāng)執(zhí)行alter table之類(lèi)的語(yǔ)句的時(shí)候,由于表結(jié)構(gòu)修改,每條記錄都發(fā)生改變,那么該表每一條記錄都會(huì)記錄到日志中。
3.Mixedlevel: 是以上兩種level的混合使用,一般的語(yǔ)句修改使用statment格式保存binlog,如一些函數(shù),statement無(wú)法完成主從復(fù)制的操作,則采用row格式保存binlog,MySQL會(huì)根據(jù)執(zhí)行的每一條具體的sql語(yǔ)句來(lái)區(qū)分對(duì)待記錄的日志形式,也就是在Statement和Row之間選擇一種.新版本的MySQL中隊(duì)row level模式也被做了優(yōu)化,并不是所有的修改都會(huì)以row level來(lái)記錄,像遇到表結(jié)構(gòu)變更的時(shí)候就會(huì)以statement模式來(lái)記錄。至于update或者delete等修改數(shù)據(jù)的語(yǔ)句,還是會(huì)記錄所有行的變更。
二.Binlog基本配制與格式設(shè)定
1.基本配制
Mysql BInlog日志格式可以通過(guò)mysql的my.cnf文件的屬性binlog_format指定。如以下:
binlog_format = MIXED //binlog日志格式
log_bin =目錄/mysql-bin.log //binlog日志名
expire_logs_days = 7 //binlog過(guò)期清理時(shí)間
max_binlog_size 100m //binlog每個(gè)日志文件大小
2.Binlog日志格式選擇
Mysql默認(rèn)是使用Statement日志格式,推薦使用MIXED.
由于一些特殊使用,可以考慮使用ROWED,如自己通過(guò)binlog日志來(lái)同步數(shù)據(jù)的修改,這樣會(huì)節(jié)省很多相關(guān)操作。對(duì)于binlog數(shù)據(jù)處理會(huì)變得非常輕松,相對(duì)mixed,解析也會(huì)很輕松(當(dāng)然前提是增加的日志量所帶來(lái)的IO開(kāi)銷(xiāo)在容忍的范圍內(nèi)即可)。
3.mysqlbinlog格式選擇
mysql對(duì)于日志格式的選定原則:如果是采用 INSERT,UPDATE,DELETE 等直接操作表的情況,則日志格式根據(jù) binlog_format 的設(shè)定而記錄,如果是采用 GRANT,REVOKE,SET PASSWORD 等管理語(yǔ)句來(lái)做的話,那么無(wú)論如何 都采用 SBR 模式記錄
三.Mysql Binlog日志分析
通過(guò)MysqlBinlog指令查看具體的mysql日志,如下:
/// SET TIMESTAMP=1350355892/*!*/; BEGIN /*!*/; # at 1643330 #121016 10:51:32 server id 1 end_log_pos 1643885 Query thread_id=272571 exec_time=0 error_code=0 SET TIMESTAMP=1350355892/*!*/; Insert into T_test….) /*!*/; # at 1643885 #121016 10:51:32 server id 1 end_log_pos 1643912 Xid = 0 COMMIT/*!*/; ///
1.開(kāi)始事物的時(shí)間:
SET TIMESTAMP=1350355892/*!*/; BEGIN
2.sqlevent起點(diǎn)
#at 1643330 :為事件的起點(diǎn),是以1643330字節(jié)開(kāi)始。
3.sqlevent 發(fā)生的時(shí)間點(diǎn)
#121016 10:51:32:是事件發(fā)生的時(shí)間,
4.serverId
server id 1 :為master 的serverId
5.sqlevent終點(diǎn)及花費(fèi)時(shí)間,錯(cuò)誤碼
end_log_pos 1643885:為事件的終點(diǎn),是以1643885 字節(jié)結(jié)束。
execTime 0: 花費(fèi)的時(shí)間
error_code=0:錯(cuò)誤碼
Xid:事件指示提交的XA事務(wù)
Mixed日志說(shuō)明:
在slave日志同步過(guò)程中,對(duì)于使用now這樣的時(shí)間函數(shù),MIXED日志格式,會(huì)在日志中產(chǎn)生對(duì)應(yīng)的unix_timestamp()*1000的時(shí)間字符串,slave在完成同步時(shí),取用的是sqlEvent發(fā)生的時(shí)間來(lái)保證數(shù)據(jù)的準(zhǔn)確性。另外對(duì)于一些功能性函數(shù)slave能完成相應(yīng)的數(shù)據(jù)同步,而對(duì)于上面指定的一些類(lèi)似于UDF函數(shù),導(dǎo)致Slave無(wú)法知曉的情況,則會(huì)采用ROW格式存儲(chǔ)這些Binlog,以保證產(chǎn)生的Binlog可以供Slave完成數(shù)據(jù)同步。
以上在開(kāi)發(fā)通過(guò)mysql binlog完成數(shù)據(jù)同步的模塊前調(diào)研時(shí)所積累的一點(diǎn)資料,如有不對(duì)的地方請(qǐng)指正!
總結(jié)
到此這篇關(guān)于Mysql中Binlog3種格式的介紹與分析的文章就介紹到這了,更多相關(guān)Mysql中Binlog3種格式內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
在windows上安裝不同(兩個(gè))版本的Mysql數(shù)據(jù)庫(kù)的教程詳解
這篇文章主要介紹了在windows上安裝不同(兩個(gè))版本的Mysql數(shù)據(jù)庫(kù) ,需要的朋友可以參考下2019-04-04mysql父子集查詢(xún)(根據(jù)父級(jí)查詢(xún)所有子集)
某些場(chǎng)景可能需要維護(hù)一些有父子關(guān)系的數(shù)據(jù),本文主要介紹了mysql父子集查詢(xún)(根據(jù)父級(jí)查詢(xún)所有子集),具有一定的參考價(jià)值,感興趣的可以了解一下2024-02-02MySQL中count()和count(1)有何區(qū)別以及哪個(gè)性能最好詳解
count是一個(gè)函數(shù),用來(lái)統(tǒng)計(jì)數(shù)據(jù),但是count函數(shù)傳入的參數(shù)有很多種,比如count(1)、count(*)、count(字段)等,下面這篇文章主要給大家介紹了關(guān)于MySQL中count()和count(1)有何區(qū)別以及哪個(gè)性能最好的相關(guān)資料,需要的朋友可以參考下2022-08-08MySQL基于SSL協(xié)議進(jìn)行主從復(fù)制的詳細(xì)操作教程
這篇文章主要介紹了MySQL基于SSL協(xié)議進(jìn)行主從復(fù)制的詳細(xì)操作教程,示例環(huán)境基于Linux系統(tǒng)以及OpenSSL客戶端,需要的朋友可以參考下2015-12-12MySQL多表查詢(xún)實(shí)例詳解【鏈接查詢(xún)、子查詢(xún)等】
這篇文章主要介紹了MySQL多表查詢(xún),結(jié)合實(shí)例形式詳細(xì)分析了mysql多表查詢(xún)中的鏈接查詢(xún)、子查詢(xún)等相關(guān)操作技巧與使用注意事項(xiàng),需要的朋友可以參考下2019-12-12