亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

MySQL5.6升級5.7時出現(xiàn)主從延遲問題排查過程

 更新時間:2020年09月06日 09:42:11   作者:AIOPS_DBA  
這篇文章主要介紹了MySQL5.6升級5.7時出現(xiàn)主從延遲問題排查過程,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

最近在做zabbix的數(shù)據(jù)庫MySQL5.6升級5.7時,出現(xiàn)主從延遲問題,這個問題困擾了很久沒有解決,昨天終于解決了,整理了一下整個排查過程,分享給大家。

環(huán)境說明:

mysql主庫為5.6的版本,有四個從庫,三個為5.6的版本,一個為5.7的版本,所有主從的庫表結(jié)構(gòu)均一致,5.7的從庫出現(xiàn)大量延遲,5.6的沒問題,業(yè)務(wù)為zabbix監(jiān)控,基本全部為insert批量插入操作,每條insert SQL插入數(shù)據(jù)為400-1000行左右。

問題:

MySQL5.7的從庫大量延遲,relaylog落盤正常,應(yīng)用到數(shù)據(jù)庫比較慢,磁盤IO和CPU沒有壓力,sync_binlog為20000或是0沒有區(qū)別,max_allowed_packet=128M,innodb_flush_log_at_trx_commit=0,bulk_insert_buffer_size = 128M,binlog_format=row,sync_relay_log=10000,沒有使用并行復(fù)制,沒有開啟SSL,沒有開啟GDID,沒有開啟半同步。

排查過程:

1:檢查各個核對各個和性能相關(guān)的參數(shù),沒有發(fā)現(xiàn)異常。

2:檢查網(wǎng)卡、硬盤、更換服務(wù)器、數(shù)據(jù)庫服務(wù)器重啟均沒有效果,5.7的延遲依然存在,排除硬件問題。

3:5.7同步主庫5.6的binlog到relaylog很快,正常,但是relaylog在5.7數(shù)據(jù)庫中回放效率極低。

4:對比5.6和5.7從庫的show engine innodb status結(jié)果:

=============5.6===============================
---BUFFER POOL 1
Buffer pool size 655359
Buffer pool size, bytes 10737401856
Free buffers 1019
Database pages 649599
Old database pages 239773
Modified db pages 119309
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages made young 10777670, not young 181119246
13.90 youngs/s, 157.51 non-youngs/s
Pages read 8853516, created 135760152, written 784514803
20.96 reads/s, 58.17 creates/s, 507.02 writes/s
Buffer pool hit rate 1000 / 1000, young-making rate 0 / 1000 not 2 / 1000
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: 649599, unzip_LRU len: 0
I/O sum[209618]:cur[2], unzip sum[0]:cur[0]
=============5.7==============================
---BUFFER POOL 1
Buffer pool size 819100
Buffer pool size, bytes 13420134400
Free buffers 1018
Database pages 722328
Old database pages 266620
Modified db pages 99073
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages made young 37153, not young 795
0.00 youngs/s, 0.00 non-youngs/s
Pages read 149632, created 572696, written 2706369
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
Buffer pool hit rate 1000 / 1000, young-making rate 0 / 1000 not 0 / 1000
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: 722328, unzip_LRU len: 453903
I/O sum[98685]:cur[0], unzip sum[882]:cur[6]
+++++++++++++++++++++++

對比發(fā)現(xiàn)5.7中unzip存在數(shù)值,5.6的沒有,初步懷疑造成延遲的原因和壓縮解壓相關(guān)。

5:使用perf top -p pidof mysqld查看5.7從庫

發(fā)現(xiàn)libz.so.1.2.7 [.] crc32的占比要高于mysqld,在6%左右,這個庫和壓縮解壓相關(guān)。

6:修改innodb_compression_level的等級為0(就是不啟用壓縮,默認為6,范圍為0-9),觀察無效果,延遲依然存在。只是

libz的占比下去了,但libc-2.17.so的占比上去了,比mysqld高,在9%左右。使用pstack查看存在研所解壓的等待的問題。

7:檢查zabbix的歷史表,當時為了節(jié)約磁盤空間,對這些表做了壓縮處理:

CREATE TABLE trends (
itemid bigint(20) unsigned NOT NULL,
clock int(11) NOT NULL DEFAULT '0',
num int(11) NOT NULL DEFAULT '0',
value_min double(16,4) NOT NULL DEFAULT '0.0000',
value_avg double(16,4) NOT NULL DEFAULT '0.0000',
value_max double(16,4) NOT NULL DEFAULT '0.0000',
PRIMARY KEY (itemid,clock),
KEY clock (clock)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=8

懷疑和ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=8這個壓縮參數(shù)相關(guān)。

8:重建所有歷史表,去掉ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=8,,重新同步,延遲逐步降低,恢復(fù)。

疑問:為什么相同的表結(jié)構(gòu),在5.7中會造成主從延遲而5.6沒有?可能是壓縮和解壓在MySQL5.7中向下兼容性問題造成的,沒有深究,但給官方提了一個BUG,讓官方走源碼層面去看看:http://bugs.mysql.com/100702

在生產(chǎn)中請慎用ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=8。和業(yè)內(nèi)幾位專家交流,表示MySQL8.0之前的版本壓縮不太靠譜,8.0的用ZSTD還好一點。

到此這篇關(guān)于MySQL5.6升級5.7時出現(xiàn)主從延遲問題排查過程的文章就介紹到這了,更多相關(guān)MySQL5.6升級5.7主從延遲內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • MySQL表字段設(shè)置默認值(圖文教程及注意細節(jié))

    MySQL表字段設(shè)置默認值(圖文教程及注意細節(jié))

    默認值的設(shè)置很重要,比如在插入的時候一些字段是可以省略的,這會帶來很多的方便,接下來將要介紹MySQL表字段設(shè)置默認值感興趣的你可以千萬不要走開啊,希望本文對你有所幫助
    2013-01-01
  • MySQL服務(wù)無法啟動且服務(wù)沒有報告任何錯誤的解決辦法

    MySQL服務(wù)無法啟動且服務(wù)沒有報告任何錯誤的解決辦法

    在啟動項目時,發(fā)現(xiàn)昨天能夠跑的項目今天跑不了了,一看原來是mysql數(shù)據(jù)庫出現(xiàn)了問題,下面這篇文章主要給大家介紹了關(guān)于MySQL服務(wù)無法啟動且服務(wù)沒有報告任何錯誤的解決辦法,需要的朋友可以參考下
    2023-05-05
  • 日常收集整理常見的mysql sql技巧

    日常收集整理常見的mysql sql技巧

    本篇內(nèi)容是小編日常收集整理常見的mysql sql技巧,對大家學(xué)習(xí)mysql sql技巧相關(guān)內(nèi)容有所幫助,感興趣的朋友一起學(xué)習(xí)吧
    2015-12-12
  • mysql-connector-java和mysql-connector-j的區(qū)別小結(jié)

    mysql-connector-java和mysql-connector-j的區(qū)別小結(jié)

    在Java項目中,引入MySQL數(shù)據(jù)庫通常需通過Maven管理MySQLConnector/J驅(qū)動,最新版本的spring-boot-starter-parent中,舊的mysql-connector-java坐標不再適用,需改用新的com.mysql:mysql-connector-j,下面就來介紹一下區(qū)別,感興趣的可以了解一下
    2024-09-09
  • Mysql主從同步的實現(xiàn)原理

    Mysql主從同步的實現(xiàn)原理

    這篇文章主要介紹了Mysql主從同步的實現(xiàn)原理,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-03-03
  • 在JPA項目啟動時如何新增MySQL字段

    在JPA項目啟動時如何新增MySQL字段

    這篇文章主要介紹了在JPA項目啟動時新增MySQL字段,本來用了JPA,直接實體類加參數(shù)就可以新增字段了,但是架不住垃圾項目在啟動項目時會加載數(shù)據(jù)庫SQL文件去插入數(shù)據(jù),需要一些操作幫助修復(fù),需要的朋友可以參考下
    2024-06-06
  • MySQL IS NULL空值查詢的實現(xiàn)

    MySQL IS NULL空值查詢的實現(xiàn)

    MySQL 提供了?IS NULL?關(guān)鍵字,用來判斷字段的值是否為空值,本文主要介紹了MySQL IS NULL空值查詢的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2024-08-08
  • mysql出現(xiàn)ERROR問題:(2006,?‘MySQL?server?has?gone?away‘)

    mysql出現(xiàn)ERROR問題:(2006,?‘MySQL?server?has?gone?away‘)

    這篇文章主要介紹了mysql出現(xiàn)ERROR問題:(2006,?‘MySQL?server?has?gone?away‘),具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-09-09
  • Mysql通過ibd文件恢復(fù)數(shù)據(jù)的詳細步驟

    Mysql通過ibd文件恢復(fù)數(shù)據(jù)的詳細步驟

    mysql在使用的過程中,難免遇到數(shù)據(jù)庫表誤操作,下面這篇文章主要給大家介紹了關(guān)于Mysql通過ibd文件恢復(fù)數(shù)據(jù)的詳細步驟,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-06-06
  • mysql多版本并發(fā)控制MVCC的實現(xiàn)

    mysql多版本并發(fā)控制MVCC的實現(xiàn)

    這篇文章主要介紹了mysql多版本并發(fā)控制MVCC的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-10-10

最新評論