快捷導(dǎo)航

一次Mysql?update?sql不當(dāng)引起的生產(chǎn)故障記錄

更新時(shí)間：2022年04月01日 11:35:56 作者：geoCode

這篇文章主要給大家介紹了關(guān)于一次Mysql?update?sql不當(dāng)引起的生產(chǎn)故障的相關(guān)資料,由于update涉及到數(shù)據(jù)的修改，所以很容易推斷，update語(yǔ)句比select語(yǔ)句會(huì)更復(fù)雜一些,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下

故障表現(xiàn)

一方面 ：在阿里云控制臺(tái)云數(shù)據(jù)庫(kù)PolarDB對(duì)應(yīng)的集群管理頁(yè)面上，在診斷與優(yōu)化模塊里面的一鍵診斷會(huì)話管理中，發(fā)現(xiàn)某條update sql 執(zhí)行時(shí)間非常久且非常頻繁；
另一方面：業(yè)務(wù)監(jiān)控系統(tǒng)中開(kāi)始不斷有業(yè)務(wù)執(zhí)行時(shí)間發(fā)出告警信息提示，且告警的業(yè)務(wù)數(shù)據(jù)不斷上升，部分操作影響客戶(hù)使用。

業(yè)務(wù)背景

由于業(yè)務(wù)操作涉及到的業(yè)務(wù)流比較復(fù)雜，對(duì)純技術(shù)的分享來(lái)看，不是重點(diǎn)討論的話，為了更有利于理解問(wèn)題發(fā)生的原因，使用類(lèi)比的方式，把復(fù)雜的業(yè)務(wù)類(lèi)比成如下描述：有數(shù)據(jù)庫(kù)3張表，第一張表t_grandfather （爺表），第二張表為t_father（父表），第三張表t_grandson（子孫表），DDL如下：

CREATE TABLE `t_grandfather ` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `count` int(11) NOT NULL DEFAULT 0 COMMENT '子孫后代數(shù)量',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='老爺表';

CREATE TABLE `t_father ` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `grandfather_id` int(11) NOT NULL COMMENT '老爺表id',
  PRIMARY KEY (`id`),
  KEY `idx_grandfather_id` (`grandfather_id`),
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='老爸表';

CREATE TABLE `t_grandson` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `grandfather_id` int(11) NOT NULL COMMENT '老爺表id',
  PRIMARY KEY (`id`),
  KEY `idx_grandfather_id` (`grandfather_id`),
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='孫子表';

三張表之間的業(yè)務(wù)邏輯關(guān)系為，先生成老爺表，然后這個(gè)老爺取很多老婆（業(yè)務(wù)），會(huì)不斷的生娃，生一個(gè)娃就會(huì)生成一張老爸表，同時(shí)會(huì)更新老爺表的count=count+1，表示新增一個(gè)后代了，老爺?shù)睦掀牛I(yè)務(wù)）在不斷的生娃的時(shí)候，之前的生的娃也會(huì)有老婆，他們的老婆也會(huì)生娃，對(duì)老爺來(lái)說(shuō)，就是它有了孫子（產(chǎn)生新的業(yè)務(wù)數(shù)據(jù)），那有了孫子之后也需要更新老爺表的count=count+1，表示新增一個(gè)后代了，以此類(lèi)推，子子孫孫無(wú)窮盡也（業(yè)務(wù)數(shù)據(jù)不斷生成）如下圖所示:

祖?zhèn)鞔a的邏輯為，只要是t_father表和t_grandson有新增，就去更新t_grandfather。這個(gè)邏輯設(shè)計(jì)上問(wèn)題不大，不過(guò)考慮到孫子表數(shù)據(jù)量很猛的時(shí)候，這里就會(huì)出現(xiàn)一個(gè)非常嚴(yán)重的性能問(wèn)題。以下是業(yè)務(wù)摘取的一部分偽代碼

 /**
 * 處理 father 的業(yè)務(wù)
 */
 public void doFatherBusiness  (){
     //do fatherBusiness baba .... 此處省
     // 插入 t_father 表
    if (fatherMapper.inster(father)){
         //update t_grandfather set count=count+1 where id= #{grandfatherId}
         grandfatherMapper.updateCount(father.getGrandfatherId  ())  ;
     }
}


 /**
 * 處理 grandson 的業(yè)務(wù)
 */
 public void doGrandsonBusiness  (){
     //do grandson baba .... 此處省略
     // 插入 t_grandson 表
     if(grandsonMapper.inster(grandson)){
          //update t_grandfather set count=count+1 where id= #{grandfatherId}
          grandfatherMapper.updateCount(grandson.getGrandfatherId());
     }
}

當(dāng)多個(gè)業(yè)務(wù)（線程）分別調(diào)用上面的方法時(shí)，都會(huì)對(duì)t_grandfather表的更新操作造成巨大的壓力，特別是更新同一個(gè)id的情況下，mysql server內(nèi)部對(duì)鎖的競(jìng)爭(zhēng)非常激烈。最后表現(xiàn)出來(lái)就如前文背景描述的一致。

解決方案

1. 臨時(shí)處理方案：

一方面，在阿里云控制臺(tái)，對(duì)sql進(jìn)行限流，在正常阻塞的會(huì)話，強(qiáng)制kill掉，讓數(shù)據(jù)的線程不阻塞著，釋放資源，另外一方面，在把接收請(qǐng)求的服務(wù)減少節(jié)點(diǎn)數(shù)，目的是減少業(yè)務(wù)數(shù)據(jù)量進(jìn)入；

2. 長(zhǎng)久方案

一方面更改掉上面的業(yè)務(wù)邏輯，插入t_grandson表和t_father表時(shí)，不在去更新t_grandfather表的count字段；另一方面，需要用到count統(tǒng)計(jì)需求時(shí)，全部切換成別的方式；

總結(jié)

到此這篇關(guān)于一次Mysql update sql不當(dāng)引起的生產(chǎn)故障的文章就介紹到這了,更多相關(guān)Mysql update sql生產(chǎn)故障內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: