MySQL使用Replace操作時造成數(shù)據(jù)丟失的問題解決
前言
公司開發(fā)人員在更新數(shù)據(jù)時使用了 replace into 語句,由于使用不當導致了數(shù)據(jù)的大量丟失,到底是如何導致的數(shù)據(jù)丟失本文對此進行分析。
一、問題說明
公司開發(fā)人員在更新數(shù)據(jù)時使用了 replace into 語句,由于使用不當導致了數(shù)據(jù)的大量丟失,到底是如何導致的數(shù)據(jù)丟失現(xiàn)分析如下。
二、問題分析
a. REPLACE 原理
REPLACE INTO 原理的官方解釋為:
REPLACE works exactly like INSERT, except that if an old row in the table has the same value as a new row for a PRIMARY KEY or a UNIQUE index, the old row is deleted before the new row is inserted.
如果新插入行的主鍵或唯一鍵在表中已經存在,則會刪除原有記錄并插入新行;如果在表中不存在,則直接插入
地址:https://dev.mysql.com/doc/refman/5.6/en/replace.html
b. 問題現(xiàn)象
丟失數(shù)據(jù)的表結構如下:
CREATE TABLE `active_items` (
執(zhí)行的replace語句如下(多條):
REPLACE INTO active_items(ad_id,score) VALUES('XXXXXXX', 1800);
通過查詢binlog找到執(zhí)行記錄,部分如下:
### UPDATE `items`.`active_items` ### @21=0 /* TINYINT meta=0 nullable=0 is_null=0 */
操作的ad_id已經存在,因此先刪除后插入,可以看到除了指定的 ad_id,score,其他字段都變?yōu)槟J值,導致原有數(shù)據(jù)丟失(雖然在日志中轉為了update)
c. 對比測試
接下來我進行了如下測試:
- MySQL進行Replace操作時造成數(shù)據(jù)丟失
- 左側使用 REPLACE 語句,右側使用 DELETE + INSERT 語句,最后結果完全相同
- 原主鍵id為1的行被刪除,新插入行主鍵id更新為4,沒有指定內容的字段c則插入了默認值
- 使用 REPLACE 更新了一行數(shù)據(jù),MySQL提示受影響行數(shù)為2行
綜上所述,說明確實是刪除一行,插入一行
三、數(shù)據(jù)恢復
數(shù)據(jù)丟失或數(shù)據(jù)錯誤后,可以有如下幾種方式恢復:
- 業(yè)務方自己寫腳本恢復
- 通過MySQL的binlog查出誤操作sql,生成反向sql進行數(shù)據(jù)恢復(適合sql數(shù)據(jù)量較小的情況)
- 通過歷史備份文件+增量binlog將數(shù)據(jù)狀態(tài)恢復到誤操作的前一刻
四、問題擴展
通過上述分析可以發(fā)現(xiàn),REPLACE 會刪除舊行并插入新行,但是binlog中是以update形式記錄,這樣就帶來另一個問題:
從庫自增長值小于主庫
1. 測試
a. 主從一致:
主庫:
mysql> show create table tG
從庫:
mysql> show create table tG
b. 主庫REPLACE:
主庫:
mysql> replace into t (a,b)values(1,7);
從庫:
mysql> show create table tG
注意此時主從兩個表的AUTO_INCREMENT值已經不同了
c. 模擬從升主,在從庫進行INSERT:
mysql> insert into t (a,b,c)values(4,4,4);
從庫插入時會報錯,主鍵重復,報錯后AUTO_INCREMENT會 +1,因此再次執(zhí)行就可以成功插入
2. 結論
這個問題在平時不會有絲毫影響,但是:
如果主庫平時大量使用 REPLACE 語句,造成從庫 AUTO_INCREMENT 值落后主庫太大,當主從發(fā)生切換后,再次插入數(shù)據(jù)時新的主庫就會出現(xiàn)大量主鍵重復報錯,導致數(shù)據(jù)無法插入。
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。
- MySQL 數(shù)據(jù)丟失排查案例
- MySQL 丟失數(shù)據(jù)的原因及解決
- 解決docker重啟redis,mysql數(shù)據(jù)丟失的問題
- Python3.6-MySql中插入文件路徑,丟失反斜杠的解決方法
- Mysql掛掉后無法重啟報pid文件丟失的解決方法
- 使用SKIP-GRANT-TABLES 解決 MYSQL ROOT密碼丟失
- MySQL下PID文件丟失的相關錯誤的解決方法
- 防止服務器宕機時MySQL數(shù)據(jù)丟失的幾種方案
- MySQL遠程連接丟失問題解決方法(Lost connection to MySQL server)
- 記一次mysql字符串末尾空白丟失的排查
相關文章
mysql8新特性之binlog_expire_logs_seconds淺析
MySQL8中新增了不少新特性,這些特性提高了數(shù)據(jù)庫的安全性和性能,使數(shù)據(jù)庫管理員能夠更靈活地進行賬戶管理工作,下面這篇文章主要給大家介紹了關于mysql8新特性之binlog_expire_logs_seconds的相關資料,需要的朋友可以參考下2023-02-02解析mysql二進制日志處理事務與非事務性語句的區(qū)別
本篇文章是對mysql二進制日志處理事務與非事務性語句的區(qū)別進行了詳細的分析介紹,需要的朋友參考下2013-06-06mysql數(shù)據(jù)庫從服務器移植到個人PC的方法
有時候本地也需要數(shù)據(jù)庫進行測試,那么就需要將服務器的東西移植到本地,如果有服務器控制權限,可以直接復制mysql的目錄(windows下),如果是別的那么就需要下面的方法了。2011-08-08分享MYSQL插入數(shù)據(jù)時忽略重復數(shù)據(jù)的方法
當程序中insert時,已存在的數(shù)據(jù)不插入,不存在的數(shù)據(jù)insert。在網上搜了下,可以使用存儲過程或者是用NOT EXISTS 來判斷是否存在2013-09-09