Mysql 數(shù)據(jù)庫死鎖過程分析(select for update)
近期有一個業(yè)務(wù)需求,多臺機器需要同時從Mysql一個表里查詢數(shù)據(jù)并做后續(xù)業(yè)務(wù)邏輯,為了防止多臺機器同時拿到一樣的數(shù)據(jù),每臺機器需要在獲取時鎖住獲取數(shù)據(jù)的數(shù)據(jù)段,保證多臺機器不拿到相同的數(shù)據(jù)。
我們Mysql的存儲引擎是innodb,支持行鎖。解決同時拿數(shù)據(jù)的方法有很多,為了更加簡單,不增加其他表和服務(wù)的情況下,我們考慮采用select... for update的方式,這樣X鎖鎖住查詢的數(shù)據(jù)段,表里其他數(shù)據(jù)沒有鎖,其他業(yè)務(wù)邏輯還是可以操作。
這樣一臺服務(wù)器比如select .. for update limit 0,30時,其他服務(wù)器執(zhí)行同樣sql語句會自動等待釋放鎖,等待前一臺服務(wù)器鎖釋放后,該臺服務(wù)器就能查詢下一個30條數(shù)據(jù)。如果要求更智能,oracle支持for update skip locked跳過鎖區(qū)域,這樣能不等待馬上查詢沒有被鎖住的下一個30條記錄。
下面說下mysql for update導(dǎo)致的死鎖。
經(jīng)過分析,mysql的innodb存儲引擎實務(wù)鎖雖然是鎖行,但它內(nèi)部是鎖索引的,根據(jù)where條件和select的值是否只有主鍵或非主鍵索引來判斷怎么鎖,比如只有主鍵,則鎖主鍵索引,如果只有非主鍵,則鎖非主鍵索引,如果主鍵非主鍵都有,則內(nèi)部會按照順序鎖。但同樣的select .. for update語句怎么就死鎖了呢?同樣的sql語句查詢條件和結(jié)果順序都一致,按理不會導(dǎo)致一個鎖了主鍵索引,等待鎖非主鍵索引,另外一個鎖了非主鍵索引,等待主鍵索引導(dǎo)致的死鎖。
最后經(jīng)過分析,我們項目里發(fā)現(xiàn)是for update的sql語句,和另外一個update非select數(shù)據(jù)的sql語句導(dǎo)致的死鎖。
比如有60條數(shù)據(jù),select .. for update查詢第31-60條數(shù)據(jù),update在更新1-10條數(shù)據(jù),按照innodb存儲引擎的行鎖原理,應(yīng)該不會導(dǎo)致不同行的鎖導(dǎo)致的互相等待。開始以為是行鎖在數(shù)據(jù)量較大情況下,會鎖數(shù)據(jù)塊。導(dǎo)致一個段的數(shù)據(jù)被鎖住,但經(jīng)過大量數(shù)據(jù)測試,發(fā)現(xiàn)感覺把整個表都鎖住了,但實際不是。
下面舉幾個例子說明:
數(shù)據(jù)從id =400000的數(shù)據(jù)開始,IsSuccess和GetTime字段都為0,現(xiàn)在如果400000數(shù)據(jù)的IsSuccess為1了。執(zhí)行下面兩條sql.
-- 1: set autocommit=0; begin; select * from table1 where getTime < 1 and IsSuccess=0 order by id asc limit 0,30 for update; commit; -- 2: update table1 a set IsSuccess=0 where id =400000;
第一條sql語句先不commit,則第二條sql語句將只能等待,因此第二條sql語句把IsSuccess修改為0,IsSuccess非主鍵索引鎖了值為0的索引數(shù)據(jù),第二條sql語句將無法把數(shù)據(jù)更新到被鎖的行里。
再執(zhí)行下面的sql語句
-- 1: set autocommit=0; begin; select * from table1 where getTime < 1 and IsSuccess=0 order by id asc limit 0,30 for update; commit; -- 2: update table1 a set IsSuccess=2 where id =400000;
這樣第二條sql語句將可以執(zhí)行。因為IsSuccess=2的索引段沒有被鎖。
上面的例子知道了鎖索引段后還比較容易看懂,下面就奇葩一點:
先把id =400000數(shù)據(jù)的GetTime修改為1,IsSuccess=0,然后一次執(zhí)行sql:
-- 1: set autocommit=0; begin; update ctripticketchangeresultdata a set issuccess=1 where id =400000; commit; -- 2: select * from table1 where getTime < 1 and IsSuccess=0 order by id asc limit 0,30 for update;
第1個sql先不commit,按照道理只會鎖40000這行記錄,第二個sql執(zhí)行,按照道理只能查詢從400001記錄的30條記錄,但第二個sql語句會阻塞等待。
原因是第一個sql語句還沒有commit也沒有rollback,因此它先鎖主鍵索引,再鎖IsSuccess的非主鍵索引,第二個sql語句由于where里要判斷IsSuccess字段的值,由于400000這條數(shù)據(jù)以前的IsSuccess是0,現(xiàn)在更新為1還不確定,可能會回滾,因此sql2需要等待確定400000這條數(shù)據(jù)的IsSuccess是否被修改。sql2的sql語句因為判斷了GetTime<1,實際400000這條記錄已經(jīng)不滿足了,但按照鎖索引的原理,所以sql2語句會被阻塞。
因此如果根據(jù)業(yè)務(wù)場景,可以把sql2語句的IsSuccess條件取消掉,并且這里GetTime查詢條件由GetTime<1修改為GetTime=0,這樣即可不阻塞直接查詢出來。
GetTime用范圍查詢導(dǎo)致的鎖影響經(jīng)過分析,還不是間隙鎖的問題,感覺應(yīng)該是用范圍作為條件,所有從第0行開始的所有查找范圍都會被鎖住。 比如這里更新400000會被阻塞,但更新400031不會被阻塞。
我們項目出現(xiàn)死鎖,就是這個原理,一條sql語句先鎖主鍵索引,再鎖非主鍵索引;另外一條sql語句先鎖非主鍵索引,再鎖主鍵索引。雖然兩個sql語句期望鎖的數(shù)據(jù)行不一樣,但兩個sql語句查詢或更新的條件或結(jié)果字段如果有相同列,則可能會導(dǎo)致互相等待對方鎖,2個sql語句即引起了死鎖。
個人總結(jié)一下innodb存儲引擎下的鎖的分析,可能會有問題:
1、更新或查詢for update的時候,會在where條件中開始為每個字段判斷是否有鎖,如果有鎖就會等待,因為如果有鎖,那這個字段的值不確定,只能等待鎖commit或rollback后數(shù)據(jù)確定后再查詢。
2、另外還和order by有關(guān)系,因為可能前面數(shù)據(jù)有鎖,但從后面查詢一個范圍就可以查詢。
3、另外limit也有關(guān)系,比如limit 20,30從第20條記錄取30行數(shù)據(jù),但第一行數(shù)據(jù)如果被鎖,因為不確定回滾還是提交,也會鎖等待。
ps:mysql使用kill命令解決死鎖問題,殺死某條正在執(zhí)行的sql語句
使用mysql運行某些語句時,會因數(shù)據(jù)量太大而導(dǎo)致死鎖,沒有反映。這個時候,就需要kill掉某個正在消耗資源的query語句即可, KILL命令的語法格式如下:
KILL [CONNECTION | QUERY] thread_id
每個與mysqld的連接都在一個獨立的線程里運行,您可以使用SHOW PROCESSLIST語句查看哪些線程正在運行,并使用KILL thread_id語句終止一個線程。
KILL允許自選的CONNECTION或QUERY修改符:KILL CONNECTION與不含修改符的KILL一樣:它會終止與給定的thread_id有關(guān)的連接。KILL QUERY會終止連接當(dāng)前正在執(zhí)行的語句,但是會保持連接的原狀。
如果您擁有PROCESS權(quán)限,則您可以查看所有線程。如果您擁有超級管理員權(quán)限,您可以終止所有線程和語句。否則,您只能查看和終止您自己的線程和語句。您也可以使用mysqladmin processlist和mysqladmin kill命令來檢查和終止線程。
首先登錄mysql,然后使用: show processlist; 查看當(dāng)前mysql中各個線程狀態(tài)。
mysql> show processlist; +------+------+----------------------+----------------+---------+-------+-----------+--------------------- | Id | User | Host | db | Command | Time | State | Info +------+------+----------------------+----------------+---------+-------+-----------+--------------------- | 7028 | root | ucap-devgroup:53396 | platform | Sleep | 19553 | | NULL | 8352 | root | ucap-devgroup:54794 | platform | Sleep | 4245 | | NULL | 8353 | root | ucap-devgroup:54795 | platform | Sleep | 3 | | NULL | 8358 | root | ucap-devgroup:62605 | platform | query | 4156 | updating | update t_shop set |
以上顯示出當(dāng)前正在執(zhí)行的sql語句列表,找到消耗資源最大的那條語句對應(yīng)的id.
然后運行kill命令,命令格式如下:
kill id;
-- 示例:
kill 8358
殺掉即可。
相關(guān)文章
Windows8下mysql 5.6.15 安裝配置方法圖文教程
這篇文章主要為大家詳細介紹了Windows8下mysql 5.6.15 安裝配置方法圖文教程,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-09-09IPv6設(shè)置后如何解決MySQL無法連接localhost的問題
這篇文章主要介紹了IPv6設(shè)置后如何解決MySQL無法連接localhost的問題,需要的朋友可以參考下2016-04-04mysql8.0.20配合binlog2sql的配置和簡單備份恢復(fù)的步驟詳解
這篇文章主要介紹了mysql8.0.20配合binlog2sql的配置和簡單備份恢復(fù)的步驟,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-09-09