python編程項目中線上問題排查與解決
文 | 極光
來源:Python 技術「ID: pythonall」
最近開發(fā)中遇到個小問題,因為業(yè)務上的設計存在問題,導致數據庫表總是被鎖,而且是不定期的鎖定,導致服務器運行異常,最后經過排查原因是多線程同時更新同一表中同一條記錄導致問題。今天就來跟大家說說該如何避免這種問題。
問題描述
最近因為公司業(yè)務需要,產品設計了一套業(yè)務系統(tǒng),據說會有很多內部和外部人員使用,拿到系統(tǒng)說明我們研發(fā)部門拼命加班趕時間,經歷了兩個月的后終于把系統(tǒng)上線運行。
剛開始用的人少,并沒有出現什么問題,感覺系統(tǒng)還是很穩(wěn)定,隨著后來用的人越來越多,系統(tǒng)就開始出現一些莫名其妙的問題,其中就有某些業(yè)務信息在更新的時候總是報錯,查日志就發(fā)現是表記錄被鎖定導致更新失敗。
找到錯誤問題后我們就開始一遍遍的翻日志,各種分析查找到底是什么原因導致了表記錄被鎖。最后發(fā)現這個表的狀態(tài)字段,存在多個接口方法同時更新的情況,而且經常是同時操作的。也就是數據庫中存在多個會話同時操作同一表中同一行記錄,從而導致表記錄被鎖。
問題分析
那定位到問題,要如何解決呢?這里我們先了解兩個名詞:
悲觀鎖(Pessimistic Lock):簡單解釋就是很悲觀,每次去拿數據的時候都認為別人會修改,所以每次在修改數據的時候都會上鎖,這樣別人想修改這個數據就會等待一直到它能拿到鎖。
樂觀鎖(Optimistic Lock):這個正好相反,就是很樂觀,每次去修改數據的時候都認為別人不會修改,所以不會上鎖,但是在提交更新的時候會判斷一下在此期間別人有沒有去更新這個數據。樂觀鎖適用于讀多寫少的應用場景,這樣可以提高吞吐量。
通過這兩種方式就能解決問題,不過選哪種比較好,我們來簡單分析下:
- 悲觀鎖 通過 “select …… for update” 實現,就是在更新表前先對這條記錄進行上鎖,然后下面再執(zhí)行更新語句。不過這種方式有些太重,畢竟加鎖還是需要很大時間成本的,不符合業(yè)務的需要,直接pass掉。
- 樂觀鎖 相對就要輕量很多,它的主要實現就是通過在表中多增加一個記錄版本的字段,比如 version 。然后每次查詢記錄要更新時,where 后面都要加上 version=? ,這樣當你查詢拿到 version 后,如果有其他會話更新了這個字段,那這個 version 就會和你現在拿的不一樣,從而會使你這次的更新失效,需要重新獲取最新 version 后再次執(zhí)行 update 語句。
問題解決
好了,經過以上分析,已經有了比較清晰的解決思路,剩下就是碼代碼了:
/** * 樂觀鎖更新 * @param id * @return */ public boolean update(int id){ int cnt = 0; while (cnt == 0) { USER user = query("SELECT * FROM table_user WHERE id = #{id}", id); cnt = update("UPDATE table_user SET version=version + 1, status = 2 WHERE id=#{id} AND version=#{version}", id, user.version()); if(cnt > 0){ // 返回更新成功 return true; } } return false; }
總結
這里只是基于 Mysql 自身特性解決這個問題,當然還有很多其他的方式可以解決,例如通過 Redis 或者 MQ 消息隊列等,如果大家感興趣我們可以以后再介紹。
更多關于python線上問題排查與解決的資料請關注腳本之家其它相關文章!