mysql 卡死 大部分線程長(zhǎng)時(shí)間處于sending data的狀態(tài)
更新時(shí)間:2008年11月28日 17:34:38 作者:
首先說明一下,這是個(gè)無頭的案子,雖然問題貌似解決了,不過到現(xiàn)在我也沒有答案,只是把這個(gè)問題拿出來晾晾
有臺(tái)服務(wù)器,訪問量挺大,每天近250w動(dòng)態(tài)pv,數(shù)據(jù)庫查詢平均每秒近600次
另一臺(tái)服務(wù)器,跑的程序跟這臺(tái)一樣,不過只有每天約40w動(dòng)態(tài)pv
前段時(shí)間連續(xù)卡死過幾次,當(dāng)時(shí)的狀態(tài)是
服務(wù)器沒崩潰,數(shù)據(jù)庫可正常登陸。只是所有的查詢都卡在“sending data”狀態(tài),長(zhǎng)時(shí)間無法執(zhí)行完,這些簡(jiǎn)單的sql語句,有時(shí)候集中在A表上,有時(shí)候集中在B表上,同時(shí)還有一些卡死在locked狀態(tài)或update狀態(tài)
看mysql的說明,sending data狀態(tài)表示兩種情況,一種是mysql已經(jīng)查詢了數(shù)據(jù),正在發(fā)給客戶端;另一種情況是,mysql已經(jīng)知道某些數(shù)據(jù)需要去什么地方讀取,正在從數(shù)據(jù)文件中讀取
mysql官方說,這不是mysql的bug,但是官方也沒說怎么處理......那么,看情況,就應(yīng)該是配置方面的問題了。
首先從sql優(yōu)化的角度來查了查,那些卡死的sql語句,都是簡(jiǎn)單查詢,消耗非常低,索引做的非常好,所以覺得應(yīng)該不是sql語句的問題。而且慢查詢?nèi)罩纠镆矝]有出現(xiàn)慢查詢。
把表都做了優(yōu)化,就是optimize table ,過幾天發(fā)現(xiàn),還是會(huì)出現(xiàn)卡死的情況.....
后來考慮增加并發(fā)性能,增加了key_buffer thread_cache 等一系列的內(nèi)存配置,發(fā)現(xiàn)沒什么作用。情況依舊
再后來,把query_cache減小到默認(rèn)值 16M,把一些不怎么變動(dòng)的數(shù)據(jù),做了靜態(tài)化。驚奇的發(fā)現(xiàn),12天過去了,沒再出過問題......
后來想想,修改query_cache可能對(duì)這個(gè)問題有些幫助,畢竟數(shù)據(jù)更新比較頻繁,query_cache的更新也很頻繁。不過看mysql的狀態(tài),query_cache的命中率還是相當(dāng)高的,差不多75%。
覺得問題可能出在程序上,只是沒查出來。后來靜態(tài)化的那些內(nèi)容,是一些產(chǎn)品的說明文字,一般一個(gè)產(chǎn)品的說明也就三五十個(gè)漢字。
這里出問題的嫌疑比較大,一個(gè)頁面有七八個(gè)產(chǎn)品,加起來可能三五百個(gè)漢字,雖然不多,不過查詢很頻繁,從這個(gè)表上查詢的數(shù)據(jù)量應(yīng)該是很可觀的,mysql會(huì)頻繁的從這個(gè)表拿數(shù)據(jù)。不過,不過有時(shí)候卡死的語句并不是在查詢這個(gè)表......
手頭沒有好使的工具,郁悶。反正問題貌似好了,先放下備案吧,等以后水平高些,再來查。
MySQL很容易進(jìn)程滿而死的一個(gè)重要原因
建站不容易已經(jīng)遠(yuǎn)遠(yuǎn)超過了我的設(shè)想和預(yù)期,除了經(jīng)濟(jì)上還有技術(shù)上的,有些問題不是一般技術(shù)人員能解決。不過在這段時(shí)間里讓我也學(xué)會(huì)了如何思考問題和解決問題,特別是連續(xù)解決了幾個(gè)問題,可以說真不是開發(fā)人員或者別的技術(shù)人員能解決的,對(duì)此自信心也越來越足了!
談到這,必須說下我們的站布衣生活網(wǎng)www.yes81.net,基本配置,LINUX 9.0系統(tǒng),JBOSS42 WEB服務(wù),MYSQL,從五一到現(xiàn)在,運(yùn)行有段時(shí)間了,目前的訪問量是4000IP左右。
記得以前發(fā)生過一個(gè)問題也是檢查了好久都沒解決的,故障一發(fā)生CPU就跑到100%左右,系統(tǒng)沒響應(yīng),MYSQL、JBOSS進(jìn)程死。當(dāng)初是通過對(duì)一些大數(shù)據(jù)表建立索引解決的!這次問題現(xiàn)象和這個(gè)有點(diǎn)象,死的時(shí)候幾乎服務(wù)沒有響應(yīng),通過查看后臺(tái)MYSQL進(jìn)程,居然已經(jīng)超過我設(shè)置的1000個(gè)限制,第1天我把配置改成3000,想想是否跟這個(gè)有關(guān),最近的訪問量增大了。說實(shí)話,我還是不相信并發(fā)1000個(gè)連接,但事實(shí)擺在面前,現(xiàn)在就是1000個(gè)進(jìn)程堵在這!第2天發(fā)現(xiàn)3000也不行了,在進(jìn)程列表中看到基本上很容易就進(jìn)程滿,而且每個(gè)進(jìn)程都在sending data 狀態(tài),查找了2天還是無法解決問題,不論是重新配置啟動(dòng)參數(shù)還是檢查外來攻擊都無法解決,按照一些人的說法,把臨時(shí)緩沖表增大到512M也是沒有任何幫助。象這種的每增加個(gè)連接都幾乎會(huì)卡死,而且是sending data 狀態(tài)!是數(shù)據(jù)無法發(fā)出還是查詢不能完成呢?
帶著這個(gè)問題,跟開發(fā)的溝通,是否存在數(shù)據(jù)死鎖或者沒有提交的問題,造成的查詢鎖死!而且有時(shí)候是正常,但大部分是不正常的死鎖!查了半天,報(bào)告說,程序沒發(fā)現(xiàn)問題,因?yàn)楦鶕?jù)命令已經(jīng)能定位到程序的準(zhǔn)確代碼上了!那么是什么問題呢?
想起以前MS SQLSERVER2000下曾經(jīng)發(fā)生過的數(shù)據(jù)庫損壞的問題,也嘗試了修復(fù)。根據(jù)堵塞命令集中在幾個(gè)重要的表上,其一是餐館信息表(4萬條記錄),用修復(fù)命令都無法修復(fù)!發(fā)現(xiàn)設(shè)置的類型是inoubox ,把類型改成MYISAM 后再修復(fù),修復(fù)也沒報(bào)告什么錯(cuò)誤,但重新啟動(dòng)系統(tǒng)后一切問題就解決了!
另一臺(tái)服務(wù)器,跑的程序跟這臺(tái)一樣,不過只有每天約40w動(dòng)態(tài)pv
前段時(shí)間連續(xù)卡死過幾次,當(dāng)時(shí)的狀態(tài)是
服務(wù)器沒崩潰,數(shù)據(jù)庫可正常登陸。只是所有的查詢都卡在“sending data”狀態(tài),長(zhǎng)時(shí)間無法執(zhí)行完,這些簡(jiǎn)單的sql語句,有時(shí)候集中在A表上,有時(shí)候集中在B表上,同時(shí)還有一些卡死在locked狀態(tài)或update狀態(tài)
看mysql的說明,sending data狀態(tài)表示兩種情況,一種是mysql已經(jīng)查詢了數(shù)據(jù),正在發(fā)給客戶端;另一種情況是,mysql已經(jīng)知道某些數(shù)據(jù)需要去什么地方讀取,正在從數(shù)據(jù)文件中讀取
mysql官方說,這不是mysql的bug,但是官方也沒說怎么處理......那么,看情況,就應(yīng)該是配置方面的問題了。
首先從sql優(yōu)化的角度來查了查,那些卡死的sql語句,都是簡(jiǎn)單查詢,消耗非常低,索引做的非常好,所以覺得應(yīng)該不是sql語句的問題。而且慢查詢?nèi)罩纠镆矝]有出現(xiàn)慢查詢。
把表都做了優(yōu)化,就是optimize table ,過幾天發(fā)現(xiàn),還是會(huì)出現(xiàn)卡死的情況.....
后來考慮增加并發(fā)性能,增加了key_buffer thread_cache 等一系列的內(nèi)存配置,發(fā)現(xiàn)沒什么作用。情況依舊
再后來,把query_cache減小到默認(rèn)值 16M,把一些不怎么變動(dòng)的數(shù)據(jù),做了靜態(tài)化。驚奇的發(fā)現(xiàn),12天過去了,沒再出過問題......
后來想想,修改query_cache可能對(duì)這個(gè)問題有些幫助,畢竟數(shù)據(jù)更新比較頻繁,query_cache的更新也很頻繁。不過看mysql的狀態(tài),query_cache的命中率還是相當(dāng)高的,差不多75%。
覺得問題可能出在程序上,只是沒查出來。后來靜態(tài)化的那些內(nèi)容,是一些產(chǎn)品的說明文字,一般一個(gè)產(chǎn)品的說明也就三五十個(gè)漢字。
這里出問題的嫌疑比較大,一個(gè)頁面有七八個(gè)產(chǎn)品,加起來可能三五百個(gè)漢字,雖然不多,不過查詢很頻繁,從這個(gè)表上查詢的數(shù)據(jù)量應(yīng)該是很可觀的,mysql會(huì)頻繁的從這個(gè)表拿數(shù)據(jù)。不過,不過有時(shí)候卡死的語句并不是在查詢這個(gè)表......
手頭沒有好使的工具,郁悶。反正問題貌似好了,先放下備案吧,等以后水平高些,再來查。
MySQL很容易進(jìn)程滿而死的一個(gè)重要原因
建站不容易已經(jīng)遠(yuǎn)遠(yuǎn)超過了我的設(shè)想和預(yù)期,除了經(jīng)濟(jì)上還有技術(shù)上的,有些問題不是一般技術(shù)人員能解決。不過在這段時(shí)間里讓我也學(xué)會(huì)了如何思考問題和解決問題,特別是連續(xù)解決了幾個(gè)問題,可以說真不是開發(fā)人員或者別的技術(shù)人員能解決的,對(duì)此自信心也越來越足了!
談到這,必須說下我們的站布衣生活網(wǎng)www.yes81.net,基本配置,LINUX 9.0系統(tǒng),JBOSS42 WEB服務(wù),MYSQL,從五一到現(xiàn)在,運(yùn)行有段時(shí)間了,目前的訪問量是4000IP左右。
記得以前發(fā)生過一個(gè)問題也是檢查了好久都沒解決的,故障一發(fā)生CPU就跑到100%左右,系統(tǒng)沒響應(yīng),MYSQL、JBOSS進(jìn)程死。當(dāng)初是通過對(duì)一些大數(shù)據(jù)表建立索引解決的!這次問題現(xiàn)象和這個(gè)有點(diǎn)象,死的時(shí)候幾乎服務(wù)沒有響應(yīng),通過查看后臺(tái)MYSQL進(jìn)程,居然已經(jīng)超過我設(shè)置的1000個(gè)限制,第1天我把配置改成3000,想想是否跟這個(gè)有關(guān),最近的訪問量增大了。說實(shí)話,我還是不相信并發(fā)1000個(gè)連接,但事實(shí)擺在面前,現(xiàn)在就是1000個(gè)進(jìn)程堵在這!第2天發(fā)現(xiàn)3000也不行了,在進(jìn)程列表中看到基本上很容易就進(jìn)程滿,而且每個(gè)進(jìn)程都在sending data 狀態(tài),查找了2天還是無法解決問題,不論是重新配置啟動(dòng)參數(shù)還是檢查外來攻擊都無法解決,按照一些人的說法,把臨時(shí)緩沖表增大到512M也是沒有任何幫助。象這種的每增加個(gè)連接都幾乎會(huì)卡死,而且是sending data 狀態(tài)!是數(shù)據(jù)無法發(fā)出還是查詢不能完成呢?
帶著這個(gè)問題,跟開發(fā)的溝通,是否存在數(shù)據(jù)死鎖或者沒有提交的問題,造成的查詢鎖死!而且有時(shí)候是正常,但大部分是不正常的死鎖!查了半天,報(bào)告說,程序沒發(fā)現(xiàn)問題,因?yàn)楦鶕?jù)命令已經(jīng)能定位到程序的準(zhǔn)確代碼上了!那么是什么問題呢?
想起以前MS SQLSERVER2000下曾經(jīng)發(fā)生過的數(shù)據(jù)庫損壞的問題,也嘗試了修復(fù)。根據(jù)堵塞命令集中在幾個(gè)重要的表上,其一是餐館信息表(4萬條記錄),用修復(fù)命令都無法修復(fù)!發(fā)現(xiàn)設(shè)置的類型是inoubox ,把類型改成MYISAM 后再修復(fù),修復(fù)也沒報(bào)告什么錯(cuò)誤,但重新啟動(dòng)系統(tǒng)后一切問題就解決了!

相關(guān)文章
通過sysbench工具實(shí)現(xiàn)MySQL數(shù)據(jù)庫的性能測(cè)試的方法
sysbench是一款壓力測(cè)試工具,可以測(cè)試系統(tǒng)的硬件性能,也可以用來對(duì)數(shù)據(jù)庫進(jìn)行基準(zhǔn)測(cè)試。這篇文章主要介紹了通過sysbench工具實(shí)現(xiàn)MySQL數(shù)據(jù)庫的性能測(cè)試 ,需要的朋友可以參考下2019-07-07mysql count詳解及函數(shù)實(shí)例代碼
這篇文章主要介紹了mysql count詳解及函數(shù)實(shí)例代碼的相關(guān)資料,需要的朋友可以參考下2017-01-01MySQL數(shù)據(jù)庫如何給表設(shè)置約束詳解
約束主要完成對(duì)數(shù)據(jù)的檢驗(yàn),保證數(shù)據(jù)庫數(shù)據(jù)的完整性;如果有相互依賴數(shù)據(jù),保證該數(shù)據(jù)不被刪除,本篇文章教你如何給表設(shè)置約束2022-03-03Windows系統(tǒng)下MySQL8.0.21安裝教程(圖文詳解)
這篇文章主要介紹了Windows系統(tǒng)下MySQL8.0.21安裝教程,本文通過圖文并茂的形式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-08-08MySQL 創(chuàng)建多對(duì)多和一對(duì)一關(guān)系方法
這篇文章主要介紹了MySQL 創(chuàng)建多對(duì)多和一對(duì)一關(guān)系方法,文章舉例詳細(xì)說明具有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-03-03Navicat連接MySQL時(shí)報(bào)10060、1045錯(cuò)誤及my.ini位置問題
這篇文章主要介紹了Navicat連接MySQL的10060及1045報(bào)錯(cuò),my.ini位置,本文通過圖文并茂的形式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-03-03