故障：收到服務器報警，內存使用率超過80%

1.查看

使用dstat和top查看內存使用最高的應用

使用dstat

查到內存占用最高的是java應用，使用2253M內存，但是這臺服務器跑了好幾個java，具體哪個進程使用top看下資源情況

使用top

可以看到java應用整體內存使用率超過了70%，其中pid為16494的進程 一個應用占了28.7的內存

2.定位線程問題

使用ps查看16494的線程情況

命令：ps p 16494 -L -o pcpu,pmem,pid,tid,time,tname,cmd

看到16494這個pid的應用產生了很多線程。

3.查看內存使用的堆棧

使用jstack查看

我們挑選了TID=17417的線程進行分析

在分析前需要將17417這個id轉換為16進制，方便查找信息

[root@localhost ~]# printf "%x\n" 17417
4409

16進制為4409

將pid為16494的應用打印到日志中

[root@localhost ~]# jstack -l 16494 > jstack.log

4.查看內存堆棧信息

[root@localhost ~]# vim jstack.log

在日志信息中查找剛剛轉換的4409

可以看到這個線程狀態(tài)為WAITING

通過查看日志發(fā)現有大量的 waiting on condition

parking to wait for <0x0000000085dce510>

存在大量線程等待被喚醒，占用大量內存

5.代碼優(yōu)化

將相應日志發(fā)送給相應開發(fā)，優(yōu)化線程

補充：分析java線程占用cpu或者內存高的代碼

1、通過top查看占用cpu或者內存高的進程截圖如下【備注輸入大寫P以cpu從大到小排序，大寫M以內存大小排序】

2、通過對應的cpu找到PID也就是進程對應的pid，然后找到java進程106854這個進程id

3、通過命令top -Hp PID 例如top -Hp 106854

就可以列出該進程下的所有線程id

4、通過輸出大寫的P查看線程占用cpu最高的或者通過大寫M查看內存占用最高的

然后找到109391這個線程id

5、使用命令printf “%x\n” 109391 輸出對應的十六進制碼，1ab4f這個碼是為了過濾線程id查到對應的代碼

6、使用命令jstack PID|grep 1ab4f 【備注PID是進程的id，1ab4f是這個進程下的一個線程占用最高的cpu十六進制碼】

7、通過上面的輸出發(fā)現kafka，所以會聯想到，kafka一直監(jiān)聽消息，所以消耗cpu，正?，F象

8、如果出現自己寫的類，說明需要修改代碼邏輯了

以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。

最新評論