Python中使用MELIAE分析程序內(nèi)存占用實(shí)例
寫的dht協(xié)議搜索的程序，這幾天優(yōu)化了一下發(fā)現(xiàn)速度確實(shí)快了好多。但是出現(xiàn)了一個新的問題，內(nèi)存直接飆升，我開了十個爬蟲占用內(nèi)存800m。開始我以為是節(jié)點(diǎn)太多了，找了幾個小問題修改一下，發(fā)現(xiàn)沒用。后來就到網(wǎng)上查找python內(nèi)存分析的工具，查了一點(diǎn)資料發(fā)現(xiàn)python有個meliae庫操作非常方便，就使用分析了一下，發(fā)現(xiàn)不是節(jié)點(diǎn)太多的原因0 0,是保存發(fā)送的t_id，用來標(biāo)示返回的消息是那個發(fā)出的一個字典過大了。
從分析的結(jié)果非常容易的定位了某個對象的數(shù)量和大小，非常容易分析。我開始以為是因?yàn)楹枚喟l(fā)送查詢信息以后，對面沒返回造成這個字典里的元素沒有釋放造成的，我就用過期時間判斷了一下，進(jìn)行過期刪除。發(fā)現(xiàn)是小了，但是不是非常顯著，好像少了幾十不到100M。后來又減少了查找一個隨機(jī)hash的時間，以前是1分鐘查一次，我改成了就第一次查！，發(fā)現(xiàn)沒減少0 0.不知道是啥的原因。應(yīng)該就是查找hash，詢問節(jié)點(diǎn)，然后返回然后詢問里邊的節(jié)點(diǎn)，最后數(shù)量越來越多，但是我不明白的是，怎么會這么多運(yùn)行一分鐘就有60萬條。也就是說當(dāng)時內(nèi)存沒釋放的對象就有這么多。達(dá)到這個內(nèi)存占用后，基本就不再變化，有很小很慢的提升，因?yàn)檫€開的其他程序，不確定是不是這些程序其他對象的增加造成的。等分階段dump測試一下。
安裝直接pip install meliae 就ok了，我看好久沒更新的項(xiàng)目了，不知道還有沒有好的替代品不過用著還不錯。
將內(nèi)存dump到文件
from meliae import scanner
scanner.dump_all_objects('/tmp/dump%s.txt' % time.time())
分析文件：
from meliae import loader
#加載dump文件
om = loader.load('/opt/log/dump.txt')
#計算各Objects的引用關(guān)系
om.compute_parents()
#去掉各對象Instance的_dict_屬性
om.collapse_instance_dicts()
#分析內(nèi)存占用情況
om.summarize()
字段意義如下：
Index : 行索引號
Count : 該類型的對象總數(shù)
%(Count) : 該類型的對象總數(shù) 占 所有類型的對象總數(shù) 的百分比
Size : 該類型的對象總字節(jié)數(shù)
%(Size) : 該類型的對象總字節(jié)數(shù) 占 所有類型的對象總字節(jié)數(shù) 的百分比
Cum : 累積行索引后的%(Size)
Max : 該類型的對象中，最大者的字節(jié)數(shù)
Kind : 類型
分析某個對象，找出它的引用關(guān)系
#得到所有的POP3ClientProtocol對象
p = om.get_all('POP3ClientProtocol')
#查看第一個對象
p[0]
#可以查看該對象的所有引用
p[0].c
#查看誰引用了這個對象
p[0].p
- python 基本數(shù)據(jù)類型占用內(nèi)存空間大小的實(shí)例
- python檢測空間儲存剩余大小和指定文件夾內(nèi)存占用的實(shí)例
- Python小工具之消耗系統(tǒng)指定大小內(nèi)存的方法
- Python中查看變量的類型內(nèi)存地址所占字節(jié)的大小
- 10種檢測Python程序運(yùn)行時間、CPU和內(nèi)存占用的方法
- 淺談Python 對象內(nèi)存占用
- python清除函數(shù)占用的內(nèi)存方法
- python中使用psutil查看內(nèi)存占用的情況
- 有關(guān)wxpython pyqt內(nèi)存占用問題分析
- Python實(shí)現(xiàn)計算對象的內(nèi)存大小示例
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于Python就將所有的英文單詞首字母變成大寫的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
這篇文章主要介紹了Python循環(huán)作用域與閉包，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
這篇文章主要介紹了python常用程序算法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
這篇文章主要介紹了Opencv對象追蹤的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
python實(shí)現(xiàn)整數(shù)序列求和
這篇文章主要介紹了python實(shí)現(xiàn)整數(shù)序列求和，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-07-07
Python 實(shí)現(xiàn)鍵盤鼠標(biāo)按鍵模擬
這篇文章主要介紹了Python 實(shí)現(xiàn)鍵盤按鍵模擬的方法，幫助大家提高辦公效率，感興趣的朋友可以了解下2020-11-11
利用Django內(nèi)置的認(rèn)證視圖實(shí)現(xiàn)用戶密碼重置功能詳解
這篇文章主要給大家介紹了關(guān)于利用Django內(nèi)置的認(rèn)證視圖實(shí)現(xiàn)用戶密碼重置功能的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-11-11
高質(zhì)量Python代碼編寫的5個優(yōu)化技巧
這篇文章主要為大家詳細(xì)介紹了編寫高質(zhì)量Python代碼的5個優(yōu)化技巧，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-11-11
Python實(shí)現(xiàn)日志實(shí)時監(jiān)測的示例詳解
觀察者模式：是一種行為型設(shè)計模式。主要關(guān)注的是對象的責(zé)任，允許你定義一種訂閱機(jī)制，可在對象事件發(fā)生時通知多個"觀察"該對象的其他對象。本文將利用觀察者模式實(shí)現(xiàn)日志實(shí)時監(jiān)測，需要的可以參考一下2022-04-04
這篇文章主要為大家詳細(xì)介紹了python3.6數(shù)獨(dú)問題的解決，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-01-01