python項目運行導致內(nèi)存越來越大的原因詳析
問題描述：
目前遇到的問題是這樣的，爬蟲程序部署到K8S服務器上運行，但是會過幾個小時之后，程序就會被主動殺掉重啟，原因是因為內(nèi)存過載，超過K8S設置的4G。
程序運行現(xiàn)象分析：
在線下進行程序測試時，未讓程序長時間運行（及4-5個小時），程序無異常則直接上測試環(huán)境測試，然后部署上線了運行了。
通過線下觀察，確實程序使用內(nèi)存會因為時間而不斷增加
增長的速度雖然不是很快，但卻是在穩(wěn)定增加，說明程序中存在內(nèi)存使用未被釋放。
嘗試解決：
根據(jù)上網(wǎng)提供的方案，
import gc
gc.collect()
無效，該增加還是在增加，說明不是全局的內(nèi)存使用未被釋放，內(nèi)存回收正常。
通過斷點調(diào)試，發(fā)現(xiàn)，程序在使用代理的時候，內(nèi)存才會增加
程序每次運行時會去獲取一個代理賦值到session的proxies中，程序使用的是多線程，則單位時間內(nèi)會有大量的代理信息會賦值到session中。
通過注釋掉獲取代理的這一步，發(fā)現(xiàn)確實內(nèi)存不在繼續(xù)增加。
原因分析：
Session對象存儲特定用戶會話所需的屬性及配置信息，，存儲在Session對象中的變量將不會丟失，而是在整個用戶會話中一直存在下去。所以隨著時間的推移，session中記錄的proxies信息就會越來越多，最終導致內(nèi)存使用過大，程序被殺。
解決方法：
不使用session進行請求，使用原生requests.get即可。
總結(jié)
到此這篇關于python項目運行導致內(nèi)存越來越大的原因詳析的文章就介紹到這了,更多相關python項目運行內(nèi)存越來越大內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
今天小編就為大家分享一篇關于Tesserocr庫的正確安裝方式，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-10-10
這篇文章主要介紹了Python 切分數(shù)組實例解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-11-11
在Anaconda中如果沒有指定路徑,虛擬環(huán)境會默認安裝在anaconda所安裝的目錄下,這篇文章主要給大家介紹了關于anaconda虛擬環(huán)境默認路徑更改的相關資料,需要的朋友可以參考下2023-10-10
這篇文章主要介紹了Pytorch生成隨機數(shù)Tensor的方法匯總，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
這篇文章主要為大家介紹了python是先運行metaclass還是先有類屬性的問題原理解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-05-05
今天帶大家了解python異常捕獲及標簽過濾,文中有非常詳細的代碼示例,對正在學習python爬蟲的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05
這篇文章主要介紹了Python讀寫文件模式和文件對象方法,結(jié)合實例形式詳細分析了Python文件操作常用技巧與相關注意事項,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python isinstance函數(shù)介紹,本文用實例講解了判斷變量是否是某個指定類型,需要的朋友可以參考下2015-04-04
今天小編就為大家分享一篇python DataFrame 取差集實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
在本篇文章里小編給大家分享的是一篇關于python能否java成為主流語言的相關知識點，有興趣的朋友們參考下。2020-06-06