快捷導(dǎo)航

python項(xiàng)目運(yùn)行導(dǎo)致內(nèi)存越來(lái)越大的原因詳析

更新時(shí)間：2022年11月25日 10:37:08 作者：成都—大數(shù)據(jù)開(kāi)發(fā)工程師—楊洋

最近在跑python程序時(shí),出現(xiàn)占用的內(nèi)存不斷增加的情況,下面這篇文章主要給大家介紹了關(guān)于python項(xiàng)目運(yùn)行導(dǎo)致內(nèi)存越來(lái)越大的原因詳析,本文通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下

問(wèn)題描述：

目前遇到的問(wèn)題是這樣的，爬蟲(chóng)程序部署到K8S服務(wù)器上運(yùn)行，但是會(huì)過(guò)幾個(gè)小時(shí)之后，程序就會(huì)被主動(dòng)殺掉重啟，原因是因?yàn)閮?nèi)存過(guò)載，超過(guò)K8S設(shè)置的4G。

程序運(yùn)行現(xiàn)象分析：

在線下進(jìn)行程序測(cè)試時(shí)，未讓程序長(zhǎng)時(shí)間運(yùn)行（及4-5個(gè)小時(shí)），程序無(wú)異常則直接上測(cè)試環(huán)境測(cè)試，然后部署上線了運(yùn)行了。

通過(guò)線下觀察，確實(shí)程序使用內(nèi)存會(huì)因?yàn)闀r(shí)間而不斷增加

增長(zhǎng)的速度雖然不是很快，但卻是在穩(wěn)定增加，說(shuō)明程序中存在內(nèi)存使用未被釋放。

嘗試解決：

根據(jù)上網(wǎng)提供的方案，

import gc
gc.collect()

無(wú)效，該增加還是在增加，說(shuō)明不是全局的內(nèi)存使用未被釋放，內(nèi)存回收正常。

通過(guò)斷點(diǎn)調(diào)試，發(fā)現(xiàn)，程序在使用代理的時(shí)候，內(nèi)存才會(huì)增加

程序每次運(yùn)行時(shí)會(huì)去獲取一個(gè)代理賦值到session的proxies中，程序使用的是多線程，則單位時(shí)間內(nèi)會(huì)有大量的代理信息會(huì)賦值到session中。

通過(guò)注釋掉獲取代理的這一步，發(fā)現(xiàn)確實(shí)內(nèi)存不在繼續(xù)增加。

原因分析：

Session對(duì)象存儲(chǔ)特定用戶會(huì)話所需的屬性及配置信息，，存儲(chǔ)在Session對(duì)象中的變量將不會(huì)丟失，而是在整個(gè)用戶會(huì)話中一直存在下去。所以隨著時(shí)間的推移，session中記錄的proxies信息就會(huì)越來(lái)越多，最終導(dǎo)致內(nèi)存使用過(guò)大，程序被殺。

解決方法：

不使用session進(jìn)行請(qǐng)求，使用原生requests.get即可。

總結(jié)

到此這篇關(guān)于python項(xiàng)目運(yùn)行導(dǎo)致內(nèi)存越來(lái)越大的原因詳析的文章就介紹到這了,更多相關(guān)python項(xiàng)目運(yùn)行內(nèi)存越來(lái)越大內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: