總結(jié)python 三種常見的內(nèi)存泄漏場(chǎng)景

更新時(shí)間：2020年11月20日 09:51:54 作者：蔣樂興

這篇文章主要介紹了總結(jié)python 三種常見的內(nèi)存泄漏場(chǎng)景，幫助大家更好的理解和使用python，感興趣的朋友可以了解下

概要

不要以為 Python 有自動(dòng)垃圾回收就不會(huì)內(nèi)存泄漏，本著它有“垃圾回收”我有“垃圾代碼”的精神，現(xiàn)在總結(jié)一下三種常見的內(nèi)存泄漏場(chǎng)景。

無(wú)窮大導(dǎo)致內(nèi)存泄漏

如果把內(nèi)存泄漏定義成只申請(qǐng)不釋放，那么借著 Python 中整數(shù)可以無(wú)窮大的這個(gè)特點(diǎn)，我們一行代碼就可以完成內(nèi)存泄漏了。

i = 1024 ** 1024 ** 1024

循環(huán)引用導(dǎo)致內(nèi)存泄漏

引用記數(shù)器是 Python 垃圾回收機(jī)制的基礎(chǔ)，如果一個(gè)對(duì)象的引用數(shù)量不為 0 那么是不會(huì)被垃圾回收的，我們可以通過(guò) sys.getrefcount 來(lái)得到給定對(duì)象的引用數(shù)量。

In [1]: import sys                               

In [2]: a = {'name':'tom','age':16}                       

In [3]: sys.getrefcount(a)  # 由于 getrefcount 內(nèi)部也會(huì)臨時(shí)的引用 a 所以，使得計(jì)數(shù)器的值變成了 2 。               
Out[3]: 2

In [4]: b = a                                  

In [5]: sys.getrefcount(a)                           
Out[5]: 3

先來(lái)看一個(gè)循環(huán)引用的場(chǎng)景。

#!/usr/bin/evn python3

import sys
import time
import threading


class Person(object):
  free_lock = threading.Condition()

  def __init__(self, name: str = ""):
    """
    Parameters
    ----------
    name: str
      姓名

    best_friend: str
      最要好的朋友名
    """
    self._name = name
    self._best_friend = None

  @property
  def best_friend(self, person: "Person"):
    return self._best_friend

  @best_friend.setter
  def best_friend(self, friend: "Person"):
    self._best_friend = friend

  def __str__(self):
    """
    """
    return self._name

  def __del__(self):
    """
    """
    self.free_lock.acquire()
    print(f"{self._name} 要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。")
    sys.stderr.flush()
    self.free_lock.release()


def mem_leak():
  """
  循環(huán)引用導(dǎo)致內(nèi)存泄漏
  """
  zhang_san = Person(name='張三')
  li_si = Person("李四")

  # 構(gòu)造出循環(huán)引用
  # 李四的好友是張三
  li_si.best_friend = zhang_san
  # 張三的好友是李四
  zhang_san.best_friend = li_si


if __name__ == "__main__":
  for i in range(3):
    time.sleep(0.01)
    print(f"{i}")
    mem_leak()

  print("mem_leak 執(zhí)行完成了.")
  time.sleep(5)

運(yùn)行效果。

python3 main.py
0
1
2
mem_leak 執(zhí)行完成了.
張三要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
李四要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
張三要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
李四要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
張三要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
李四要 GG 了，現(xiàn)在釋放它的內(nèi)存空間

由于循環(huán)引用的存在，使得 mem_leak 函數(shù)就行執(zhí)行完了其內(nèi)部的局部變量引用計(jì)數(shù)器也不為 0 ，所以內(nèi)存得不到及時(shí)的釋放。釋放這部分內(nèi)存有兩個(gè)途徑 1、被 Python 內(nèi)部的循環(huán)檢測(cè)機(jī)制發(fā)現(xiàn)了； 2、進(jìn)程退出前的集中釋放。

tracemalloc 可以在一定程序上幫我們發(fā)現(xiàn)問(wèn)題，在此就不講怎么用了，我們直接上解決方案。Python 為程序員提供了弱引用，通過(guò)這種方式可以不增加對(duì)象引用計(jì)數(shù)器的數(shù)值，這成為了我們打破循環(huán)引用的一種手段。

In [1]: import sys                               

In [2]: import weakref                             

In [3]: from main import Person                         

In [4]: tom = Person('tom')                           

In [5]: sys.getrefcount(tom)                          
Out[5]: 2

In [6]: p = weakref.ref(tom)                          

In [7]: sys.getrefcount(tom)  # 弱引用不會(huì)增加計(jì)數(shù)器的值                        
Out[7]: 2

現(xiàn)在使用 weakref 技術(shù)來(lái)改造我們的代碼。

#!/usr/bin/evn python3


import sys
import time
import weakref
import threading


class Person(object):
  free_lock = threading.Condition()

  def __init__(self, name: str = ""):
    """
    Parameters
    ----------
    name: str
      姓名

    best_friend: str
      最要好的朋友名
    """
    self._name = name
    self._best_friend = None

  @property
  def best_friend(self, person: "Person"):
    return self._best_friend

  @best_friend.setter
  def best_friend(self, friend: "Person"):
    self._best_friend = weakref.ref(friend)

  def __str__(self):
    """
    """
    return self._name

  def __del__(self):
    """
    """
    self.free_lock.acquire()
    print(f"{self._name} 要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。")
    sys.stderr.flush()
    self.free_lock.release()


def mem_leak():
  """
  循環(huán)引用導(dǎo)致內(nèi)存泄漏
  """
  zhang_san = Person(name='張三')
  li_si = Person("李四")

  # 構(gòu)造出循環(huán)引用
  # 李四的好友是張三
  li_si.best_friend = zhang_san
  # 張三的好友是李四
  zhang_san.best_friend = li_si


if __name__ == "__main__":
  for i in range(3):
    time.sleep(0.01)
    print(f"{i}")
    mem_leak()

  print("mem_leak 執(zhí)行完成了.")
  time.sleep(5)

運(yùn)行效果。

python3 main.py
0
張三要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
李四要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
1
張三要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
李四要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
2
張三要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
李四要 GG 了，現(xiàn)在釋放它的內(nèi)存空間。
mem_leak 執(zhí)行完成了.

可以看到現(xiàn)在一旦函數(shù)執(zhí)行完成，其內(nèi)部的局部變量的內(nèi)存就會(huì)得到釋放，非常的及時(shí)。

外面庫(kù)導(dǎo)致內(nèi)存泄漏

這種情況我也只遇到過(guò)一次，之前 mysql-connector-python 的內(nèi)存泄漏，導(dǎo)致我的程序跑著跑著占用的內(nèi)存就越來(lái)越大；最后我們返的 C 語(yǔ)言擴(kuò)展禁用之后就沒有問(wèn)題了。

以上就是總結(jié)python 三種常見的內(nèi)存泄漏場(chǎng)景的詳細(xì)內(nèi)容，更多關(guān)于python 內(nèi)存泄漏的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: