python的內(nèi)存管理和垃圾回收機制詳解
簡單來說python的內(nèi)存管理機制有三種
1)引用計數(shù)
2)垃圾回收
3)內(nèi)存池
接下來我們來詳細講解這三種管理機制
1,引用計數(shù):
引用計數(shù)是一種非常高效的內(nèi)存管理手段,當一個pyhton對象被引用時其引用計數(shù)增加1,當其不再被引用時引用計數(shù)減1,當引用計數(shù)等于0的時候,對象就被刪除了。
2,垃圾回收(這是一個很重要知識點):
① 引用計數(shù)
引用計數(shù)也是一種垃圾回收機制,而且是一種最直觀,最簡單的垃圾回收技術。
在Python中每一個對象的核心就是一個結(jié)構(gòu)體PyObject,它的內(nèi)部有一個引用計數(shù) ob_refcnt,當python的某個對象引用計數(shù)為0。就說明沒有任何引用指向該對象,該對象就成為要被回收的垃圾了。
舉個栗子: 當一個對象被創(chuàng)建出來,他的引用計數(shù)就會+1,當對象被引用的時候,計數(shù)繼續(xù)增加,當引用它的對象被刪除的時候,它的引用計數(shù)就會減少。直到變?yōu)?,此時垃圾回收機制就會把它回收。但是一旦出現(xiàn)循環(huán)引用,我們就得采取新的辦法了。
② 標記清除
標記清除用來解決循環(huán)引用產(chǎn)生的問題,循環(huán)引用只有在容器對象才會產(chǎn)生,比如字典,元祖,列表等。首先為了追蹤對象,需要每個容器對象維護兩個額外的指針,用來將容器對象組成一個鏈表,指針分別指向前后兩個容器對象,這樣可以將對象的循環(huán)引用摘除,就可以得出兩個對象的有效計數(shù)。
代碼實栗
QA: 為什么要搞這兩個鏈表
之所以要剖成兩個鏈表,是基于這樣的一種考慮:現(xiàn)在的unreachable可能存在被root鏈表中的對象,直接或間接引用的對象,這些對象是不能被回收的,一旦在標記的過程中,發(fā)現(xiàn)這樣的對象,就將其從unreachable鏈表中移到root鏈表中;當完成標記后,unreachable鏈表中剩下的所有對象就是名副其實的垃圾對象了,接下來的垃圾回收只需限制在unreachable鏈表中即可。
③ 分代回收
了解分類回收,首先要了解一下,GC的閾值,所謂閾值就是一個臨界點的值。
隨著你的程序運行,Python解釋器保持對新創(chuàng)建的對象,以及因為引用計數(shù)為零而被釋放掉的對象的追蹤。從理論上說,創(chuàng)建==釋放數(shù)量應該是這樣子。但是如果存在循環(huán)引用的話,肯定是創(chuàng)建>釋放數(shù)量,當創(chuàng)建數(shù)與釋放數(shù)量的差值達到規(guī)定的閾值的時候,當當當當~分代回收機制就登場啦。
分代回收思想將對象分為三代(generation 0,1,2)
0代表幼年對象,
1代表青年對象,
2代表老年對象。
根據(jù)弱代假說(越年輕的對象越容易死掉,老的對象通常會存活更久。)
新生的對象被放入0代,如果該對象在第0代的一次gc垃圾回收中活了下來,那么它就被放到第1代里面(它就升級了)。如果第1代里面的對象在第1代的一次gc垃圾回收中活了下來,它就被放到第2代里面。
從上一次第0代gc后,如果分配對象的個數(shù)減去釋放對象的個數(shù)大于threshold0,那么就會對第0代中的對象進行gc垃圾回收檢查。
從上一次第1代gc后,如果第0代被gc垃圾回收的次數(shù)大于threshold1,那么就會對第1代中的對象進行gc垃圾回收檢查。
從上一次第2代gc后,如果第1代被gc垃圾回收的次數(shù)大于threshold2,那么就會對第2代中的對象進行gc垃圾回收檢查。
gc每一代垃圾回收所觸發(fā)的閾值可以自己設置。
3,內(nèi)存池
- Python的內(nèi)存機制呈現(xiàn)金字塔形狀,-1,-2層主要有操作系統(tǒng)進行操作
- 第0層是C中的malloc,free等內(nèi)存分配和釋放函數(shù)進行操作
- 第1層和第2層是內(nèi)存池,有python接口函數(shù),PyMem_Malloc函數(shù)實現(xiàn),當對象小于256k的時由該層直接分配內(nèi)存
- 第3層是最上層,也就是我們對python對象的直接操作
Python在運行期間會大量地執(zhí)行malloc和free的操作,頻繁地在用戶態(tài)和核心態(tài)之間進行切換,這將嚴重影響Python的執(zhí)行效率。為了加速Python的執(zhí)行效 率,Python引入了一個內(nèi)存池機制,用于管理對小塊內(nèi)存的申請和釋放。
4,調(diào)優(yōu)手段
1.手動垃圾回收
2.避免循環(huán)引用(手動解循環(huán)引用和使用弱引用)
3.調(diào)高垃圾回收閾值
以上所述是小編給大家介紹的python內(nèi)存管理和垃圾回收機制詳解整合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
相關文章
python 通過logging寫入日志到文件和控制臺的實例
下面小編就為大家分享一篇python 通過logging寫入日志到文件和控制臺的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04pandas讀取csv文件,分隔符參數(shù)sep的實例
今天小編就為大家分享一篇pandas讀取csv文件,分隔符參數(shù)sep的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12