詳解Python中的GIL(全局解釋器鎖)詳解及解決GIL的幾種方案
先看一道GIL面試題:
描述Python GIL的概念, 以及它對python多線程的影響?編寫一個多線程抓取網(wǎng)頁的程序,并闡明多線程抓取程序是否可比單線程性能有提升,并解釋原因。
GIL:又叫全局解釋器鎖,每個線程在執(zhí)行的過程中都需要先獲取GIL,保證同一時刻只有一個線程在運(yùn)行,目的是解決多線程同時競爭程序中的全局變量而出現(xiàn)的線程安全問題。它并不是python語言的特性,僅僅是由于歷史的原因在CPython解釋器中難以移除,因?yàn)閜ython語言運(yùn)行環(huán)境大部分默認(rèn)在CPython解釋器中。
通過一個案例了解單線程和多線程的cpu占用率:
打開Ubuntu終端命令:輸入htop,回車,紅色箭頭指向的2代表此時我的虛擬機(jī)中CPU有兩個核心數(shù)

下面通過一個案例了解單線程死循環(huán)和多線程死循環(huán)的CPU占用率:
單線程死循環(huán).py:
#coding=utf-8 while True: pass
運(yùn)行該程序,出現(xiàn)以下界面:

此時新開一個窗口,輸入htop,查看CPU占用率,其中一個CPU占用率幾乎為100%:

兩個線程死循環(huán).py
#coding=utf-8
import threading
#子線程死循環(huán)
def test():
while True:
pass
t1=threading.Thread(target=test)
t1.start()
#主線程死循環(huán),
while True:
pass
此時新開一個終端,輸入htop查看CPU占用率,可以看到兩個CPU任何一個并沒有全部占滿,而是交替執(zhí)行的:

這也就驗(yàn)證了多線程下每個線程在執(zhí)行的過程中都需要先獲取GIL,保證同一時刻只有一個線程在運(yùn)行。
由于GIL的存在,即使是多線程,事實(shí)上同一時刻只能保證一個線程在運(yùn)行,既然這樣多線程的運(yùn)行效率不就和單線程一樣了嗎,那為什么還要使用多線程呢?
由于以前的電腦基本都是單核CPU,多線程和單線程幾乎看不出差別,可是由于計(jì)算機(jī)的迅速發(fā)展,現(xiàn)在的電腦幾乎都是多核CPU了,最少也是兩個核心數(shù)的,這時差別就出來了:通過之前的案例我們已經(jīng)知道,即使在多核CPU中,多線程同一時刻也只有一個線程在運(yùn)行,這樣不僅不能利用多核CPU的優(yōu)勢,反而由于每個線程在多個CPU上是交替執(zhí)行的,導(dǎo)致在不同CPU上切換時造成資源的浪費(fèi),反而會更慢。即原因是一個進(jìn)程只存在一把gil鎖,當(dāng)在執(zhí)行多個線程時,內(nèi)部會爭搶gil鎖,這會造成當(dāng)某一個線程沒有搶到鎖的時候會讓cpu等待,進(jìn)而不能合理利用多核cpu資源。
例如在使用多線程抓取網(wǎng)頁內(nèi)容時,遇到IO阻塞時,正在執(zhí)行的線程會暫時釋放GIL鎖,這時其它線程會利用這個空隙時間,執(zhí)行自己的代碼,因此多線程抓取比單線程抓取性能要好。
說到在這里要先介紹兩個概念:計(jì)算密集型和IO密集型
計(jì)算密集型:要進(jìn)行大量的數(shù)值計(jì)算,例如進(jìn)行上億的數(shù)字計(jì)算、計(jì)算圓周率、對視頻進(jìn)行高清解碼等等。這種計(jì)算密集型任務(wù)雖然也可以用多任務(wù)完成,但是花費(fèi)的主要時間在任務(wù)切換的時間,此時CPU執(zhí)行任務(wù)的效率比較低。
IO密集型:涉及到網(wǎng)絡(luò)請求(time.sleep())、磁盤IO的任務(wù)都是IO密集型任務(wù),這類任務(wù)的特點(diǎn)是CPU消耗很少,任務(wù)的大部分時間都在等待IO操作完成(因?yàn)镮O的速度遠(yuǎn)遠(yuǎn)低于CPU和內(nèi)存的速度)。對于IO密集型任務(wù),任務(wù)越多,CPU效率越高,但也有一個限度。
解決GIL問題的方案:
1.使用其它語言,例如C,Java
2.使用其它解釋器,如java的解釋器jython
3.使用多進(jìn)程
線程釋放GIL鎖的情況:
1.在IO操作等可能會引起阻塞的system call之前,可以暫時釋放GIL,但在執(zhí)行完畢后,必須重新獲取GIL。
2.Python 3.x使用計(jì)時器(執(zhí)行時間達(dá)到閾值后,當(dāng)前線程釋放GIL)或Python 2.x,tickets計(jì)數(shù)達(dá)到100。
GIL面試題參考答案:
- Python語言和GIL沒有什么關(guān)系。僅僅是由于歷史原因在Cpython虛擬機(jī)(解釋器),難以移除GIL。
- GIL:全局解釋器鎖。每個線程在執(zhí)行的過程都需要先獲取GIL,保證同一時刻只有一個線程可以執(zhí)行代碼。
- 線程釋放GIL鎖的情況: 在IO操作等可能會引起阻塞的system call之前,可以暫時釋放GIL,但在執(zhí)行完畢后,必須重新獲取GIL Python 3.x使用計(jì)時器(執(zhí)行時間達(dá)到閾值后,當(dāng)前線程釋放GIL)或Python 2.x,tickets計(jì)數(shù)達(dá)到100。
- Python使用多進(jìn)程是可以利用多核的CPU資源的。
- 多線程爬取比單線程性能有提升,因?yàn)橛龅絀O阻塞會自動釋放GIL鎖。
到此這篇關(guān)于詳解Python中的GIL(全局解釋器鎖)詳解及解決GIL的幾種方案的文章就介紹到這了,更多相關(guān)Python GIL全局解釋器鎖內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python可視化目標(biāo)檢測框的實(shí)現(xiàn)代碼
這篇文章主要介紹了Python可視化目標(biāo)檢測框的實(shí)現(xiàn)代碼,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-09-09
Python氣泡提示與標(biāo)簽的實(shí)現(xiàn)
這篇文章主要介紹了Python氣泡提示與標(biāo)簽的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
tensorflow實(shí)現(xiàn)簡單的卷積神經(jīng)網(wǎng)絡(luò)
這篇文章主要為大家詳細(xì)介紹了tensorflow實(shí)現(xiàn)簡單的卷積神經(jīng)網(wǎng)絡(luò),具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-05-05
python標(biāo)準(zhǔn)庫turtle海龜繪圖實(shí)現(xiàn)簡單奧運(yùn)五環(huán)
這篇文章主要為大家介紹了python使用turtle實(shí)現(xiàn)最簡單簡單奧運(yùn)五環(huán)繪圖,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05

