快捷導(dǎo)航

Python中GIL的使用詳解

更新時(shí)間：2018年10月03日 09:12:29 作者：Harvard_Fly

GIL的全稱(chēng)為Global Interpreter Lock，全局解釋器鎖。本篇文章詳細(xì)的介紹了Python中GIL的使用，有需要了解Python中GIL用法的朋友可參考。希望此文章對(duì)各位有所幫助

1、GIL簡(jiǎn)介

GIL的全稱(chēng)為Global Interpreter Lock，全局解釋器鎖。

1.1 GIL設(shè)計(jì)理念與限制

python的代碼執(zhí)行由python虛擬機(jī)（也叫解釋器主循環(huán)，CPython版本）來(lái)控制，python在設(shè)計(jì)之初就考慮到在解釋器的主循環(huán)中，同時(shí)只有一個(gè)線(xiàn)程在運(yùn)行。即在任意時(shí)刻只有一個(gè)線(xiàn)程在解釋器中運(yùn)行。對(duì)python虛擬機(jī)訪(fǎng)問(wèn)的控制由全局解釋鎖GIL控制，正是這個(gè)鎖來(lái)控制同一時(shí)刻只有一個(gè)線(xiàn)程能夠運(yùn)行。

在調(diào)用外部代碼（如C、C++擴(kuò)展函數(shù)）的時(shí)候，GIL將會(huì)被鎖定，直到這個(gè)函數(shù)結(jié)束為止（由于期間沒(méi)有python的字節(jié)碼運(yùn)行，所以不會(huì)做線(xiàn)程切換）。

在python中使用都是操作系統(tǒng)級(jí)別的線(xiàn)程，linux中使用的pthread，window使用的是其原生線(xiàn)程。

從上面的概述中可以直觀的看出py在同一時(shí)刻只能跑一個(gè)線(xiàn)程，這樣在跑多線(xiàn)程的情況下，只有當(dāng)線(xiàn)程獲取到全局解釋器鎖后才能運(yùn)行，而全局解釋器鎖只有一個(gè)，因此即使在多核的情況下也只能發(fā)揮出單核的功能。

那么這樣看起來(lái)py不給力啊，GIL直接導(dǎo)致CPython不能利用物理多核的性能加速運(yùn)行。那么為什么會(huì)有這樣的設(shè)計(jì)？考慮到Guido van Rossum 在創(chuàng)造python的時(shí)候，上世紀(jì)90年代，多核cpu完全屬于不可想象的，現(xiàn)在由于硬件發(fā)展速度太快，程序編寫(xiě)就要考慮用盡cpu的全部性能，否則就要被淘汰，那么對(duì)于python同樣也要如此。

上面主要說(shuō)的是這種設(shè)計(jì)的劣勢(shì)，下面再討論它的優(yōu)勢(shì)。

GIL的設(shè)計(jì)簡(jiǎn)化了CPython的實(shí)現(xiàn)，使得對(duì)象模型，包括關(guān)鍵的內(nèi)建類(lèi)型如字典，都隱式可以并發(fā)訪(fǎng)問(wèn)。鎖住全局解釋器使得其比較容易的實(shí)現(xiàn)對(duì)多線(xiàn)程的支持，但也折損了多處理器主機(jī)的并行計(jì)算能力。

但是不論標(biāo)準(zhǔn)的，還是第三方的擴(kuò)展模塊，都被設(shè)計(jì)成在進(jìn)行密集計(jì)算任務(wù)時(shí)釋放GIL。另外還有在做IO操作時(shí)，GIL總是被釋放。對(duì)所有面對(duì)內(nèi)建的操作系統(tǒng)C代碼的程序來(lái)說(shuō)，GIL會(huì)在這個(gè)IO調(diào)用之前被釋放，以允許其它的線(xiàn)程在等待這個(gè)IO的時(shí)候運(yùn)行。如果是純計(jì)算的程序，沒(méi)有IO操作，解釋器會(huì)每隔100次或每隔一定時(shí)間15ms去釋放GIL。

這里可以理解為IO密集型的python比計(jì)算密集型的程序更能利用多線(xiàn)程環(huán)境帶來(lái)的便利。

1.2 GIL對(duì)線(xiàn)程執(zhí)行的影響

多線(xiàn)程環(huán)境中，python虛擬機(jī)按照以下方式執(zhí)行：

設(shè)置GIL
切換到一個(gè)線(xiàn)程去執(zhí)行
運(yùn)行代碼，這里有兩種機(jī)制：
1. 指定數(shù)量的字節(jié)碼指令（100個(gè)）
2. 固定時(shí)間15ms線(xiàn)程主動(dòng)讓出控制
把線(xiàn)程設(shè)置為睡眠狀態(tài)
解鎖GIL
再次重復(fù)以上步驟

上節(jié)說(shuō)到python語(yǔ)言和程序一樣要考慮用盡cpu的性能，下面在討論py的應(yīng)對(duì)方法。

python的應(yīng)對(duì)方法很簡(jiǎn)單，在新的python3中依然有GIL，原因大概有下幾點(diǎn)：

CPython的GIL本意是用來(lái)保護(hù)所有全局的解釋器和環(huán)境狀態(tài)變量的，如果去掉GIL，就需要更多的更細(xì)粒度的鎖對(duì)解釋器的眾多全局狀態(tài)進(jìn)行保護(hù)。或者采用Lock-Free算法。無(wú)論采用哪一種，要做到多線(xiàn)程安全都會(huì)比維系一個(gè)GIL要難得多。另外改動(dòng)的還是CPython的代碼樹(shù)及其各種第三方擴(kuò)展也在依賴(lài)GIL。
進(jìn)一步說(shuō)，有人做過(guò)測(cè)試將GIL去掉，加入更細(xì)粒度的鎖。但是實(shí)踐檢測(cè)對(duì)單線(xiàn)程來(lái)說(shuō)，性能更低。只有利用的物理cpu到一定數(shù)目后，性能才會(huì)比GIL版本好。且現(xiàn)在絕大部分的python程序都是單線(xiàn)程的。

然后最重要的還在于以下幾個(gè)方面，簡(jiǎn)單來(lái)說(shuō)就是py不改，一樣能實(shí)現(xiàn)我們的需求。

自2.6引出的多進(jìn)程標(biāo)準(zhǔn)庫(kù)mutilprocessing，讓多進(jìn)程的python編寫(xiě)簡(jiǎn)化到類(lèi)似多線(xiàn)程的程度，大大減輕GIL帶來(lái)的諸多不利。
利用ctypes繞過(guò)GIL：ctypes可以使py直接調(diào)用任意的C動(dòng)態(tài)庫(kù)的導(dǎo)出函數(shù)。所要做的只是用ctypes寫(xiě)python代碼即可。而且，ctypes會(huì)在調(diào)用C函數(shù)前釋放GIL。

python中GIL使得同一個(gè)時(shí)刻只有一個(gè)線(xiàn)程在一個(gè)cpu上執(zhí)行，無(wú)法將多個(gè)線(xiàn)程映射到多個(gè)cpu上執(zhí)行，但GIL并不會(huì)一直占有，它會(huì)在適當(dāng)?shù)臅r(shí)候釋放

import threading
count = 0
def add():
  global count
  for i in range(10**6):
    count += 1

def minus():
  global count
  for i in range(10**6):
    count -= 1

thread1 = threading.Thread(target=add)
thread2 = threading.Thread(target=minus)
thread1.start()
thread2.start()
thread1.join()
thread2.join()
print(count)

分別運(yùn)行三次的結(jié)果：