面試官: 聽(tīng)說(shuō)你熟悉python，那么你能簡(jiǎn)單闡述一下python的裝飾器、生成器以及迭代器么？

我: emm, 我不清楚，我只是了解過(guò)python最基本的代碼。

上述是弟弟前段時(shí)間去面試運(yùn)維開(kāi)發(fā)，遇到的問(wèn)題，emmm，運(yùn)維是一個(gè)很雜的職業(yè)，在小公司，總結(jié)一句話就是寬而淺，痛定思痛，決定來(lái)了解一下python特性，于是乎，就有了這篇文章。

這邊文章，我們將介紹python生成器，使用環(huán)境為: Python 3.6.8

如果你還沒(méi)有了解過(guò)迭代器，建議查看迭代器的文章：《python | 你知道for...in是底層原理是什么樣的么？探尋python迭代器》

什么是python生成器

上一篇文章我們介紹了迭代器，而生成器是一種特殊的迭代器，它內(nèi)部也有__iter__方法和__next__方法，在終止生成器的時(shí)候，還是會(huì)拋StopIteration異常以此來(lái)退出循環(huán)，只不過(guò)相比于迭代器，生成器還有特性會(huì)保存“中間值”，下次運(yùn)行的時(shí)候，還會(huì)借助這個(gè)“中間值”來(lái)操作。生成器的關(guān)鍵字是yield，我們下面來(lái)寫一個(gè)最簡(jiǎn)單的生成器。

#!/usr/bin/env python

def printNums():
    i = 0
    while i<10:
        yield i
        i = i + 1


def main():
    for i in printNums():
        print(i)

if __name__ == '__main__':
    main()

粗看代碼，可能會(huì)覺(jué)著這個(gè)是個(gè)啥啊，為啥不直接用range來(lái)生成，偏偏要用yield，哎，不急，我們接著往下看為什么需要生成器，或者說(shuō)，生成器解決了什么問(wèn)題。

為什么需要python生成器

在說(shuō)明這個(gè)問(wèn)題之前，我們先來(lái)寫一個(gè)需求，輸出 0——10000000 以內(nèi)的數(shù)據(jù)，而后運(yùn)行查看導(dǎo)出內(nèi)存運(yùn)行截圖。

調(diào)用python程序內(nèi)存信息輔助說(shuō)明

這里可以借助python的memory_profiler模塊來(lái)檢測(cè)程序內(nèi)存的占用情況。

安裝memory_profiler庫(kù):

pip3 install memory_profiler

使用方法很簡(jiǎn)單，在需要檢測(cè)的函數(shù)或者是代碼前添加@profile裝飾器即可，例如:

@profile
def main():
    pass

生成.dat文件

mprof run <executable>

導(dǎo)出圖示，可以使用

mprof plot --output=filename

python案例代碼

以下2個(gè)程序，都是輸出0—9999999之間的數(shù)據(jù)，不同的是，第一個(gè)程序是使用range而后給append進(jìn)list中，第二個(gè)則是使用迭代器來(lái)生成該數(shù)據(jù)。

main.py程序

@profile
def main():
    data = list(range(10000000))
    for i in data:
        pass

if __name__ == '__main__':
    main()

main_2.py程序

def printNum():
    i = 0 
    while i < 10000000:
        yield i
        i = i + 1

@profile
def main():
    for i in printNum():
        pass

if __name__ == '__main__':
    main()

運(yùn)行程序

代碼也有了，就可以按照上述來(lái)運(yùn)行一下程序，并且導(dǎo)出內(nèi)存信息

運(yùn)行后內(nèi)存信息查看

main.py 運(yùn)行內(nèi)存圖

main_2.py 運(yùn)行內(nèi)存圖

如上2張對(duì)比圖，當(dāng)我們將數(shù)據(jù)疊加進(jìn)列表，再輸出的時(shí)候，占用內(nèi)存接近400M，而使用迭代器來(lái)計(jì)算下一個(gè)值內(nèi)存僅使用16M。

通過(guò)上述案例，我們應(yīng)該知道為什么要使用生成器了吧。

python生成器原理

由于生成器表達(dá)式yield語(yǔ)句涉及到了python解釋權(quán)內(nèi)部機(jī)制，所以很難查看其源碼，很難獲取其原理，不過(guò)我們可以利用yield的暫停機(jī)制，來(lái)探尋一下生成器。

可以編寫如下代碼：

def testGenerator():
    print("進(jìn)入生成器")
    yield "pdudo"
    print("第一次輸出")
    yield "juejin"
    print("第二次輸出")

def main():
    xx = testGenerator()
    print(next(xx))
    print(next(xx))

if __name__ == '__main__':
    main()

運(yùn)行后效果如下

通過(guò)上述實(shí)例，再結(jié)合下面這段生成器的運(yùn)行過(guò)程，會(huì)加深對(duì)生成器的感觸。

當(dāng)python遇到yield語(yǔ)句時(shí)，會(huì)記錄當(dāng)前函數(shù)的運(yùn)行狀態(tài)，并且暫停執(zhí)行，將結(jié)果拋出。會(huì)持續(xù)等待下一次調(diào)用__next__方法，該方法調(diào)用后，會(huì)恢復(fù)函數(shù)的運(yùn)行，直至下一個(gè)yield語(yǔ)句或者函數(shù)結(jié)束，執(zhí)行到最后沒(méi)有yield函數(shù)可執(zhí)行的時(shí)候，會(huì)拋StopIteration來(lái)標(biāo)志生成器的結(jié)束。

生成器表達(dá)式

在python中，生成器除了寫在函數(shù)中，使用yield返回之外，還可以直接使用生成器表達(dá)式，額。。。可能很抽象，但是你看下面這段代碼，你就明白了。

def printNums():
    for i in [1,2,3,4,5]:
        yield i

def main():
    for i in printNums():
        print(i)

    gener = (i for i in [1,2,3,4,5])
    for i in gener:
        print(i)

if __name__ == '__main__':
    main()

其中，代碼(i for i in [1,2,3,4,5])就等同于printNums函數(shù)，其類型都是生成器，我們可以使用type打印出來(lái)看下。

改下代碼，輸出結(jié)果如下:

好了，生成器表達(dá)式其實(shí)不復(fù)雜，暫時(shí)就講到這里。

總結(jié)

該篇文章是介紹python生成器，所謂的生成器其實(shí)也是一個(gè)特殊的迭代器，其底層依然有__iter__和__next__方法，不僅如此，它還可以將函數(shù)“暫停”，當(dāng)遇到_next__后，又從上一次暫停的地方開(kāi)始執(zhí)行，既然是一個(gè)特殊的迭代器，所以還是會(huì)引發(fā)StopIteration異常。而后介紹了為什么需要生成器，距了一個(gè)例子，分別打印0——n個(gè)數(shù)，一個(gè)使用生成器 還有一個(gè) 使用list，當(dāng)然list會(huì)更加耗費(fèi)內(nèi)存，最后介紹了生成器原理 以及 生成器表達(dá)式。

到此這篇關(guān)于一文帶你探尋Python中的生成器的文章就介紹到這了,更多相關(guān)Python生成器內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論