Python中的迭代器漫談
問(wèn)題是在Python中進(jìn)行循環(huán)的時(shí)候產(chǎn)生的,熟悉Python的都知道,它沒(méi)有類似其它語(yǔ)言中的for循環(huán), 只能通過(guò)for in的方式進(jìn)行循環(huán)遍歷。最典型的應(yīng)用就是通過(guò)range函數(shù)產(chǎn)生一個(gè)列表,然后用for in進(jìn)行操作,如下:
#!/usr/bin/env python
for i in range(10):
print i
代碼的意義很好理解,range會(huì)產(chǎn)生一個(gè)列表,用for in最這個(gè)列表進(jìn)行遍歷,就有和類似for(i = 0;i<n;i++)同樣的效果,range函數(shù)的詳解可以看這里。問(wèn)題又來(lái)了,range這個(gè)對(duì)象會(huì)產(chǎn)生一個(gè)列表,那么這個(gè)列表的內(nèi)容鐵定是存放在內(nèi)存當(dāng)中的,當(dāng)需要的循環(huán)數(shù)量太大時(shí),是相當(dāng)占用內(nèi)存的, 為了統(tǒng)計(jì)使用range占用內(nèi)存的情況,我做了6次使用,分別用range產(chǎn)生100,10000,100000,1000000,10000000,100000000長(zhǎng)度的列表,然后統(tǒng)計(jì)內(nèi)存的占用:
測(cè)試代碼 占用內(nèi)存
range(100) 2.0MB
range(10000) 2.2MB
range(100000) 3.8MB
range(1000000) 19.5MB
range(10000000) 168.5MB
range(100000000) 1465.8MB
可以看到,隨著基數(shù)的加大,占用內(nèi)存呈幾何倍數(shù)增加,顯然在進(jìn)行大循環(huán)操作的時(shí)候,要避免使用range。
為了解決上述問(wèn)題,python提供了另外一個(gè)函數(shù)xrange,這個(gè)函數(shù)和range非常相似,但是占用內(nèi)存比range會(huì)小很多,相關(guān)的說(shuō)明可以查看這里,經(jīng)過(guò)測(cè)試,用xrange產(chǎn)生的對(duì)象,不管參數(shù)是多少,占用內(nèi)存幾乎都沒(méi)有變化。問(wèn)題又來(lái)了,xrange內(nèi)部是如何實(shí)現(xiàn)的,為什么和range性能相差這么大?為了驗(yàn)證我的猜想,先嘗試用python實(shí)現(xiàn)類似xrange的函數(shù)zrange:
#!/usr/bin/env python
class zrange(object):
def __init__(self,stop):
self.__pointer=0
self.stop=stop
def __iter__(self):
return self
def next(self): #python3.0中,改用__next__
if self.__pointer >= self.stop:
raise StopIteration
else:
self.__pointer = self.__pointer + 1
return self.__pointer-1
test = zrange(10000000)
for i in test:
print i
運(yùn)行的結(jié)果和xrange一樣, 對(duì)zrange進(jìn)行內(nèi)存占用測(cè)試,發(fā)現(xiàn)和xrange一樣,參數(shù)的大小對(duì)內(nèi)存占用幾乎沒(méi)有影響。那么它和range的區(qū)別在哪里呢?
前面說(shuō)到,range產(chǎn)生的是一個(gè)列表,而無(wú)論是自定義的zrange還是系統(tǒng)內(nèi)置的xrange產(chǎn)生的都是一個(gè)對(duì)象,像xrange或者zrange產(chǎn)生的對(duì)象,就叫做可迭代對(duì)象, 它給外部提供了一種遍歷其內(nèi)部元素,而不用關(guān)心其內(nèi)部實(shí)現(xiàn)的方法。上面zrange的實(shí)現(xiàn)中, 最關(guān)鍵的實(shí)現(xiàn)是建立了一個(gè)內(nèi)部指針__pointer, 它記錄當(dāng)前的訪問(wèn)的位置, 下次的訪問(wèn)就可以通過(guò)指針的狀態(tài)進(jìn)行相應(yīng)的操作。
Python或者其它語(yǔ)言中,還有很多類似通過(guò)迭代的方式訪問(wèn)對(duì)象內(nèi)容的,如讀取一個(gè)文件中的內(nèi)容:
#!/usr/bin/env python
f = open('zrange.py','r')
while True:
line = f.readline()
if not line:
break
print line.strip()
f.close()
大家都知道用readline要比reandlines節(jié)省資源,其實(shí)readline和readlines就類似于xrange和range,一個(gè)是通過(guò)指針記錄當(dāng)前位置,下次訪問(wèn)把指針往前移動(dòng)一個(gè)單位,另外一個(gè)是直接把所有內(nèi)容存放到內(nèi)存當(dāng)中。文件操作函數(shù)中,還可以通過(guò)seek手動(dòng)的調(diào)整指針的位置,從而達(dá)到跳過(guò)或者重復(fù)讀取某些內(nèi)容的目的。
可以說(shuō),迭代器的實(shí)現(xiàn)中,其內(nèi)部指針是節(jié)省資源,讓迭代正常運(yùn)行的關(guān)鍵。
相關(guān)文章
python如何解析復(fù)雜sql,實(shí)現(xiàn)數(shù)據(jù)庫(kù)和表的提取的實(shí)例剖析
這篇文章主要介紹了python如何解析復(fù)雜sql,實(shí)現(xiàn)數(shù)據(jù)庫(kù)和表的提取的實(shí)例剖析,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05Python編程實(shí)現(xiàn)生成特定范圍內(nèi)不重復(fù)多個(gè)隨機(jī)數(shù)的2種方法
這篇文章主要介紹了Python編程實(shí)現(xiàn)生成特定范圍內(nèi)不重復(fù)多個(gè)隨機(jī)數(shù)的2種方法,涉及Python基于random生成隨機(jī)數(shù)的常見(jiàn)操作技巧,需要的朋友可以參考下2017-04-04Python Dict找出value大于某值或key大于某值的所有項(xiàng)方式
這篇文章主要介紹了Python Dict找出value大于某值或key大于某值的所有項(xiàng)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06關(guān)于tensorflow softmax函數(shù)用法解析
這篇文章主要介紹了關(guān)于tensorflow softmax函數(shù)用法解析,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06Scrapy基于selenium結(jié)合爬取淘寶的實(shí)例講解
今天小編就為大家分享一篇Scrapy基于selenium結(jié)合爬取淘寶的實(shí)例講解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06torchxrayvision包安裝過(guò)程(附pytorch1.6cpu版安裝)
這篇文章主要介紹了torchxrayvision包安裝過(guò)程(附pytorch1.6cpu版安裝),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08對(duì)Python w和w+權(quán)限的區(qū)別詳解
今天小編就為大家分享一篇對(duì)Python w和w+權(quán)限的區(qū)別詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01關(guān)于tf.reverse_sequence()簡(jiǎn)述
今天小編就為大家分享一篇關(guān)于tf.reverse_sequence()簡(jiǎn)述,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01