python網(wǎng)絡(luò)編程之進(jìn)程詳解
更新時(shí)間：2022年01月09日 17:01:27 作者：Top Secret
這篇文章主要為大家介紹了python網(wǎng)絡(luò)編程之進(jìn)程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助
1.進(jìn)程
它們的主要作用：多任務(wù)同時(shí)執(zhí)行
1.1進(jìn)程：
Windows打開(kāi)的程序就是一個(gè)進(jìn)程例如打開(kāi)qq 打開(kāi)微信
如果打開(kāi)2個(gè)qq代表打開(kāi)了2個(gè)進(jìn)程
1.2在python中創(chuàng)建進(jìn)程
只能Linux 使用os.fork()用這個(gè)可以創(chuàng)建多進(jìn)程
Linux/Windows使用multiprocessing模塊和Pool進(jìn)程池（他倆是跨平臺(tái)模塊）
1.3 使用multiprocessing創(chuàng)建進(jìn)程
1.3.1 單個(gè)進(jìn)程時(shí)：
from multiprocessing import Process #從multiprocessing庫(kù)中導(dǎo)入Process模塊
#執(zhí)行進(jìn)程代碼
#一個(gè)子進(jìn)程
def test(interval):
print("我是一個(gè)子進(jìn)程")
#執(zhí)行主程序
def main():
print("主進(jìn)程啟動(dòng)")
p = Process(target=test,args=(1,)) #使用進(jìn)程模塊，目標(biāo)參數(shù)target為子進(jìn)程函數(shù)
p.start() #啟動(dòng)子進(jìn)程
print("主進(jìn)程結(jié)束")
if __name__ == '__main__':
main()
"""
>>> runfile('D:/python_files/python_fiew/網(wǎng)絡(luò)編程_01.py', wdir='D:/python_files/python_fiew')
主進(jìn)程啟動(dòng)
主進(jìn)程結(jié)束
我是一個(gè)子進(jìn)程
"""1.3.2 多個(gè)子進(jìn)程時(shí)：
from multiprocessing import Process
import time,os
#子進(jìn)程1
def child_1(interval):
print("子進(jìn)程(%s)開(kāi)始執(zhí)行，父進(jìn)程為(%s)"%(os.getpid(),os.getpid())) #os.getpid()為獲取進(jìn)程號(hào)
t_stat = time.time() #計(jì)時(shí)開(kāi)始
time.sleep(interval) #程序?qū)⒈粧炱餹秒
t_end = time.time() #計(jì)時(shí)結(jié)束
print("子進(jìn)程(%s)的執(zhí)行時(shí)間為'%0.2f'秒"%(os.getpid(),t_end-t_stat))
#子進(jìn)程2
def chlid_2(interval):
print("子進(jìn)程(%s)開(kāi)始執(zhí)行，父進(jìn)程為(%s)"%(os.getpid(),os.getpid()))
t_stat = time.time()
time.sleep(interval)
t_end = time.time()
print("子進(jìn)程(%s)的執(zhí)行時(shí)間為(%0.2f)"%(os.getpid(),t_end-t_stat))
if __name__ == '__main__':
print("-----父進(jìn)程開(kāi)始執(zhí)行-------")
print("父進(jìn)程啟動(dòng)時(shí)，父進(jìn)程PID為：(%s)"%(os.getpid())) #打印父進(jìn)程啟動(dòng)時(shí)父進(jìn)程的PID
p1 = Process(target=child_1,args=(1,)) #實(shí)例化子進(jìn)程1
p2 = Process(target=chlid_2,args=(1,)) #實(shí)例化子進(jìn)程2
p1.start() #啟動(dòng)子進(jìn)程1
p2.start() #啟動(dòng)子進(jìn)程2
#此時(shí)父進(jìn)程仍然在執(zhí)行
print("pi.is_alive=%s"%(p1.is_alive())) #p1.is_alive() 判斷子進(jìn)程p1是否還在執(zhí)行，執(zhí)行則返回ture
print("p2_is_alive=%s"%(p2.is_alive()))
#輸出此時(shí)進(jìn)程執(zhí)行過(guò)程中的PID(進(jìn)程號(hào))
print("執(zhí)行過(guò)程中的p1的進(jìn)程號(hào)p1.pid=%s"%(p1.pid))
print("執(zhí)行過(guò)程中的p2的進(jìn)程號(hào)p2.pid=%s" % (p2.pid))
print("---等待子進(jìn)程結(jié)束----")
p1.join() #等待子程序p1結(jié)束
p2.join()
print("父進(jìn)程結(jié)束，此時(shí)父進(jìn)程的進(jìn)程號(hào)為：(%s)"%(os.getpid()))
#總結(jié)：#os.getpid()為獲取進(jìn)程號(hào) #p1.is_alive() 判斷子進(jìn)程p1是否還在執(zhí)行，執(zhí)行則返回ture
由運(yùn)行結(jié)果分析：子進(jìn)程在執(zhí)行的過(guò)程中，進(jìn)程號(hào)不變。父進(jìn)程號(hào)在啟動(dòng)時(shí)，和在結(jié)束所有子進(jìn)程時(shí) 相同，而當(dāng)子進(jìn)程同時(shí)執(zhí)行時(shí)，父進(jìn)程號(hào)會(huì)動(dòng)態(tài)變化。
掛起進(jìn)程在 操作系統(tǒng)中可以定義為暫時(shí)被淘汰出 內(nèi)存的進(jìn)程，機(jī)器的資源是有限的，在資源不足的情況下，操作系統(tǒng)對(duì)在內(nèi)存中的程序進(jìn)行合理的安排，其中有的進(jìn)程被暫時(shí)調(diào)離出內(nèi)存，當(dāng)條件允許的時(shí)候，會(huì)被操作系統(tǒng)再次調(diào)回內(nèi)存，重新進(jìn)入等待被執(zhí)行的狀態(tài)即就緒態(tài)，系統(tǒng)在超過(guò)一定的時(shí)間沒(méi)有任何動(dòng)作。
1.3.3 自定義進(jìn)程類方法
使用Process子類創(chuàng)建進(jìn)程Process(target=test)實(shí)現(xiàn)多進(jìn)程，復(fù)雜的要定義一個(gè)類繼承Process，每次實(shí)例化這個(gè)類的時(shí)候就等同于實(shí)例化一個(gè)進(jìn)程對(duì)象
（解決上一個(gè)程序中兩個(gè)子進(jìn)程重復(fù)代碼的問(wèn)題）
from multiprocessing import Processimport time,os#繼承Process類class SubProcess(Process): def __init__(self,interval,name=""): #子類SubProcess的構(gòu)造方法 Process.__init__(self) #Process.__init__(self) #繼承父類的構(gòu)造方法 self.interval = interval self.name = name #重寫(xiě)父類方法 def run(self): print("子進(jìn)程(%s)開(kāi)始執(zhí)行，父進(jìn)程為(%s)" % (os.getpid(), os.getpid())) # os.getpid()為獲取進(jìn)程號(hào) t_stat = time.time() # 計(jì)時(shí)開(kāi)始 time.sleep(self.interval) # 程序?qū)⒈粧炱餹秒 t_end = time.time() # 計(jì)時(shí)結(jié)束 print("子進(jìn)程(%s)的執(zhí)行時(shí)間為'%0.2f'秒" % (os.getpid(), t_end - t_stat))if __name__ == '__main__': print("-----父進(jìn)程開(kāi)始執(zhí)行-------") print("父進(jìn)程啟動(dòng)時(shí)，父進(jìn)程PID為：(%s)"%(os.getpid())) #打印父進(jìn)程啟動(dòng)時(shí)父進(jìn)程的PID p1 = SubProcess(interval=1,name='ZARD1') #實(shí)例化子進(jìn)程1 p2 = SubProcess(interval=2,name=('ZARD2')) #實(shí)例化子進(jìn)程2 p1.start() #啟動(dòng)子進(jìn)程1 p2.start() #啟動(dòng)子進(jìn)程2 #此時(shí)父進(jìn)程仍然在執(zhí)行 print("pi.is_alive=%s"%(p1.is_alive())) #p1.is_alive() 判斷子進(jìn)程p1是否還在執(zhí)行，執(zhí)行則返回ture print("p2_is_alive=%s"%(p2.is_alive())) #輸出此時(shí)進(jìn)程執(zhí)行過(guò)程中的PID(進(jìn)程號(hào)) print("p1.name = %s"%(p1.name)) print("執(zhí)行過(guò)程中的p1的進(jìn)程號(hào)p1.pid=%s"%(p1.pid)) print("p2.name = %s" % (p2.name)) print("執(zhí)行過(guò)程中的p2的進(jìn)程號(hào)p2.pid=%s" % (p2.pid)) print("---等待子進(jìn)程結(jié)束----") p1.join() #等待子程序p1結(jié)束 p2.join() print("父進(jìn)程結(jié)束，此時(shí)父進(jìn)程的進(jìn)程號(hào)為：(%s)"%(os.getpid()))from multiprocessing import Process
import time,os
#繼承Process類
class SubProcess(Process):
def __init__(self,interval,name=""): #子類SubProcess的構(gòu)造方法
Process.__init__(self) #Process.__init__(self) #繼承父類的構(gòu)造方法
self.interval = interval
self.name = name
#重寫(xiě)父類方法
def run(self):
print("子進(jìn)程(%s)開(kāi)始執(zhí)行，父進(jìn)程為(%s)" % (os.getpid(), os.getpid())) # os.getpid()為獲取進(jìn)程號(hào)
t_stat = time.time() # 計(jì)時(shí)開(kāi)始
time.sleep(self.interval) # 程序?qū)⒈粧炱餹秒
t_end = time.time() # 計(jì)時(shí)結(jié)束
print("子進(jìn)程(%s)的執(zhí)行時(shí)間為'%0.2f'秒" % (os.getpid(), t_end - t_stat))
if __name__ == '__main__':
print("-----父進(jìn)程開(kāi)始執(zhí)行-------")
print("父進(jìn)程啟動(dòng)時(shí)，父進(jìn)程PID為：(%s)"%(os.getpid())) #打印父進(jìn)程啟動(dòng)時(shí)父進(jìn)程的PID
p1 = SubProcess(interval=1,name='ZARD1') #實(shí)例化子進(jìn)程1
p2 = SubProcess(interval=2,name=('ZARD2')) #實(shí)例化子進(jìn)程2
p1.start() #啟動(dòng)子進(jìn)程1
p2.start() #啟動(dòng)子進(jìn)程2
#此時(shí)父進(jìn)程仍然在執(zhí)行
print("pi.is_alive=%s"%(p1.is_alive())) #p1.is_alive() 判斷子進(jìn)程p1是否還在執(zhí)行，執(zhí)行則返回ture
print("p2_is_alive=%s"%(p2.is_alive()))
#輸出此時(shí)進(jìn)程執(zhí)行過(guò)程中的PID(進(jìn)程號(hào))
print("p1.name = %s"%(p1.name))
print("執(zhí)行過(guò)程中的p1的進(jìn)程號(hào)p1.pid=%s"%(p1.pid))
print("p2.name = %s" % (p2.name))
print("執(zhí)行過(guò)程中的p2的進(jìn)程號(hào)p2.pid=%s" % (p2.pid))
print("---等待子進(jìn)程結(jié)束----")
p1.join() #等待子程序p1結(jié)束
p2.join()
print("父進(jìn)程結(jié)束，此時(shí)父進(jìn)程的進(jìn)程號(hào)為：(%s)"%(os.getpid()))
代碼分析：
1.4 Pool進(jìn)程池
（解決當(dāng)要?jiǎng)?chuàng)造成百上千個(gè)進(jìn)程的情況）
例子： 有三個(gè)水槽 ，要接10桶水，我們最多只能同時(shí)接3盆，第10盆隨便找一個(gè)盆，其他兩個(gè)閑置。
from multiprocessing import Pool #導(dǎo)入進(jìn)程池
import os,time
def task(name):
print("子進(jìn)程(%s)執(zhí)行task %s..."%(os.getpid(),name))
time.sleep(2) #休眠2秒
if __name__ == '__main__':
print("---父進(jìn)程(%s)啟動(dòng)---"%(os.getpid()))
p = Pool(3) #定義一個(gè)進(jìn)程池，一次最多容納三個(gè)進(jìn)程，即一次最多可同時(shí)執(zhí)行三個(gè)子進(jìn)程
for i in range(10):
p.apply_async(task,args=(i,)) #使用非阻塞的方式調(diào)用task
print("---等待所有子進(jìn)程結(jié)束---")
p.close() #關(guān)閉進(jìn)程池，關(guān)閉后進(jìn)程池不再接收新的請(qǐng)求
p.join() #等待子進(jìn)程結(jié)束
print("全部子進(jìn)程結(jié)束")
小結(jié)：定義一個(gè)進(jìn)程池，并規(guī)定一個(gè)池子中可以同時(shí)執(zhí)行多少個(gè)進(jìn)程，可以實(shí)現(xiàn)多個(gè)進(jìn)程分批次的執(zhí)行。
注意：
（1）區(qū)分使用Process模塊與使用進(jìn)程池模塊Pool的區(qū)別
（2）對(duì)于實(shí)例對(duì)象 p，p.start()表示開(kāi)始執(zhí)行進(jìn)程；p.join()表示結(jié)束進(jìn)程
（3）注意加強(qiáng)阻塞與非阻塞知識(shí)點(diǎn)的學(xué)習(xí)
2. 驗(yàn)證進(jìn)程是否能共享信息
引例：
from multiprocessing import Process
#子進(jìn)程1
def plus():
print("---子進(jìn)程1開(kāi)始執(zhí)行---")
global g_num #聲明全局變量
g_num += 50
print("在子進(jìn)程1下：g_num = %d"%(g_num))
print("---子進(jìn)程1結(jié)束運(yùn)行---")
#子進(jìn)程2
def minus():
print("---子進(jìn)程2開(kāi)始執(zhí)行---")
global g_num #聲明全局變量
g_num -= 50
print("在子進(jìn)程2下：g_num = %d"%(g_num))
print("---子進(jìn)程2結(jié)束運(yùn)行---")
g_num = 100 #賦值全局變量
if __name__ == '__main__':
print("---主進(jìn)程啟動(dòng)---")
print("在主進(jìn)程運(yùn)行中，g_num = %d"%(g_num))
child1 = Process(target=plus) #實(shí)例化子進(jìn)程1
child2 = Process(target=minus) # 實(shí)例化子進(jìn)程2
child1.start() #啟動(dòng)子進(jìn)程1
child2.start()
child1.join() #等待子進(jìn)程結(jié)束
child2.join()
print("---主進(jìn)程結(jié)束---")
由以上例子可見(jiàn)，對(duì)于進(jìn)程1，2而言，全局變量g_num并不互相影響。即有如下關(guān)系：
那么就有如下問(wèn)題了，思考：如何才能實(shí)現(xiàn)進(jìn)程之間的通訊？
答：通過(guò) multiprocessing Queue（隊(duì)列）， Pipes（管道）， 接下來(lái)主要演示 Queue（隊(duì)列）模塊。
2.1 Queue（隊(duì)列）模塊：
2.1.1 隊(duì)列簡(jiǎn)介：
1.新來(lái)的排隊(duì)的在隊(duì)尾
2.最前面的完成離隊(duì)后，后面一個(gè)跟上
多進(jìn)程隊(duì)列的使用Queue， 本身他就是一個(gè)消息隊(duì)列程序 ：
實(shí)踐： 當(dāng)Queue(3)時(shí)：
from multiprocessing import Queue #導(dǎo)入隊(duì)列模塊
if __name__ == '__main__':
q = Queue(3) #初始化一個(gè)Queue對(duì)象，最多只能接受3條put信息
#消息寫(xiě)入隊(duì)列
q.put("消息1") #將此消息1寫(xiě)入隊(duì)列
q.put("消息2")
print(q.full()) #q.full() 是驗(yàn)證隊(duì)列是否已滿 沒(méi)滿則返回False
q.put("消息3") #將此消息3寫(xiě)入隊(duì)列
print(q.full()) #q.full() 是驗(yàn)證隊(duì)列是否已滿 滿了則返回Ture
#利用try看看隊(duì)列已滿是否還可再塞入信息
try:
q.put("嘗試塞入第4條信息",True,1) #可能出問(wèn)題的代碼
except:
print("嘗試?yán)胵.put()向隊(duì)列中繼續(xù)添加信息：")
print("隊(duì)列已滿，現(xiàn)有消息數(shù)量為：%d，無(wú)法繼續(xù)添加信息。"%(q.qsize())) #q.qsize() 返回隊(duì)列中的已有信息數(shù)量
try:
q.put_nowait("嘗試塞入第4條信息") # 可能出問(wèn)題的代碼
except:
print("嘗試?yán)胵.put_nowait()向隊(duì)列中繼續(xù)添加信息：")
print("隊(duì)列已滿，現(xiàn)有消息數(shù)量為：%d，無(wú)法繼續(xù)添加信息。" % (q.qsize())) # q.qsize() 返回隊(duì)列中的已有信息數(shù)量
#獲?。ù蛴。╆?duì)列中的信息
if not q.empty():
print("---從隊(duì)列中讀取信息---")
for i in range(q.qsize()): #循環(huán)打印隊(duì)列信息
print(q.get_nowait()) #q.get_nowait() 讀取隊(duì)列信息
解決：
當(dāng)Queue(4)時(shí)，打印的結(jié)果如下，可見(jiàn)此時(shí)可繼續(xù)向隊(duì)列中塞入第4條信息。
小結(jié)：
multiprocessing.Process 可以創(chuàng)建多進(jìn)程，使用multiprocessing Queue可以實(shí)現(xiàn)隊(duì)列操作。
2.2 實(shí)現(xiàn)進(jìn)程間的通信
from multiprocessing import Process,Queue
import time
#子進(jìn)程1：向隊(duì)列中寫(xiě)入數(shù)據(jù)
def write_date(q):
if not q.full(): #若隊(duì)列沒(méi)滿，則寫(xiě)入數(shù)據(jù)
for i in range(5):
date = "數(shù)據(jù)" + str(i)
q.put(date) #向隊(duì)列中寫(xiě)入數(shù)據(jù)
print("已寫(xiě)入：%s" % date)
#子進(jìn)程2：向隊(duì)列中讀取數(shù)據(jù)
def read_date(q):
time.sleep(1) # 休眠1s
while not q.empty():
print("讀取:%s" % q.get(True, 2)) # 等待2s，如果還沒(méi)讀取到消息，拋出異常
#主程序
if __name__ == '__main__':
print("---主程序啟動(dòng)---")
q = Queue() # 父進(jìn)程創(chuàng)建Queue，并傳給各個(gè)子進(jìn)程
write_child = Process(target=write_date,args=(q,)) # 實(shí)例化進(jìn)程對(duì)象，其中args=(q,)表示把隊(duì)列傳給子進(jìn)程1
read_child = Process(target=read_date,args=(q,))
write_child.start() # 啟動(dòng)子進(jìn)程1，寫(xiě)入
read_child.start() # 啟動(dòng)子進(jìn)程2，讀取
write_child.join() # 等待子進(jìn)程1結(jié)束
read_child.join() # 等待子進(jìn)程2結(jié)束
print('-----父進(jìn)程結(jié)束-----')
小結(jié)：
（1）進(jìn)程之間可以通過(guò)隊(duì)列來(lái)實(shí)現(xiàn)通信，但需要注意的是，隊(duì)列中的信息遵循“先進(jìn)先出”的原則。如上數(shù)據(jù)那樣，先寫(xiě)入數(shù)據(jù)0，則最先讀出的數(shù)據(jù)也是數(shù)據(jù)0；
（2）如：
在父進(jìn)程中創(chuàng)建隊(duì)列，再利用Process模塊實(shí)例化子進(jìn)程對(duì)象，target參數(shù)為子進(jìn)程的函數(shù)名，args參數(shù)即為隊(duì)列。
總結(jié)
本篇文章就到這里了，希望能夠給你帶來(lái)幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
相關(guān)文章
python?playwright?庫(kù)上傳和下載操作(自動(dòng)化測(cè)試?playwright)
這篇文章主要介紹了python?playwright?庫(kù)上傳和下載操作(自動(dòng)化測(cè)試?playwright?),playwright中的上傳和下載比selenium的上傳和下載要簡(jiǎn)便些,本文結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下2023-05-05
Python圖片轉(zhuǎn)gif方式(將靜態(tài)圖轉(zhuǎn)化為分塊加載的動(dòng)態(tài)圖)
這篇文章主要介紹了Python圖片轉(zhuǎn)gif方式(將靜態(tài)圖轉(zhuǎn)化為分塊加載的動(dòng)態(tài)圖),具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-11-11
18個(gè)Python入門(mén)經(jīng)典必背的程序分享
這篇文章主要為大家介紹了Python入門(mén)經(jīng)典必背的18個(gè)程序。注意：這是初學(xué)者要牢記的 18 個(gè)代碼，入門(mén)之后就簡(jiǎn)單了，快跟隨小編一起來(lái)學(xué)習(xí)一下吧2023-02-02
PyQt5使用mimeData實(shí)現(xiàn)拖拽事件教程示例解析上
這篇文章主要為大家介紹了PyQt中如何使用mimeData實(shí)現(xiàn)拖拽事件的示例解析過(guò)程，有需要的朋友可以借鑒參考下希望能夠有所幫助，祝大家多多進(jìn)步2021-10-10
這篇文章主要為大家介紹了python裝飾器"@"使用實(shí)例深入探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
Python實(shí)現(xiàn)進(jìn)程同步和通信的方法
本篇文章主要介紹了Python實(shí)現(xiàn)進(jìn)程同步和通信的方法，詳細(xì)的介紹了Process、Queue、Pipe、Lock等組件，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-01-01
今天小編就為大家分享一篇django加載本地html的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
Python異常處理之常見(jiàn)異常類型絕佳實(shí)踐詳解
這篇文章主要為大家介紹了Python異常處理之常見(jiàn)異常類型絕佳實(shí)踐詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-09-09
在這篇文章中，我們將專注于討論P(yáng)ython中的多進(jìn)程編程，例如進(jìn)程的創(chuàng)建、管理和同步，以及一些更高級(jí)的概念，如進(jìn)程池，需要的可以參考一下2023-07-07
解決Pandas生成Excel時(shí)的sheet問(wèn)題的方法總結(jié)
估計(jì)有不少小伙伴在將 DataFrame導(dǎo)入到Excel的時(shí)候，遇到過(guò)下面這種尷尬的情況：想給一個(gè)現(xiàn)有的Excel文件追加一個(gè)sheet，結(jié)果發(fā)現(xiàn)其它的sheet都沒(méi)了等，本文就來(lái)告訴你如何解決這些問(wèn)題2022-08-08