淺談python多線程和隊列管理shell程序
首先來描述下環(huán)境,在機器上有很多個JAVA程序,我們在每個JAVA程序里都配置了一個啟動|停止|重啟的腳本
舉個例子:
我們現(xiàn)在要同時運行這些腳本,來達到快速啟動所有的JAVA程序,如果我們只用多線程的話,線程是不會返回消息給父進程,我們如何才能知道這些程序是啟動成功了呢?
所以我們用到了隊列來管理。
"""我試過gevent,但是會在command這里造成阻塞"""
gevent代碼如下 如果有朋友知道如何優(yōu)化,請您告訴我
#!/usr/bin/python2.7 # -*- coding:utf-8 -*- import os,sys from datetime import datetime import commands import gevent.monkey gevent.monkey.patch_os() import gevent def Servers(): servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''') servers=servers.split('\n') return servers def handle(servername): if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart': print '\033[1;31;40m' print '========================>>>go to handle %s<<<=========================' %servername print '\033[0m' r=commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1])) #在這里會阻塞,我們無法找到合適的地方進行協(xié)程的切換 gevent.sleep(0) #無論放到何處,不是之前就是切換之后都會阻塞。 print r else: print 'Please Use start | stop | restart To Handle The Command' sys.exit(1) if __name__ == '__main__': s=Servers() threads=[] for i in s: threads.append(gevent.spawn(handle,i)) # print threads gevent.joinall(threads)
多線程代碼如下
#!/usr/bin/python2.7 # -*- coding:utf-8 -*- from datetime import datetime import commands from Queue import Queue from threading import Thread _sentinel = object() def Servers(): servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''') servers=servers.split('\n') return servers def producer(servername,out_q): if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart': print '\033[1;31;40m' print '========================>>>put %s in Queue<<<=========================' %servername print '\033[0m' out_q.put_nowait(commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1]))) #放入隊列的對象 else: print 'Please Use start | stop | restart To Handle The Command' sys.exit(1) def consumer(servername,in_q): n=len(servername) while n > 0: #循環(huán)在隊列中取結果,直到循環(huán)結束 data=in_q.get() n -= 1 print '\033[1;31;40m' print data print '\033[0m' print '\033[1;31;40m' print 'consumer was done!!!!!!!' print '\033[0m' if __name__ == '__main__': s=Servers() q = Queue() t1 = Thread(target=consumer, args=(s,q,)) #消費者在隊列中獲取結果,前面的函數(shù)內部已經(jīng)循環(huán)獲取 for i in s: t2=Thread(target=producer, args=(i,q,)) #講線程進行管理,放入隊列 t2.start() #啟動生產者線程 # t2.join() #啟動生產者以后放棄校驗線程是否結束,進行并發(fā),因為我們是把線程放入隊列進行管理的,所以不用在這里等待線程結束,如果使用了join這里會阻塞我們的程序。線程結束后,消費者會通知父進程線程已經(jīng)結束。 t1.start() #啟動消費者線程 t1.join() #在獲取完成之前進行線程的阻塞
簡單的說下join這個方法:
調用Thread.join將會使主調線程堵塞,直到被調用線程運行結束或超時。參數(shù)timeout是一個數(shù)值類型,表示超時時間,如果未提供該參數(shù),那么主調線程將一直堵塞到被調線程結束。
以上所述就是本文的全部內容了,希望大家能夠喜歡。
相關文章
Python中利用函數(shù)裝飾器實現(xiàn)備忘功能
這篇文章主要介紹了Python中利用函數(shù)裝飾器實現(xiàn)備忘功能,同時還降到了利用裝飾器來檢查函數(shù)的遞歸、確保參數(shù)傳遞的正確,需要的朋友可以參考下2015-03-03python3實現(xiàn)mysql導出excel的方法
這篇文章主要介紹了python3實現(xiàn)mysql導出excel的方法,本文通過實例代碼給大家介紹的非常詳細,具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-07-07python list count統(tǒng)計個數(shù)的實現(xiàn)
這篇文章主要介紹了python list count統(tǒng)計個數(shù)的實現(xiàn)方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-02-02