用python記錄運(yùn)行pid,并在需要時(shí)kill掉它們的實(shí)例
我在跑爬蟲(chóng)程序的時(shí)候,由于爬蟲(chóng)程序的等待目標(biāo)服務(wù)器返回?cái)?shù)據(jù)的時(shí)間很長(zhǎng),而cpu占用很低,所以經(jīng)常掛著代理一跑就跑好幾百個(gè)。但是爬蟲(chóng)程序通常是寫(xiě)了死循環(huán),或直到分配給該進(jìn)程的任務(wù)都跑完才退出的。如果我們想中途結(jié)束掉這些任務(wù),是沒(méi)辦法手工一個(gè)一個(gè)kill掉的。那么該如何結(jié)束這些進(jìn)程呢?
我的方法就是在運(yùn)行爬蟲(chóng)進(jìn)程時(shí),記錄該進(jìn)程的Pid,然后在需要手動(dòng)結(jié)束時(shí),再用語(yǔ)句kill掉它們。
for i in {1..100} do nohup python NetEase_comms_proxy.py > hehe.dat 2>&1 & echo $! >> run.pid sleep 10 done
上述語(yǔ)句完成了將腳本在后臺(tái)運(yùn)行100便,并且將pid append到run.pid文件中。其中nohup 是 no hang up的縮寫(xiě)命令。do…done之間是被循環(huán)的語(yǔ)句。
接下來(lái)就是kill掉它們的語(yǔ)句了,我用的python
import os if __name__ == '__main__': fin = open('run.pid', 'r') pids = [] for line in fin: pids.append(line.strip()) for pid in pids: cmd = 'kill ' + pid os.system(cmd)
這樣就把記錄下來(lái)的pid全部kill掉了。
但需要注意的一點(diǎn)時(shí),如果在任務(wù)運(yùn)行期間,有的進(jìn)程由于完成任務(wù)或者出錯(cuò)而退出。其他的程序可能會(huì)share這些進(jìn)程的Pid,這樣如果在運(yùn)行kill腳本的時(shí)候,可能附帶就把這些進(jìn)程也給Kill掉了,造成不必要的麻煩。
以上這篇用python記錄運(yùn)行pid,并在需要時(shí)kill掉它們的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- Python獲取系統(tǒng)所有進(jìn)程PID及進(jìn)程名稱(chēng)的方法示例
- python使用標(biāo)準(zhǔn)庫(kù)根據(jù)進(jìn)程名如何獲取進(jìn)程的pid詳解
- python爬蟲(chóng)框架talonspider簡(jiǎn)單介紹
- python 根據(jù)pid殺死相應(yīng)進(jìn)程的方法
- 以Python的Pyspider為例剖析搜索引擎的網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)方法
- 使用python 獲取進(jìn)程pid號(hào)的方法
- python實(shí)現(xiàn)PID算法及測(cè)試的例子
相關(guān)文章
python連接并簡(jiǎn)單操作SQL?server數(shù)據(jù)庫(kù)詳細(xì)步驟
python作為一門(mén)十分火熱的編程語(yǔ)言,操作數(shù)據(jù)庫(kù)自然是必不可少的,下面這篇文章主要給大家介紹了關(guān)于python連接并簡(jiǎn)單操作SQL?server數(shù)據(jù)庫(kù)的相關(guān)資料,需要的朋友可以參考下2023-06-06一文帶你掌握Python內(nèi)置reversed函數(shù)的使用
Python作為一門(mén)強(qiáng)大的編程語(yǔ)言,提供了許多內(nèi)置函數(shù)來(lái)處理各種數(shù)據(jù)結(jié)構(gòu)和對(duì)象,本文將詳細(xì)探討reversed函數(shù)的用法、示例代碼以及實(shí)際應(yīng)用場(chǎng)景,需要的可以參考下2024-01-01python機(jī)器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)(一)
這篇文章主要為大家詳細(xì)介紹了python機(jī)器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)第一篇,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-12-12基于Python實(shí)現(xiàn)通過(guò)微信搜索功能查看誰(shuí)把你刪除了
這篇文章主要介紹了基于Python實(shí)現(xiàn)微信搜索查看誰(shuí)把你刪除了的相關(guān)資料,需要的朋友可以參考下2016-01-01Python第三方常用模塊openpyxl的簡(jiǎn)單介紹
openpyxl模塊是一個(gè)讀寫(xiě)Excel?2010文檔的Python庫(kù),如果要處理更早格式的Excel文檔,需要用到額外的庫(kù),openpyxl是一個(gè)比較綜合的工具,能夠同時(shí)讀取和修改Excel文檔,下面這篇文章主要給大家介紹了關(guān)于Python第三方常用模塊openpyxl的相關(guān)資料,需要的朋友可以參考下2022-08-08