之前寫了個(gè)python腳本用selenium+phantomjs爬新帖子，在循環(huán)拉取頁面的過程中，phantomjs總是block住，使用WebDriverWait設(shè)置最長等待時(shí)間無效。用firefox替換phantomjs無改善

因?yàn)檫@個(gè)腳本不會(huì)長期使用，因此采取臨時(shí)辦法，新開一個(gè)子線程固定周期殺死phantomjs進(jìn)程，這樣selenium就會(huì)在block最多不超過此周期后返回。當(dāng)然在爬蟲腳本中做一些微調(diào)防止部分url被跳過

定時(shí)執(zhí)行任務(wù)采用sched模塊，很多人將其與crontab相提并論

殺死特定進(jìn)程的命令

獲取名為phantomjs的進(jìn)程pid

ps命令列出進(jìn)程信息

grep過濾得指定名字的進(jìn)程信息

awk '{print $2}'提取第二列pid信息

最終命令為：kill -9 `ps -aux|grep phantomjs|awk '{print $2}'`

python可以用os.system()執(zhí)行shell命令

使用sched模塊周期執(zhí)行任務(wù)

sched模塊使用heapq保存event隊(duì)列，其event為namedtuple類型

sched需要提供兩個(gè)函數(shù)，一個(gè)用來獲取時(shí)間變化，一個(gè)用于等待一段時(shí)間，可自定義

基本API

sched.scheduler(time_func, sleep_func) 函數(shù)返回一個(gè)scheduler對(duì)象，timefunc是一個(gè)返回?cái)?shù)字的計(jì)時(shí)函數(shù)，而sleepfunc可接受此數(shù)字參數(shù)，并延時(shí)相應(yīng)時(shí)間

scheduler.enter(delay, priority, action, argument)在delay時(shí)間段后，用參數(shù)argument調(diào)用action， argument必須是一個(gè)tuple。若要在固定時(shí)刻運(yùn)行，則應(yīng)調(diào)用scheduler.enterabs

scheduler.cancel(event)取消定時(shí)任務(wù)。event為enter函數(shù)返回值

scheduler.run()開始執(zhí)行

任務(wù)時(shí)間重疊

在執(zhí)行任務(wù)時(shí)有可能要block一段時(shí)間，任務(wù)返回后可能已經(jīng)超過下一個(gè)任務(wù)的定時(shí)時(shí)刻，這種情況下會(huì)立刻執(zhí)行下一個(gè)任務(wù)，而不會(huì)跳過

周期執(zhí)行

類似于遞歸調(diào)用，寫一個(gè)wrapper function，在任務(wù)里面再次定時(shí)下一次任務(wù)即可

def wrapper(func, delay):
scheduler.enter(delay, 0, wrapper, (func, delay))
func()

最終代碼

import os, time, sched
schedule = sched.scheduler(time.time, time.sleep)
cmd = '''kill -9 `ps -aux|grep phantomjs|awk '{print $2}'`
'''
def recycle_eval(c, inc):
schedule.enter(inc, 0, recycle_eval, (c, inc))
os.system(c)
print time.ctime(),'phantomjs killed'
if __name__ == '__main__':
inc = 180
schedule.enter(inc, 0, recycle_eval, (cmd, inc))
schedule.run()

以上所述是小編給大家介紹的python定時(shí)殺進(jìn)程的相關(guān)知識(shí)，希望能夠幫助到大家！

最新評(píng)論