快捷導(dǎo)航

Python while true實(shí)現(xiàn)爬蟲定時(shí)任務(wù)

更新時(shí)間：2020年06月08日 11:33:42 作者：戰(zhàn)俘巡航

這篇文章主要介紹了Python爬蟲定時(shí)任務(wù)簡(jiǎn)單實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

記得以前的windows 任務(wù)定時(shí)是可以的正常使用的，今天試了下，發(fā)現(xiàn)不能正常使用了，任務(wù)計(jì)劃總是掛起。

接下來(lái)記錄下python 爬蟲定時(shí)任務(wù)的幾種解決方法。

今天是第一篇，后面會(huì)陸續(xù)更新。

首先最容易的是while true死循環(huán)掛起，上代碼

import osimport timeimport sysfrom datetime import datetime, timedelta
def One_Plan():
   # 設(shè)置啟動(dòng)周期
   Second_update_time = 24 * 60 * 60
   
  # 當(dāng)前時(shí)間
  now_Time = datetime.now()
  # 設(shè)置 任務(wù)啟動(dòng)時(shí)間
  plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0) 
  # 設(shè)置差值，-1 day, 21:48:53.246576，類似于這樣
  # time.sleep()需要傳入int，所以下面使用.total_seconds() 
  # 主要用來(lái)計(jì)算差值，返回int，具體功能可以自行查閱相關(guān)資料
  delta = plan_Time - now_Time
  first_plan_Time = delta.total_seconds() % Second_update_time
  print("距離第一次執(zhí)行需要睡眠%d秒" % first_plan_Time)
  return first_plan_Time

# while Ture代碼塊，掛起程序，睡眠時(shí)間結(jié)束后調(diào)用函數(shù)名進(jìn)行執(zhí)行
while True:

  s1 = One_Plan()
  time.sleep(s1)
  # 下面這里是自己定義的函數(shù)，想跑代碼的可以換成hellow world函數(shù)或者注釋掉這行測(cè)試下
  exe_file(D_list)
  print("正在執(zhí)行首次更新程序")

個(gè)人感覺(jué)使用這種方式進(jìn)行定時(shí)計(jì)劃的啟動(dòng)如果為單個(gè)程序，并且一天執(zhí)行一次的話沒(méi)什么問(wèn)題，如果要考慮到一天執(zhí)行多個(gè)任務(wù)并且一天需要執(zhí)行多次，短板一下就凸顯出來(lái)了，

在工作的情況中還需要考慮到很多因素，比如爬蟲程序需要在晚上12點(diǎn)和早上6點(diǎn)，9點(diǎn)，下午3點(diǎn)執(zhí)行四次，并且需要同時(shí)執(zhí)行4個(gè)爬蟲，還需要考慮到網(wǎng)絡(luò)是否穩(wěn)定，如果程序掛掉該怎么處理等等因素

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

一文詳細(xì)介紹PyQt5 QPushButton() 的作用
通過(guò)本文的介紹,相信你已經(jīng)對(duì)PyQt5中的QPushButton控件有了深入的了解,從基礎(chǔ)介紹到常用屬性和方法,再到應(yīng)用場(chǎng)景和樣式定制,本文為你提供了全面的指南,感興趣的朋友跟隨小編一起看看吧
2024-08-08
Python Request爬取seo.chinaz.com百度權(quán)重網(wǎng)站的查詢結(jié)果過(guò)程解析
這篇文章主要介紹了Request爬取網(wǎng)站（seo.chinaz.com）百度權(quán)重的查詢結(jié)果過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-08-08
在Python的Django框架中使用通用視圖的方法
這篇文章主要介紹了在Python的Django框架中使用通用視圖的方法,同時(shí)提到了相關(guān)的安全問(wèn)題，需要的朋友可以參考下
2015-07-07
聊聊Python中的@符號(hào)是什么意思
@符號(hào)用做函數(shù)的修飾符,可以在模塊或者類的定義層內(nèi)對(duì)函數(shù)進(jìn)行修飾,下面這篇文章主要給大家介紹了關(guān)于Python中@符號(hào)是什么意思的相關(guān)資料,需要的朋友可以參考下
2021-09-09
python使用正則表達(dá)式分析網(wǎng)頁(yè)中的圖片并進(jìn)行替換的方法
這篇文章主要介紹了python使用正則表達(dá)式分析網(wǎng)頁(yè)中的圖片并進(jìn)行替換的方法,涉及Python使用正則表達(dá)式的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
2015-03-03
python yield和Generator函數(shù)用法詳解
這篇文章主要介紹了python yield和Generator函數(shù)用法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-02-02
基于Python實(shí)現(xiàn)的戀愛(ài)對(duì)話小程序詳解
這篇文章主要介紹了基于Python制作一個(gè)戀愛(ài)對(duì)話小程序，文章詳細(xì)介紹了小程序的實(shí)現(xiàn)過(guò)程，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)學(xué)習(xí)
2022-01-01
Pytorch高階OP操作where，gather原理
這篇文章主要介紹了Pytorch高階OP操作where，gather原理,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-04-04
win8下python3.4安裝和環(huán)境配置圖文教程
這篇文章主要為大家詳細(xì)介紹了win8下python3.4安裝和環(huán)境配置圖文教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-07-07
Pytorch可視化之Visdom使用實(shí)例
Visdom 是一個(gè)專門用于 PyTorch 的交互式可視化工具,可以對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行豐富的可視化,幫助我們實(shí)時(shí)監(jiān)控在遠(yuǎn)程服務(wù)器上進(jìn)行的科學(xué)實(shí)驗(yàn),這篇文章主要給大家介紹了關(guān)于Pytorch可視化之Visdom使用的相關(guān)資料,需要的朋友可以參考下
2021-08-08