python中watchdog文件監(jiān)控與檢測(cè)上傳功能
引言
上一篇介紹完了觀察者模式的原理,本篇想就此再介紹一個(gè)小應(yīng)用,雖然我也就玩了一下午,是當(dāng)時(shí)看observer正好找到的,以及還有Django-observer,但Django很久沒用了,所以提下這個(gè)作為一個(gè)筆記。
watchdog介紹
Watchdog的中文的“看門狗”,有保護(hù)的意思。最早引入Watchdog是在單片機(jī)系統(tǒng)中,由于單片機(jī)的工作環(huán)境容易受到外界磁場(chǎng)的干擾,導(dǎo)致程序“跑飛”,造成整個(gè)系統(tǒng)無法正常工作,因此,引入了一個(gè)“看門狗”,對(duì)單片機(jī)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè),針對(duì)運(yùn)行故障做一些保護(hù)處理,譬如讓系統(tǒng)重啟。這種Watchdog屬于硬件層面,必須有硬件電路的支持。
Linux也引入了Watchdog,在Linux內(nèi)核下,當(dāng)Watchdog啟動(dòng)后,便設(shè)定了一個(gè)定時(shí)器,如果在超時(shí)時(shí)間內(nèi)沒有對(duì)/dev/Watchdog進(jìn)行寫操作,則會(huì)導(dǎo)致系統(tǒng)重啟。通過定時(shí)器實(shí)現(xiàn)的Watchdog屬于軟件層面。
嗯,這樣的嘛。好像上面這段話沒啥用,連成為談資都不行。我也是直接百度第一篇復(fù)制一段當(dāng)做介紹,習(xí)慣使然。(手動(dòng)狗頭)
在python中文件監(jiān)控主要有兩個(gè)庫(kù),一個(gè)是pyinotify ( https://github.com/seb-m/pyinotify/wiki ),一個(gè)是watchdog(http://pythonhosted.org/watchdog/)。pyinotify依賴于Linux平臺(tái)的inotify,后者則對(duì)不同平臺(tái)的的事件都進(jìn)行了封裝。
watchdog使用
在python中可以直接通過pip安裝:
pip install watchdog -i https://pypi.tuna.tsinghua.edu.cn/simple
watchdog主要采用觀察者模型。主要有三個(gè)角色:observer,event_handler,被監(jiān)控的文件夾。三者原本是獨(dú)立的,主要通過observer.schedule函數(shù)將三者串起來。
事件類(event):
watchdog.events.FileSystemEvent(event_type, src_path, is_directory=False)
- event_type為事件類型,為moved、deleted、created或modified的其中之一
- src_path為觸發(fā)該事件的文件或目錄路徑
- is_directory為該事件是否由一個(gè)目錄觸發(fā)
watchdog能實(shí)現(xiàn)在不同平臺(tái)下都能兼容,并監(jiān)控相關(guān)事件,但是如果在Windows下,是有很多問題的,具體的會(huì)在后面提出,那懂了事件類,我們就可以看看事件處理方法:
那現(xiàn)在有了處
def on_created(event): print(f"hey, {event.src_path} has been created!") def on_deleted(event): print(f"Someone deleted {event.src_path}!") def on_modified(event): print(f"hey buddy, {event.src_path} has been modified") def on_moved(event): print(f"ok ok ok, someone moved {event.src_path} to {event.dest_path}")
理事件的函數(shù),就需要在主程序里創(chuàng)建一個(gè)監(jiān)聽程序了:
path = "." go_recursively = True my_observer = Observer() my_observer.schedule(my_event_handler, path, recursive=True)
observer.schedule(event_handler, path, recursive=False)相當(dāng)于實(shí)例化監(jiān)聽對(duì)象,監(jiān)控指定路徑path,該路徑觸發(fā)任何事件都會(huì)調(diào)用event_handler來處理,如果path是目錄,則recursive=True則會(huì)遞歸監(jiān)控該目錄的所有變化。每一次調(diào)用schedule()對(duì)一個(gè)路徑進(jìn)行監(jiān)控處理就叫做一個(gè)watch,schedule()方法會(huì)返回這個(gè)watch,接著可以對(duì)這個(gè)watch做其他操作,如為該watch增加多個(gè)event處理器等。
那了解到這里,就可以寫一個(gè)demo程序進(jìn)行測(cè)試了:
from watchdog.observers import Observer from watchdog.events import * import time class FileEventHandler(FileSystemEventHandler): def __init__(self): FileSystemEventHandler.__init__(self) def on_moved(self, event): if event.is_directory: print("directory moved from {0} to {1}".format(event.src_path,event.dest_path)) else: print("file moved from {0} to {1}".format(event.src_path,event.dest_path)) def on_created(self, event): if event.is_directory: print("directory created:{0}".format(event.src_path)) else: print("file created:{0}".format(event.src_path)) def on_deleted(self, event): if event.is_directory: print("directory deleted:{0}".format(event.src_path)) else: print("file deleted:{0}".format(event.src_path)) def on_modified(self, event): if event.is_directory: print("directory modified:{0}".format(event.src_path)) else: print("file modified:{0}".format(event.src_path)) if __name__ == "__main__": observer = Observer() event_handler = FileEventHandler() observer.schedule(event_handler,r"D:\code\dingshirenwu",True) observer.start() try: while True: time.sleep(1) except KeyboardInterrupt: observer.stop() observer.join()
代碼參考自python中文件變化監(jiān)控-watchdog
不過這里只是監(jiān)控了單個(gè),我們可以通過循環(huán)來監(jiān)控多個(gè)文件夾:
dirs = [r'D:\code\dingshirenwu', r'D:\code\tuiliu'] for dir in dirs: event_handler = FileEventHandler() observer.schedule(event_handler, dir, True) observer.start()
到此為止,基本上已經(jīng)知道這個(gè)模塊到底怎么用了,但當(dāng)我準(zhǔn)備在事件里加一個(gè)上傳機(jī)制的時(shí)候,發(fā)現(xiàn)Windows下的一些問題。Windows下watchdog并沒有權(quán)限去監(jiān)控文件是否完整。即我有一個(gè)大文件,2G的視頻即使是內(nèi)部百M(fèi)傳輸,也需要幾十秒的時(shí)間,但watchdog只能接收到文件創(chuàng)建的時(shí)間就立刻進(jìn)行了文件上傳,而不是同Linux并使用的inotify,似乎沒有什么好的辦法,我也只是能上傳一些比較小的如圖片等秒傳秒下的文件,下面為我的代碼:
import logging import queue import threading import time import watchdog.observers as observers import watchdog.events as events from ftplib import FTP logger = logging.getLogger(__name__) SENTINEL = None def upload(f, remote_path, local_path): fp = open(local_path, "rb") buf_size = 1024 f.storbinary("STOR {}".format(remote_path), fp, buf_size) fp.close() class MyEventHandler(events.FileSystemEventHandler): def on_any_event(self, event): super(MyEventHandler, self).on_any_event(event) queue.put(event) def __init__(self, queue): self.queue = queue def process(queue): while True: event = queue.get() logger.info(event) print(event.key) # tuple ('modified', 'C:\\Users\\admin\\Desktop\\公司文件\\test\\GitHub\\isadb\\.idea', True) if (event.key)[0] == "created": upload(ftp, remote_path, event.src_path) if __name__ == '__main__': logging.basicConfig(level=logging.DEBUG, format='[%(asctime)s %(threadName)s] %(message)s', datefmt='%H:%M:%S') ftp = FTP() ftp.connect("x.x.x.x", 21) # 第一個(gè)參數(shù)可以是ftp服務(wù)器的ip或者域名,第二個(gè)參數(shù)為ftp服務(wù)器的連接端口,默認(rèn)為21 ftp.login(username, password) # 匿名登錄直接使用ftp.login() queue = queue.Queue() num_workers = 4 pool = [threading.Thread(target=process, args=(queue,)) for i in range(num_workers)] for t in pool: t.daemon = True t.start() event_handler = MyEventHandler(queue) observer = observers.Observer() observer.schedule( event_handler, path=r'C:\Users\admin\Desktop\公司文件\test\GitHub\isadb', recursive=True) observer.start() try: while True: time.sleep(1) except KeyboardInterrupt: observer.stop() observer.join()
建立了一個(gè)工作線程池,而不是累積文件系統(tǒng)事件,該線程從一個(gè)公共隊(duì)列中獲取任務(wù)。上傳文件我是寫了一個(gè)類調(diào)用,但那個(gè)文件找不到了。。所以改用了函數(shù),這里會(huì)有問題是:IOError: [Errno 13] Permission denied: u'D:\pycharm\test.mp4'
然后再Stack Overflow找到了一個(gè)解決方案:當(dāng)上傳一個(gè)大文件的時(shí)候,同時(shí)上傳一個(gè)空文本,記錄這個(gè)文件的大小,然后對(duì)這個(gè)文件進(jìn)行輪詢,只有當(dāng)該文件的大小不再發(fā)生變化時(shí),我們認(rèn)為這個(gè)文件已經(jīng)生成成功,這時(shí)再考慮上傳,不過我也就寫個(gè)demo,太麻煩了。。。如果有人有更好的方式,可以評(píng)論或者私信我。
到此這篇關(guān)于python中watchdog文件監(jiān)控與檢測(cè)上傳的文章就介紹到這了,更多相關(guān)python watchdog監(jiān)控文件內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python實(shí)戰(zhàn)之能監(jiān)控文件變化的神器—看門狗
- 教你怎么用Python監(jiān)控愉客行車程
- python使用pynput庫(kù)操作、監(jiān)控你的鼠標(biāo)和鍵盤
- python 自動(dòng)監(jiān)控最新郵件并讀取的操作
- 用pushplus+python監(jiān)控亞馬遜到貨動(dòng)態(tài)推送微信
- 用python監(jiān)控服務(wù)器的cpu,磁盤空間,內(nèi)存,超過郵件報(bào)警
- 如何基于Python和Flask編寫Prometheus監(jiān)控
- python 監(jiān)控logcat關(guān)鍵字功能
- 用Python監(jiān)控NASA TV直播畫面的實(shí)現(xiàn)步驟
相關(guān)文章
python 圖像判斷,清晰度(明暗),彩色與黑白實(shí)例
這篇文章主要介紹了python 圖像判斷,清晰度(明暗),彩色與黑白實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06Python?OpenCV中常用圖片處理函數(shù)小結(jié)
在計(jì)算機(jī)視覺和圖像處理領(lǐng)域,OpenCV(Open?Source?Computer?Vision?Library)是一個(gè)非常強(qiáng)大和流行的開源庫(kù),本文將介紹一些常用的OpenCV函數(shù),希望對(duì)大家有所幫助2024-03-03Python數(shù)據(jù)分析之Numpy庫(kù)的使用詳解
NumPy(Numerical Python)是Python的一種開源的數(shù)值計(jì)算擴(kuò)展。這種工具可用來存儲(chǔ)和處理大型矩陣,比Python自身的嵌套列表結(jié)構(gòu)要高效的多(該結(jié)構(gòu)也可以用來表示矩陣(matrix)),支持大量的維度數(shù)組與矩陣運(yùn)算,此外也針對(duì)數(shù)組運(yùn)算提供大量的數(shù)學(xué)函數(shù)庫(kù)2021-11-11Python爬蟲定時(shí)計(jì)劃任務(wù)的幾種常見方法(推薦)
這篇文章主要介紹了Python爬蟲定時(shí)計(jì)劃任務(wù)的幾種常見方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01python開發(fā)的自動(dòng)化運(yùn)維工具ansible詳解
ansible是新出現(xiàn)的自動(dòng)化運(yùn)維工具,基于Python開發(fā),集合了眾多運(yùn)維工具(puppet、chef、func、fabric)的優(yōu)點(diǎn),實(shí)現(xiàn)了批量系統(tǒng)配置、批量程序部署、批量運(yùn)行命令等功能,這篇文章主要介紹了python開發(fā)的自動(dòng)化運(yùn)維工具ansible詳解,需要的朋友可以參考下2021-08-08windows中python實(shí)現(xiàn)自動(dòng)化部署
本文主要介紹了windows中python實(shí)現(xiàn)自動(dòng)化部署,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08