Python利用watchdog模塊監(jiān)控文件變化
假設(shè)現(xiàn)在有一個(gè)應(yīng)用場(chǎng)景,需要對(duì)文件系統(tǒng)進(jìn)行監(jiān)控,發(fā)生變化時(shí)產(chǎn)生日志,對(duì)新增的文件做一些相應(yīng)的操作。
比如說應(yīng)用到我們之前的音樂高潮提取器:若當(dāng)前文件夾下增加了一個(gè)音樂文件,監(jiān)控器就調(diào)用音樂高潮提取器,自動(dòng)提取該音樂文件的高潮部分。
這樣的監(jiān)控器寫起來(lái)也不難,但是很花時(shí)間,有許多情況要考慮。不過幸好我們是寫Python的,有許多輪子可以使用,本文介紹的就是一個(gè)名為 watchdog 的模塊,它能幫助我們實(shí)現(xiàn)上述功能。
1.準(zhǔn)備
開始之前,你要確保Python和pip已經(jīng)成功安裝在電腦上,如果沒有,可以訪問這篇文章:超詳細(xì)Python安裝指南 進(jìn)行安裝。
如果你用Python的目的是數(shù)據(jù)分析,可以直接安裝Anaconda,它內(nèi)置了Python和pip.
Windows環(huán)境下打開Cmd(開始—運(yùn)行—CMD),蘋果系統(tǒng)環(huán)境下請(qǐng)打開Terminal(command+空格輸入Terminal),準(zhǔn)備開始輸入命令安裝依賴。
當(dāng)然,我更推薦大家用VSCode編輯器,把本文代碼Copy下來(lái),在編輯器下方的終端運(yùn)行命令安裝依賴模塊,多舒服的一件事啊
在終端輸入以下命令安裝我們所需要的依賴模塊:
pip?install?watchdog
看到 Successfully installed xxx 則說明安裝成功。
2.基本使用
看門狗的使用并不復(fù)雜,請(qǐng)認(rèn)真看以下代碼和注釋:
import sys import time import logging from watchdog.observers import Observer from watchdog.events import LoggingEventHandler if __name__ == "__main__": logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(message)s', datefmt='%Y-%m-%d %H:%M:%S') path = sys.argv[1] if len(sys.argv) > 1 else '.' # 生成事件處理器對(duì)象 event_handler = LoggingEventHandler() # 生成監(jiān)控器對(duì)象 observer = Observer() # 注冊(cè)事件處理器,配置監(jiān)控目錄 observer.schedule(event_handler, path, recursive=True) # 監(jiān)控器啟動(dòng)——?jiǎng)?chuàng)建線程 observer.start() # 以下代碼是為了保持主線程運(yùn)行 try: while True: time.sleep(1) except KeyboardInterrupt: observer.stop() # 主線程任務(wù)結(jié)束之后,進(jìn)入阻塞狀態(tài),一直等待其他的子線程執(zhí)行結(jié)束之后,主線程再終止 observer.join()
可以看到代碼中有幾個(gè)關(guān)鍵步驟,
1.配置各項(xiàng)信息;
2.生成事件處理器、監(jiān)控器;
3.注冊(cè)事件處理器、配置目錄、遞歸執(zhí)行(即同時(shí)監(jiān)控子文件夾);
4:啟動(dòng)。
其實(shí),看門狗的observer是基于threading.Thread
對(duì)象的,所以observer很多屬性都繼承了 threading.Thread 的屬性。
如果你不帶參數(shù)地運(yùn)行該腳本,就是要監(jiān)控腳本文件所在的文件夾,如果要監(jiān)控其他文件夾,記得運(yùn)行時(shí)帶文件夾的路徑參數(shù),如:
python obserber.py /data/home/ckend/
我們來(lái)試著運(yùn)行看看:
可以看到,我在當(dāng)前文件夾下做的所有操作都被記錄下來(lái)了。接下來(lái)我們就試試怎么自定義一些操作。
3.監(jiān)控文件變化
如果你不知道怎么提取音樂文件的高潮部分,請(qǐng)看這篇文章:《Python自動(dòng)提取音樂文件高潮》。
要實(shí)現(xiàn)這樣的功能,我們有幾種方法,一個(gè)是在原來(lái)log的處理器上做一些新增修改,比如多增一個(gè)函數(shù)調(diào)用音樂高潮提取器。第二個(gè)是重新繼承 FileSystemEventHandler 類,并做相應(yīng)的修改。這里我們還是要保留log的樣式,只是在log的時(shí)候順便提取音樂高潮,因此采用第一個(gè)方法。
看看 LoggingEventHandler
源代碼中的 on_created
,這就是當(dāng)文件創(chuàng)建時(shí)監(jiān)控器的操作:
class LoggingEventHandler(FileSystemEventHandler): """Logs all the events captured.""" ? # ...省略其他源代碼... ? def on_created(self, event): super(LoggingEventHandler, self).on_created(event) ? what = 'directory' if event.is_directory else 'file' logging.info("Created %s: %s", what, event.src_path)
我們僅需要繼承這個(gè)類并對(duì) on_created
進(jìn)行修改,就能完成我們想要的功能:
# Python實(shí)用寶典 # 2019/12/29 import sys import time import logging from watchdog.observers import Observer from watchdog.events import LoggingEventHandler from pychorus import find_and_output_chorus class extractor(LoggingEventHandler): def on_created(self, event): super(LoggingEventHandler, self).on_created(event) what = 'directory' if event.is_directory else 'file' logging.info("Created %s: %s", what, event.src_path) NameExt = event.src_path.split('.') if NameExt[-1] == 'mp3': logging.info("mp3文件, 提取音樂高潮中...") output_path = "."+"".join(NameExt[:-1])+'_high.wav' find_and_output_chorus(event.src_path, output_path, 30) if __name__ == "__main__": logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(message)s', datefmt='%Y-%m-%d %H:%M:%S') path = sys.argv[1] if len(sys.argv) > 1 else '.' # 生成事件處理器對(duì)象 event_handler = extractor() # 生成監(jiān)控器對(duì)象 observer = Observer() # 注冊(cè)事件處理器 observer.schedule(event_handler, path, recursive=True) # 監(jiān)控器啟動(dòng)——?jiǎng)?chuàng)建線程 observer.start() # 以下代碼是為了保持主線程運(yùn)行 try: while True: time.sleep(1) except KeyboardInterrupt: observer.stop() # 主線程任務(wù)結(jié)束之后,進(jìn)入阻塞狀態(tài),一直等待其他的子線程執(zhí)行結(jié)束之后,主線程再終止 observer.join()
首先聲明一個(gè)類,繼承 LoggingEventHandler
,然后重載 on_created
函數(shù),在這個(gè)函數(shù)中不僅記錄文件事件變化,還要對(duì)mp3文件做一次音樂高潮提取。最后別忘了,生成事件處理器時(shí)要用我們新的類名。
看看效果,將小永遠(yuǎn).mp3復(fù)制過來(lái):
成功監(jiān)控文件變化并提取到音樂高潮,生成高潮文件。這樣,只要你保持這個(gè)Python進(jìn)程不關(guān)閉,它就會(huì)一直監(jiān)控這個(gè)文件夾,一旦有音樂文件進(jìn)入,就會(huì)自動(dòng)提取它的音樂高潮,在linux系統(tǒng)下,可以搭配supervisor使用,非常好用。
到此這篇關(guān)于Python利用watchdog模塊監(jiān)控文件變化的文章就介紹到這了,更多相關(guān)Python watchdog模塊內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python實(shí)現(xiàn)的密碼強(qiáng)度檢測(cè)器示例
這篇文章主要介紹了Python實(shí)現(xiàn)的密碼強(qiáng)度檢測(cè)器,結(jié)合實(shí)例形式分析了Python密碼強(qiáng)度檢測(cè)的原理與實(shí)現(xiàn)方法,涉及Python字符串運(yùn)算與轉(zhuǎn)換、判斷等相關(guān)操作技巧,需要的朋友可以參考下2017-08-08python實(shí)現(xiàn)決策樹分類算法代碼示例
決策樹分類算法是最為常見的一種分類算法,通過屬性劃分來(lái)建立一棵決策樹,測(cè)試對(duì)象通過在樹上由頂向下搜索確定所屬的分類,下面這篇文章主要給大家介紹了關(guān)于python實(shí)現(xiàn)決策樹分類算法的相關(guān)資料,需要的朋友可以參考下2022-06-06Python實(shí)現(xiàn)的服務(wù)器示例小結(jié)【單進(jìn)程、多進(jìn)程、多線程、非阻塞式】
這篇文章主要介紹了Python實(shí)現(xiàn)的服務(wù)器,結(jié)合實(shí)例形式分析了Python實(shí)現(xiàn)單進(jìn)程、多進(jìn)程、多線程、非阻塞式服務(wù)器的相關(guān)操作技巧,需要的朋友可以參考下2019-05-05解決Linux系統(tǒng)中python matplotlib畫圖的中文顯示問題
這篇文章主要介紹了解決Linux系統(tǒng)中python matplotlib畫圖的中文顯示問題,需要的朋友可以參考下2017-06-06在Python開發(fā)環(huán)境中調(diào)用ChatGPT模型詳細(xì)過程
在開發(fā)過程當(dāng)中時(shí)常需要使用 ChatGPT 來(lái)完成一些任務(wù),但總是使用網(wǎng)頁(yè)交互模式去 Web 端訪問 ChatGPT 是很麻煩的,這時(shí)候我們可以使用代碼來(lái)調(diào)用 ChatGPT 模型,本文將詳細(xì)介紹在 Python 開發(fā)環(huán)境中調(diào)用 ChatGPT 模型過程,,需要的朋友可以參考下2023-05-05