golang實現(xiàn)實時監(jiān)聽文件并自動切換目錄
應(yīng)用程序使用golang開發(fā),日志采用zap進(jìn)行記錄,每天會根據(jù)日期自動創(chuàng)建文件夾存放當(dāng)天日志記錄(log.log、error.log)如下圖所示,如何實時記錄日志內(nèi)容,進(jìn)行持久化入庫,并且自動根據(jù)日期切換文件夾監(jiān)聽。
解決方案
采用fsnotify來實現(xiàn),fsnotify 是 Go 語言中的一個庫,用于監(jiān)控文件系統(tǒng)事件,例如文件或目錄的創(chuàng)建、刪除、修改等。它提供了一個跨平臺的文件系統(tǒng)通知接口,允許你監(jiān)聽文件系統(tǒng)的變化并采取相應(yīng)的措施。
需要注意的是需要設(shè)計數(shù)據(jù)庫或者緩存來存儲解析日志的offset,不然會出現(xiàn)如果程序重新啟動,會重復(fù)解析日志文件的問題。
核心代碼
package watch import ( "bufio" "fmt" "github.com/fsnotify/fsnotify" "go.uber.org/zap" "io" "os" "path/filepath" "time" ) // 存儲已處理的位置 func saveProcessedOffset(fullFileName, logLevel string, offset int64) { logRunRecord := system.SysRunLogWatchRecord{} // 嘗試從數(shù)據(jù)庫中找到匹配的記錄 global.DB.Where(system.SysRunLogWatchRecord{FullFileName: fullFileName, LogLevel: logLevel}).First(&logRunRecord) // 如果找到了匹配的記錄,則更新 offset 值 if logRunRecord.ID > 0 { logRunRecord.ProcessedOffset = offset global.DB.Save(&logRunRecord) } else { // 沒有找到匹配的記錄,插入新記錄 newLogRecord := system.SysRunLogWatchRecord{ FullFileName: fullFileName, LogLevel: logLevel, ProcessedOffset: offset, } global.DB.Create(&newLogRecord) } } // 從存儲中讀取已處理的位置 func readProcessedOffset(fullFileName, logLevel string) int64 { var logRunRecord system.SysRunLogWatchRecord global.DB.Where("full_file_name = ? and log_level = ?", fullFileName, logLevel).First(&logRunRecord) return logRunRecord.ProcessedOffset } // WatchSysRuntimeLogIncrement 檢測日志 func WatchSysRuntimeLogIncrement(logPath, logLevel string) { watcher, err := fsnotify.NewWatcher() if err != nil { global.LOG.Error("fsnotify watch error:", zap.Error(err)) } defer watcher.Close() ticker := time.NewTicker(1 * time.Minute) global.LOG.Info("啟動一個定時器,每分鐘檢查一次時間并切換目錄") defer ticker.Stop() directory := getCurrentLogDirectory(logPath) initCurrentErrorLog(fmt.Sprintf("%s/%s.log", directory, logLevel)) err = watcher.Add(directory) if err != nil { global.LOG.Error("watcher Add error", zap.Error(err)) } var currentReadFile *os.File // 在循環(huán)外打開文件 logFilePath := fmt.Sprintf("%s/%s.log", directory, logLevel) // 當(dāng)前正在解析的日志文件 currentReadFile, err = os.Open(logFilePath) if err != nil { global.LOG.Error("無法打開文件:", zap.Error(err)) return } var processedOffset int64 for { select { case <-ticker.C: currentDate := time.Now().Format("2006-01-02") newDirectory := fmt.Sprintf("%s%s", logPath, currentDate) if newDirectory != directory { if _, err := os.Stat(fmt.Sprintf("%s/%s.log", newDirectory, logLevel)); err == nil { watcher.Remove(directory) directory = newDirectory err := watcher.Add(newDirectory) if err != nil { global.LOG.Error("無法監(jiān)控新目錄:", zap.Error(err)) } global.LOG.Info("開始監(jiān)控新文件:" + newDirectory) //監(jiān)控新文件的時候,關(guān)閉舊文件 currentReadFile.Close() logFilePath := fmt.Sprintf("%s/%s.log", directory, logLevel) currentReadFile, err = os.Open(logFilePath) processedOffset = 0 global.LOG.Info("文件已經(jīng)發(fā)生變化,新文件為:" + logFilePath) } else { global.LOG.Info("新文件不存在,繼續(xù)監(jiān)控舊文件") processedOffset = readProcessedOffset(fmt.Sprintf("%s/%s.log", directory, logLevel), logLevel) } } else { processedOffset = readProcessedOffset(fmt.Sprintf("%s/%s.log", directory, logLevel), logLevel) } case event, ok := <-watcher.Events: if !ok { return } if event.Op&fsnotify.Write == fsnotify.Write { global.LOG.Info("解析文件:" + logFilePath) if err != nil { global.LOG.Error("無法打開文件:", zap.Error(err)) continue } currentReadFile.Seek(processedOffset, io.SeekStart) scanner := bufio.NewScanner(currentReadFile) for scanner.Scan() { line := scanner.Text() runLog := system.SystemRunningLog{ Description: logLevel, ModuleName: logPath, Operation: line, } err = global.DB.Create(&runLog).Error if err != nil { global.LOG.Error("存儲運行日志錯誤", zap.Error(err)) } } if err := scanner.Err(); err != nil { global.LOG.Error("讀取文件時發(fā)生錯誤", zap.Error(err)) } // 更新已處理的位置 processedOffset, err = currentReadFile.Seek(0, io.SeekEnd) if err != nil { global.LOG.Error("無法獲取文件偏移量:", zap.Error(err)) } // 將已處理的位置存儲到文件中 saveProcessedOffset(fmt.Sprintf("%s/%s.log", directory, logLevel), logLevel, processedOffset) } case err, ok := <-watcher.Errors: if !ok { return } global.LOG.Error("錯誤事件", zap.Error(err)) } } } // 獲取當(dāng)前日期并構(gòu)建日志目錄路徑 func getCurrentLogDirectory(logPath string) string { currentDate := time.Now().Format("2006-01-02") return fmt.Sprintf("%s%s", logPath, currentDate) } // 初始文件 func initCurrentErrorLog(errorLogPath string) { // 判斷文件是否存在 _, err := os.Stat(errorLogPath) if os.IsNotExist(err) { // 文件不存在,創(chuàng)建文件夾和文件 err := os.MkdirAll(filepath.Dir(errorLogPath), os.ModePerm) if err != nil { global.LOG.Error("os.MkdirAll error:", zap.Error(err)) return } file, err := os.Create(errorLogPath) if err != nil { global.LOG.Error("os.Create error:", zap.Error(err)) return } defer file.Close() global.LOG.Info("error.log 文件已經(jīng)存在,開始監(jiān)控:" + errorLogPath) } else if err == nil { global.LOG.Info("error.log 文件已經(jīng)存在,開始監(jiān)控:" + errorLogPath) } else { global.LOG.Error("os.IsNotExist error:", zap.Error(err)) return } }
其中WatchSysRuntimeLogIncrement方法傳入日志路徑和需要解析的日志文件名稱(例如info)后綴默認(rèn).log,執(zhí)行此方法即可實現(xiàn)邏輯
以上就是golang實現(xiàn)實時監(jiān)聽文件并自動切換目錄的詳細(xì)內(nèi)容,更多關(guān)于golang實時監(jiān)聽文件的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Go語言實現(xiàn)一個Http?Server框架(一)?http庫的使用
本文主要介紹用Go語言實現(xiàn)一個Http?Server框架中對http庫的基本使用說明,文中有詳細(xì)的代碼示例,感興趣的同學(xué)可以借鑒一下2023-04-04golang 實現(xiàn)兩個結(jié)構(gòu)體復(fù)制字段
這篇文章主要介紹了golang 實現(xiàn)兩個結(jié)構(gòu)體復(fù)制字段,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04在Go語言中實現(xiàn)DDD領(lǐng)域驅(qū)動設(shè)計實例探究
本文將詳細(xì)探討在Go項目中實現(xiàn)DDD的核心概念、實踐方法和實例代碼,包括定義領(lǐng)域模型、創(chuàng)建倉庫、實現(xiàn)服務(wù)層和應(yīng)用層,旨在提供一份全面的Go DDD實施指南2024-01-01Golang實現(xiàn)數(shù)據(jù)結(jié)構(gòu)Stack(堆棧)的示例詳解
在計算機科學(xué)中,stack(棧)是一種基本的數(shù)據(jù)結(jié)構(gòu),它是一種線性結(jié)構(gòu),具有后進(jìn)先出(Last In First Out)的特點。本文將通過Golang實現(xiàn)堆棧,需要的可以參考一下2023-04-04go?goroutine實現(xiàn)素數(shù)統(tǒng)計的示例
這篇文章主要介紹了go?goroutine實現(xiàn)素數(shù)統(tǒng)計,本文通過示例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-07-07