詳解python之配置日志的幾種方式
作為開(kāi)發(fā)者,我們可以通過(guò)以下3中方式來(lái)配置logging:
1)使用Python代碼顯式的創(chuàng)建loggers, handlers和formatters并分別調(diào)用它們的配置函數(shù);
2)創(chuàng)建一個(gè)日志配置文件,然后使用fileConfig()函數(shù)來(lái)讀取該文件的內(nèi)容;
3)創(chuàng)建一個(gè)包含配置信息的dict,然后把它傳遞個(gè)dictConfig()函數(shù);
需要說(shuō)明的是,logging.basicConfig()
也屬于第一種方式,它只是對(duì)loggers, handlers和formatters的配置函數(shù)進(jìn)行了封裝。另外,第二種配置方式相對(duì)于第一種配置方式的優(yōu)點(diǎn)在于,它將配置信息和代碼進(jìn)行了分離,這一方面降低了日志的維護(hù)成本,同時(shí)還使得非開(kāi)發(fā)人員也能夠去很容易地修改日志配置。
一、使用Python代碼實(shí)現(xiàn)日志配置
代碼如下:
# 創(chuàng)建一個(gè)日志器logger并設(shè)置其日志級(jí)別為DEBUG logger = logging.getLogger('simple_logger') logger.setLevel(logging.DEBUG) # 創(chuàng)建一個(gè)流處理器handler并設(shè)置其日志級(jí)別為DEBUG handler = logging.StreamHandler(sys.stdout) handler.setLevel(logging.DEBUG) # 創(chuàng)建一個(gè)格式器formatter并將其添加到處理器handler formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s") handler.setFormatter(formatter) # 為日志器logger添加上面創(chuàng)建的處理器handler logger.addHandler(handler) # 日志輸出 logger.debug('debug message') logger.info('info message') logger.warn('warn message') logger.error('error message') logger.critical('critical message')
運(yùn)行輸出:
2017-05-15 11:30:50,955 - simple_logger - DEBUG - debug message 2017-05-15 11:30:50,955 - simple_logger - INFO - info message 2017-05-15 11:30:50,955 - simple_logger - WARNING - warn message 2017-05-15 11:30:50,955 - simple_logger - ERROR - error message 2017-05-15 11:30:50,955 - simple_logger - CRITICAL - critical message
二、使用配置文件和fileConfig()函數(shù)實(shí)現(xiàn)日志配置
現(xiàn)在我們通過(guò)配置文件的方式來(lái)實(shí)現(xiàn)與上面同樣的功能:
# 讀取日志配置文件內(nèi)容 logging.config.fileConfig('logging.conf') # 創(chuàng)建一個(gè)日志器logger logger = logging.getLogger('simpleExample') # 日志輸出 logger.debug('debug message') logger.info('info message') logger.warn('warn message') logger.error('error message') logger.critical('critical message')
配置文件logging.conf內(nèi)容如下:
[loggers] keys=root,simpleExample [handlers] keys=fileHandler,consoleHandler [formatters] keys=simpleFormatter [logger_root] level=DEBUG handlers=fileHandler [logger_simpleExample] level=DEBUG handlers=consoleHandler qualname=simpleExample propagate=0 [handler_consoleHandler] class=StreamHandler args=(sys.stdout,) level=DEBUG formatter=simpleFormatter [handler_fileHandler] class=FileHandler args=('logging.log', 'a') level=ERROR formatter=simpleFormatter [formatter_simpleFormatter] format=%(asctime)s - %(name)s - %(levelname)s - %(message)s datefmt=
運(yùn)行輸出:
2017-05-15 11:32:16,539 - simpleExample - DEBUG - debug message 2017-05-15 11:32:16,555 - simpleExample - INFO - info message 2017-05-15 11:32:16,555 - simpleExample - WARNING - warn message 2017-05-15 11:32:16,555 - simpleExample - ERROR - error message 2017-05-15 11:32:16,555 - simpleExample - CRITICAL - critical message
1. 關(guān)于fileConfig()函數(shù)的說(shuō)明:
該函數(shù)實(shí)際上是對(duì)configparser
模塊的封裝,關(guān)于configparser
模塊的介紹請(qǐng)參考<。
函數(shù)定義:
該函數(shù)定義在loging.config模塊下:
logging.config.fileConfig(fname, defaults=None, disable_existing_loggers=True)
參數(shù):
- fname:表示配置文件的文件名或文件對(duì)象
- defaults:指定傳給ConfigParser的默認(rèn)值
- disable_existing_loggers:這是一個(gè)布爾型值,默認(rèn)值為True(為了向后兼容)表示禁用已經(jīng)存在的logger,除非它們或者它們的祖先明確的出現(xiàn)在日志配置中;如果值為False則對(duì)已存在的loggers保持啟動(dòng)狀態(tài)。
2. 配置文件格式說(shuō)明:
上面提到過(guò),fileConfig()
函數(shù)是對(duì)ConfigParser/configparser
模塊的封裝,也就是說(shuō)fileConfig()
函數(shù)是基于ConfigParser/configparser
模塊來(lái)理解日志配置文件的。換句話說(shuō),fileConfig()
函數(shù)所能理解的配置文件基礎(chǔ)格式是與ConfigParser/configparser
模塊一致的,只是在此基礎(chǔ)上對(duì)文件中包含的section
和option
做了一下規(guī)定和限制,比如:
1)配置文件中一定要包含loggers、handlers、formatters這些section,它們通過(guò)keys這個(gè)option來(lái)指定該配置文件中已經(jīng)定義好的loggers、handlers和formatters,多個(gè)值之間用逗號(hào)分隔;另外loggers這個(gè)section中的keys一定要包含root這個(gè)值;
2)loggers、handlers、formatters中所指定的日志器、處理器和格式器都需要在下面以單獨(dú)的section進(jìn)行定義。seciton的命名規(guī)則為[logger_loggerName]、[formatter_formatterName]、[handler_handlerName]
3)定義logger的section必須指定level和handlers這兩個(gè)option,level的可取值為DEBUG、INFO、WARNING、ERROR、CRITICAL、NOTSET,其中NOTSET表示所有級(jí)別的日志消息都要記錄,包括用戶定義級(jí)別;handlers的值是以逗號(hào)分隔的handler名字列表,這里出現(xiàn)的handler必須出現(xiàn)在[handlers]這個(gè)section中,并且相應(yīng)的handler必須在配置文件中有對(duì)應(yīng)的section定義;
4)對(duì)于非root logger來(lái)說(shuō),除了level和handlers這兩個(gè)option之外,還需要一些額外的option,其中qualname是必須提供的option,它表示在logger層級(jí)中的名字,在應(yīng)用代碼中通過(guò)這個(gè)名字得到logger;propagate是可選項(xiàng),其默認(rèn)是為1,表示消息將會(huì)傳遞給高層次logger的handler,通常我們需要指定其值為0,這個(gè)可以看下下面的例子;另外,對(duì)于非root logger的level如果設(shè)置為NOTSET,系統(tǒng)將會(huì)查找高層次的logger來(lái)決定此logger的有效level。
5)定義handler的section中必須指定class和args這兩個(gè)option,level和formatter為可選option;class表示用于創(chuàng)建handler的類名,args表示傳遞給class所指定的handler類初始化方法參數(shù),它必須是一個(gè)元組(tuple)的形式,即便只有一個(gè)參數(shù)值也需要是一個(gè)元組的形式;level與logger中的level一樣,而formatter指定的是該處理器所使用的格式器,這里指定的格式器名稱必須出現(xiàn)在formatters這個(gè)section中,且在配置文件中必須要有這個(gè)formatter的section定義;如果不指定formatter則該handler將會(huì)以消息本身作為日志消息進(jìn)行記錄,而不添加額外的時(shí)間、日志器名稱等信息;
6)定義formatter的sectioin中的option都是可選的,其中包括format用于指定格式字符串,默認(rèn)為消息字符串本身;datefmt用于指定asctime的時(shí)間格式,默認(rèn)為'%Y-%m-%d %H:%M:%S';class用于指定格式器類名,默認(rèn)為logging.Formatter;
說(shuō)明:
配置文件中的class
指定類名時(shí),該類名可以是相對(duì)于logging模塊的相對(duì)值,如:FileHandler
、handlers.TimeRotatingFileHandler
;也可以是一個(gè)絕對(duì)路徑值,通過(guò)普通的import機(jī)制來(lái)解析,如自定義的handler類mypackage.mymodule.MyHandler
,但是mypackage需要在Python可用的導(dǎo)入路徑中--sys.path。
3. 對(duì)于propagate屬性的說(shuō)明
實(shí)例1:
我們把logging.conf中simpleExample這個(gè)handler定義中的propagate屬性值改為1,或者刪除這個(gè)option(默認(rèn)值就是1):
[logger_simpleExample] level=DEBUG handlers=consoleHandler qualname=simpleExample propagate=1
現(xiàn)在來(lái)執(zhí)行同樣的代碼:
# 讀取日志配置文件內(nèi)容 logging.config.fileConfig('logging.conf') # 創(chuàng)建一個(gè)日志器logger logger = logging.getLogger('simpleExample') # 日志輸出 logger.debug('debug message') logger.info('info message') logger.warn('warn message') logger.error('error message') logger.critical('critical message')
我們會(huì)發(fā)現(xiàn),除了在控制臺(tái)有輸出信息時(shí)候,在logging.log文件中也有內(nèi)容輸出:
2017-05-15 16:06:25,366 - simpleExample - ERROR - error message 2017-05-15 16:06:25,367 - simpleExample - CRITICAL - critical message
這說(shuō)明simpleExample這個(gè)logger在處理完日志記錄后,把日志記錄傳遞給了上級(jí)的root logger再次做處理,所有才會(huì)有兩個(gè)地方都有日志記錄的輸出。通常,我們都需要顯示的指定propagate的值為0,防止日志記錄向上層logger傳遞。
實(shí)例2:
現(xiàn)在,我們?cè)囍靡粋€(gè)沒(méi)有在配置文件中定義的logger名稱來(lái)獲取logger:
# 讀取日志配置文件內(nèi)容 logging.config.fileConfig('logging.conf') # 用一個(gè)沒(méi)有在配置文件中定義的logger名稱來(lái)創(chuàng)建一個(gè)日志器logger logger = logging.getLogger('simpleExample1') # 日志輸出 logger.debug('debug message') logger.info('info message') logger.warn('warn message') logger.error('error message') logger.critical('critical message')
運(yùn)行程序后,我們會(huì)發(fā)現(xiàn)控制臺(tái)沒(méi)有任何輸出,而logging.log文件中又多了兩行輸出:
2017-05-15 16:13:16,810 - simpleExample1 - ERROR - error message 2017-05-15 16:13:16,810 - simpleExample1 - CRITICAL - critical message
這是因?yàn)椋?dāng)一個(gè)日志器沒(méi)有被設(shè)置任何處理器是,系統(tǒng)會(huì)去查找該日志器的上層日志器上所設(shè)置的日志處理器來(lái)處理日志記錄。simpleExample1在配置文件中沒(méi)有被定義,因此logging.getLogger(simpleExample1)這行代碼這是獲取了一個(gè)logger實(shí)例,并沒(méi)有給它設(shè)置任何處理器,但是它的上級(jí)日志器--root logger在配置文件中有定義且設(shè)置了一個(gè)FileHandler處理器,simpleExample1處理器最終通過(guò)這個(gè)FileHandler處理器將日志記錄輸出到logging.log文件中了。
三、使用字典配置信息和dictConfig()函數(shù)實(shí)現(xiàn)日志配置
Python 3.2中引入的一種新的配置日志記錄的方法--用字典來(lái)保存logging配置信息。這相對(duì)于上面所講的基于配置文件來(lái)保存logging配置信息的方式來(lái)說(shuō),功能更加強(qiáng)大,也更加靈活,因?yàn)槲覀兛砂押芏嗟臄?shù)據(jù)轉(zhuǎn)換成字典。比如,我們可以使用JSON格式的配置文件、YAML格式的配置文件,然后將它們填充到一個(gè)配置字典中;或者,我們也可以用Python代碼構(gòu)建這個(gè)配置字典,或者通過(guò)socket接收pickled序列化后的配置信息??傊?,你可以使用你的應(yīng)用程序可以操作的任何方法來(lái)構(gòu)建這個(gè)配置字典。
這個(gè)例子中,我們將使用YAML格式來(lái)完成與上面同樣的日志配置。
首先需要安裝PyYAML模塊:
pip install PyYAML
Python代碼:
import logging import logging.config import yaml with open('logging.yml', 'r') as f_conf: dict_conf = yaml.load(f_conf) logging.config.dictConfig(dict_conf) logger = logging.getLogger('simpleExample') logger.debug('debug message') logger.info('info message') logger.warn('warn message') logger.error('error message') logger.critical('critical message') logging.yml配置文件的內(nèi)容: version: 1 formatters: simple: format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s' handlers: console: class: logging.StreamHandler level: DEBUG formatter: simple stream: ext://sys.stdout console_err: class: logging.StreamHandler level: ERROR formatter: simple stream: ext://sys.stderr loggers: simpleExample: level: DEBUG handlers: [console] propagate: yes root: level: DEBUG handlers: [console_err]
輸出結(jié)果:
2017-05-21 14:19:31,089 - simpleExample - DEBUG - debug message 2017-05-21 14:19:31,089 - simpleExample - INFO - info message 2017-05-21 14:19:31,089 - simpleExample - WARNING - warn message 2017-05-21 14:19:31,089 - simpleExample - ERROR - error message 2017-05-21 14:19:31,090 - simpleExample - CRITICAL - critical message
1. 關(guān)于dictConfig()函數(shù)的說(shuō)明:
該函數(shù)實(shí)際上是對(duì)configparser
模塊的封裝。
函數(shù)定義:
該函數(shù)定義在loging.config模塊下:
logging.config.dictConfig(config)
該函數(shù)可以從一個(gè)字典對(duì)象中獲取日志配置信息,config參數(shù)就是這個(gè)字典對(duì)象。關(guān)于這個(gè)字典對(duì)象的內(nèi)容規(guī)則會(huì)在下面進(jìn)行描述。
2. 配置字典說(shuō)明
無(wú)論是上面提到的配置文件,還是這里的配置字典,它們都要描述出日志配置所需要?jiǎng)?chuàng)建的各種對(duì)象以及這些對(duì)象之間的關(guān)聯(lián)關(guān)系。比如,可以先創(chuàng)建一個(gè)名額為“simple”的格式器formatter;然后創(chuàng)建一個(gè)名為“console”的處理器handler,并指定該handler輸出日志所使用的格式器為"simple";然后再創(chuàng)建一個(gè)日志器logger,并指定它所使用的處理器為"console"。
傳遞給dictConfig()函數(shù)的字典對(duì)象只能包含下面這些keys,其中version是必須指定的key,其它key都是可選項(xiàng):
key名稱 | 描述 |
---|---|
version | 必選項(xiàng),其值是一個(gè)整數(shù)值,表示配置格式的版本,當(dāng)前唯一可用的值就是1 |
formatters | 可選項(xiàng),其值是一個(gè)字典對(duì)象,該字典對(duì)象每個(gè)元素的key為要定義的格式器名稱,value為格式器的配置信息組成的dict,如format和datefmt |
filters | 可選項(xiàng),其值是一個(gè)字典對(duì)象,該字典對(duì)象每個(gè)元素的key為要定義的過(guò)濾器名稱,value為過(guò)濾器的配置信息組成的dict,如name |
handlers | 可選項(xiàng),其值是一個(gè)字典對(duì)象,該字典對(duì)象每個(gè)元素的key為要定義的處理器名稱,value為處理器的配置信息組成的dcit,如class、level、formatter和filters,其中class為必選項(xiàng),其它為可選項(xiàng);其他配置信息將會(huì)傳遞給class所指定的處理器類的構(gòu)造函數(shù),如下面的handlers定義示例中的stream、filename、maxBytes和backupCount等 |
loggers | 可選項(xiàng),其值是一個(gè)字典對(duì)象,該字典對(duì)象每個(gè)元素的key為要定義的日志器名稱,value為日志器的配置信息組成的dcit,如level、handlers、filters 和 propagate(yes |
root | 可選項(xiàng),這是root logger的配置信息,其值也是一個(gè)字典對(duì)象。除非在定義其它logger時(shí)明確指定propagate值為no,否則root logger定義的handlers都會(huì)被作用到其它logger上 |
incremental | 可選項(xiàng),默認(rèn)值為False。該選項(xiàng)的意義在于,如果這里定義的對(duì)象已經(jīng)存在,那么這里對(duì)這些對(duì)象的定義是否應(yīng)用到已存在的對(duì)象上。值為False表示,已存在的對(duì)象將會(huì)被重新定義。 |
disable_existing_loggers | 可選項(xiàng),默認(rèn)值為True。該選項(xiàng)用于指定是否禁用已存在的日志器loggers,如果incremental的值為True則該選項(xiàng)將會(huì)被忽略 |
handlers定義示例:
handlers: console: class : logging.StreamHandler formatter: brief level : INFO filters: [allow_foo] stream : ext://sys.stdout file: class : logging.handlers.RotatingFileHandler formatter: precise filename: logconfig.log maxBytes: 1024 backupCount: 3
3. 關(guān)于外部對(duì)象的訪問(wèn)
需要說(shuō)明的是,上面所使用的對(duì)象并不限于loggging模塊所提供的對(duì)象,我們可以實(shí)現(xiàn)自己的formatter或handler類。另外,這些類的參數(shù)也許需要包含sys.stderr這樣的外部對(duì)象。如果配置字典對(duì)象是使用Python代碼構(gòu)造的,可以直接使用sys.stdout、sys.stderr;但是當(dāng)通過(guò)文本文件(如JSON、YAML格式的配置文件)提供配置時(shí)就會(huì)出現(xiàn)問(wèn)題,因?yàn)樵谖谋疚募?,沒(méi)有標(biāo)準(zhǔn)的方法來(lái)區(qū)分sys.stderr
和字符串 'sys.stderr'
。為了區(qū)分它們,配置系統(tǒng)會(huì)在字符串值中查找特定的前綴,例如'ext://sys.stderr'中'ext://'會(huì)被移除,然后import sys.stderr
。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)針對(duì)json中某個(gè)關(guān)鍵字段進(jìn)行排序操作示例
這篇文章主要介紹了Python實(shí)現(xiàn)針對(duì)json中某個(gè)關(guān)鍵字段進(jìn)行排序操作,涉及Python json數(shù)組排序及l(fā)ambda表達(dá)式相關(guān)操作技巧,需要的朋友可以參考下2018-12-12詳解Pandas如何高效對(duì)比處理DataFrame的兩列數(shù)據(jù)
我們?cè)谟?pandas?處理數(shù)據(jù)的時(shí)候,經(jīng)常會(huì)遇到用其中一列數(shù)據(jù)替換另一列數(shù)據(jù)的場(chǎng)景。這一類的需求估計(jì)很多人都遇到,當(dāng)然還有其它更復(fù)雜的。解決這類需求的辦法有很多,這里我們來(lái)推薦幾個(gè)2022-09-09Python入門教程(十九)python的函數(shù)詳解
這篇文章主要介紹了Python入門教程(十九)python的函數(shù),函數(shù)是組織好的,可重復(fù)使用的,用來(lái)實(shí)現(xiàn)單一,或相關(guān)聯(lián)功能的代碼段,需要的朋友可以參考下2023-04-04python使用Flask操作mysql實(shí)現(xiàn)登錄功能
這篇文章主要介紹了python使用Flask操作mysql實(shí)現(xiàn)登錄功能,代碼簡(jiǎn)單易懂,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2018-05-05Python實(shí)現(xiàn)UDP程序通信過(guò)程圖解
這篇文章主要介紹了Python實(shí)現(xiàn)UDP程序通信過(guò)程圖解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05簡(jiǎn)單談?wù)刾ython中的語(yǔ)句和語(yǔ)法
下面小編就為大家?guī)?lái)一篇簡(jiǎn)單談?wù)刾ython中的語(yǔ)句和語(yǔ)法。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-08-08詳解在Python中使用Torchmoji將文本轉(zhuǎn)換為表情符號(hào)
這篇文章主要介紹了詳解在Python中使用Torchmoji將文本轉(zhuǎn)換為表情符號(hào),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07