快捷導(dǎo)航

詳解Python自建logging模塊

更新時(shí)間：2018年01月29日 11:50:30 投稿：laozhang

本篇文章給大家詳細(xì)分析了Python自建logging模塊的方法和代碼分享，有需要的朋友參考學(xué)習(xí)下吧。

簡(jiǎn)單使用

最開始，我們用最短的代碼體驗(yàn)一下logging的基本功能。

import logging
logger = logging.getLogger()
logging.basicConfig()
logger.setLevel('DEBUG')
logger.debug('logsomething')
#輸出
out>>DEBG:root:logsomething

第一步，通過(guò)logging.getLogger函數(shù)，獲取一個(gè)loger對(duì)象，但這個(gè)對(duì)象暫時(shí)是無(wú)法使用的。
第二步，logging.basicConfig函數(shù)，進(jìn)行一系列默認(rèn)的配置，包括format、handler等。
第三步，logger調(diào)用setLevel函數(shù)定義日志級(jí)別為DEBUG 最后，調(diào)用debug函數(shù)，輸出一條debug級(jí)別的message，顯示在了標(biāo)準(zhǔn)輸出上。 logging中的日志級(jí)別

logging在生成日志的時(shí)候，有一個(gè)日志級(jí)別的機(jī)制，默認(rèn)有以下幾個(gè)日志級(jí)別：

CRITICAL = 50
ERROR = 40
WARNING = 30
INFO 20
DEBUG = 10
NOTEST = 0

每一個(gè)logger對(duì)象，都有一個(gè)日志級(jí)別，它只會(huì)輸出高于它level的日志。如果一個(gè)logger的level是INFO，那么調(diào)用logger.debug()是無(wú)法輸出日志的，而logger.warning()能夠輸出。

一般來(lái)說(shuō)，以上的6個(gè)日志級(jí)別完全滿足我們?nèi)粘Ｊ褂昧恕?/p>

logging中的基礎(chǔ)類

logging是python的一個(gè)基礎(chǔ)模塊，它在python中的源碼位置如下：

#主干代碼
/usr/lib/python2.7/logging/__init__.py
#擴(kuò)展的handler和config
/usr/lib/pyhon2.7/logging/config.py
/usr/lib/python2.7/loging/handlers.py

組成logging的主干的幾個(gè)基礎(chǔ)類都在__init__.py中：

第一個(gè)基礎(chǔ)類LogRecord

一個(gè)LogRecord對(duì)象，對(duì)應(yīng)了日志中的一行數(shù)據(jù)。通常包含：時(shí)間、日志級(jí)別、message信息、當(dāng)前執(zhí)行的模塊、行號(hào)、函數(shù)名...這些信息都包含在一個(gè)LogRecord對(duì)象里。
LogRecord對(duì)象可以想象成一個(gè)大字典：

class LogRecord(object):
 #代表一條日志的類
 def getMessage(self):
  #獲取self.msg
 def markLogRecord(dict):
 #這個(gè)方法很重要，生成一個(gè)空的LogRecord，然后通過(guò)一個(gè)字典，直接更新LogReocrd中的成員變量
 rv = LogRecord(None, None, "", 0, "", (), None, None)
 rv.__dict__.update(dict)
 return rv

第二個(gè)基礎(chǔ)類Formatter

Formatter對(duì)象是用來(lái)定義日志格式的，LogRecord保存了很多信息，但是打印日志的時(shí)候我們只需要其中幾個(gè)，F(xiàn)ormatter就提供了這樣的功能，它依賴于python的一個(gè)功能：

#通過(guò)字典的方式，輸出格式化字符串
print('%(name)s:%(num)d'%{'name':'my_name', 'num' : 100})
out >>>my_name:100

如果說(shuō)LogRecord是后面的那個(gè)字典，那么Formatter就是前面的那個(gè)格式字符串...的抽象

重要的代碼如下：

class Formatter(object):
 def __init__(self, fmt=None, datefmt = None):
  if fmt:
   self._fmt = fmt
  else:
   #默認(rèn)的format
   self._fmt = "%(message)s"
 def format(self, record)
  #使用self._fmt進(jìn)行格式化
  s = self._fmt %record.__dict__
  return s

第三個(gè)基礎(chǔ)類Filter和Filterer

Filter類，功能很簡(jiǎn)單。Filter.filter()函數(shù)傳入一個(gè)LogRecord對(duì)象，通過(guò)篩選返回1，否則返回0.從代碼中可以看到，其實(shí)是對(duì)LogRecord.name的篩選。

Filterer類中有一個(gè)Filter對(duì)象的列表，它是一組Filter的抽象。

重要的代碼如下：

class Filter(object):
 def __init__(self, name=''):
  self.name = name
  self.nlen = len(name)
 def filter(self, record):
  #返回1表示record通過(guò)，0表示record不通過(guò)
  if self.nlen == 0:
   return 1
  elif self.name == record.name:
   return 1
  #record.name不是以filter開頭
  elif record.name.find(self.name, 0, self.nlen) != 0:
   return 0
  #最后一位是否為
  return (record.name[self.nlen] == '.')
class Filterer(object):
 #這個(gè)類其實(shí)是定義了一個(gè)self.filters = []的列表管理多個(gè)filter
 def addFilter(self, filter):
 def removefilter(self, filter):
 def filter(self, record):
 #使用列表中所有的filter進(jìn)行篩選，任何一個(gè)失敗都會(huì)返回0
 #例如：
  #filter.name = 'A', filter2.name='A.B', filter2.name = 'A, B, C'
  #此時(shí)record.name = 'A,B,C,D'這樣的record才能通過(guò)所有filter的篩選

logging中的高級(jí)類

有了以上三個(gè)基礎(chǔ)的類，就可以拼湊一些更重要的高級(jí)類了，高級(jí)類可以實(shí)現(xiàn)logging的重要功能。

Handler——抽象了log的輸出過(guò)程 Handler類繼承自Filterer。Handler類時(shí)log輸出這個(gè)過(guò)程的抽象。
同時(shí)Handler類具有一個(gè)成員變量self.level,在第二節(jié)討論的日志級(jí)別的機(jī)制，就是在Handler中實(shí)現(xiàn)的。
Handler有一個(gè)emit(record)函數(shù)，這個(gè)函數(shù)負(fù)責(zé)輸出log，必須在Handler的子類中實(shí)現(xiàn)。

重要代碼如下：

class Handler(Filterer):
 def __init__(self, level = NOTEST)
  #handler必須有l(wèi)evel屬性
  self.level = _checkLevel(level)
 def format(self, record):
  #使用self.formatter, formattercord
 def handler(self, record):
  #如果通過(guò)filter的篩選，則emit這條log
  rv = self.filter(record)
  self.emit(record)
 def emit(self, record):
  #等待子類去實(shí)現(xiàn)

接下來(lái)看兩個(gè)簡(jiǎn)單的handler的子類，其中在logging源碼中，有一個(gè)handler.py專門定義了很多復(fù)雜的handler，有的可以將log緩存在內(nèi)存中，有的可以將log做rotation等。

StreamHandler
最簡(jiǎn)單的handler實(shí)現(xiàn)，將log寫入一個(gè)流，默認(rèn)的stream是sys.stderr

重要的代碼如下：

class StreamHandler(Handler):
 def __init__(self, stream = None):
  if stream is None:
   stream = sys.stderr
  self.stream = stream
 def emit(self, record):
  #將record的信息寫入流
  #處理一些編碼的異常
  fs = '%s\n' #每條日志都有換行
  stream = self.stream
  stream.write(fs%msg)

FileHandler

將log輸出到文件的handler，繼承StreamHandler

重要代碼如下：

class FileHandler(StreamHandler):
 def __init__(self, filename, mode='a')
  #append方式打開一個(gè)文件
  StreamHandler.__init__(self, self._open())
 def emit(self, record):
  #和streamhandler保持一致
  StreamHandler.emit(self, record)

Logger——一個(gè)獨(dú)立的log管道

什么是logger?

+ logger類繼承自Filterer,

+ logger對(duì)象有l(wèi)ogger.level日志級(jí)別

+ logger對(duì)象控制多個(gè)handler:logger.handlers = []

+ logger對(duì)象之間存在福字關(guān)系

簡(jiǎn)單的來(lái)說(shuō)，logger這個(gè)類，集中了我們以上所有的LogRecord、Filter類、Formatter類、handler類。首先，logger根據(jù)輸入生成一個(gè)LogRecord讀寫，經(jīng)過(guò)Filter和Formatter之后，再通過(guò)self.handlers列表中的所有handler,把log發(fā)送出去。

一個(gè)logger中可能有多個(gè)handler，可以實(shí)現(xiàn)把一份log放到任意的位置。

class Logger(Filterer):
 def __init__(self, name, level=NOTEST)
  #handler列表
  self.handlers = []
  self.level = _checklevel(level)
 def addHandler(self, hdlr):
 def removeHandler(self, hdlr):
 def _log(self, level, msg, args, exc_info=None, extra=None):
  #在_log函數(shù)中創(chuàng)建了一個(gè)LogRecord對(duì)象
  record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
  #交給handle函數(shù)
  self.handle(record)
 def handle(self, reord):
  #進(jìn)行filter,然后調(diào)用callHandlers
  if(not self.disabled) and self.filter(record):
   self.callHandlers(record)
 def callHandlers(self, record):
  #從當(dāng)前l(fā)ogger到所有的父logger,遞歸的handl傳入的record
  c = self
  while c:
   for hdlr in c.handlers:
    hdlr.handle(record) #進(jìn)入handler的emit函數(shù)發(fā)送log
   ....
   c = c.parent

LoggerAdapter——對(duì)標(biāo)準(zhǔn)logger的一個(gè)擴(kuò)展

LogRecord這個(gè)大字典中提供的成員變量已經(jīng)很多，但是，如果在輸出log時(shí)候仍然希望能夠夾帶一些自己想要看到的更多信息，例如產(chǎn)生這個(gè)log的時(shí)候，調(diào)用某些函數(shù)去獲得其他信息，那么就可以把這些添加到Logger中，LoggerAdapter這個(gè)類就起到這個(gè)作用。

LoggerAdapter這個(gè)類很有意思，如果不做什么改動(dòng)，那么LoggerAdapter類和Logger并沒(méi)有什么區(qū)別。LoggerAdapter只是對(duì)Logger類進(jìn)行了一下包裝。

LoggerAdapter的用法其實(shí)是在它的成員函數(shù)process()的注釋中已經(jīng)說(shuō)明了：

def process(self, msg, kwargs):
 '''
 Normally,you'll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs.
 '''

也就是說(shuō)重寫process函數(shù)，以下是一個(gè)例子：

import logging
import random
L=logging.getLogger('name')
#定義一個(gè)函數(shù)，生成0~1000的隨機(jī)數(shù)
def func():
 return random.randint(1,1000)
class myLogger(logging.LoggerAdapter):
 #繼承LoggerAdapter，重寫process，生成隨機(jī)數(shù)添加到msg前面
 def process(self,msg,kwargs):
  return '(%d),%s' % (self.extra['name'](),msg) ,kwargs
#函數(shù)對(duì)象放入字典中傳入 
LA=myLogger(L,{'name':func})
#now,do some logging
LA.debug('some_loging_messsage')
out>>DEBUG:name:(167),some_loging_messsage

您可能感興趣的文章: