亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python實(shí)現(xiàn)tail -f 功能

 更新時(shí)間:2020年01月17日 08:23:21   作者:小小程序員ol  
這篇文章主要介紹了python實(shí)現(xiàn)tail -f 功能,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

tailf與tail -f類似:當(dāng)文件不增長時(shí)并不訪問文件
tail -f:只跟蹤文件內(nèi)容
tail -F:文件內(nèi)容與文件名都跟蹤

這篇文章最初是因?yàn)閞eboot的群里,有人去面試,筆試題有這個(gè)題,不知道怎么做,什么思路,就發(fā)群里大家討論

我想了一下,簡單說一下我的想法吧,當(dāng)然,也有很好用的pyinotify模塊專門監(jiān)聽文件變化,不過我更想介紹的,是解決的思路,畢竟作為面試官,還是想看到一下解決問題的思路,而且我覺得這一題的難點(diǎn)不在于監(jiān)控文件增量,而在于怎么打印最后面10行

希望大家讀這篇文章前,對(duì)python基礎(chǔ)、處理文件和常用模塊有一個(gè)簡單的了解,知道下面幾個(gè)名詞是啥

open('a.txt')
file.seek
file.tell
time.sleep()

下面思路限于我個(gè)人知識(shí),免不了有錯(cuò)誤和考慮不周的,希望大家有更好的方法提出來,我隨時(shí)優(yōu)化代碼,題目的感覺沒啥太多的坑,下面讓天真爛漫的蝸牛教大家用python的思路

怎么用python實(shí)現(xiàn)

其實(shí)思路也不難啦

  • 打開這個(gè)文件,指針移到最后
  • 每隔一秒就嘗試readline一下,有內(nèi)容就打印出來,沒內(nèi)容就sleep
  • 大概就是這么個(gè)意思

監(jiān)聽文件

思路如下:

  • 用open打開文件
  • 用seek文件指針,給大爺把跳到文件最后面
  • while True進(jìn)行循環(huán)

持續(xù)不停的readline,如果能讀到內(nèi)容,打印出來即可

代碼呼之欲出

with open('test.txt') as f:
  f.seek(0,2)
  while True:
    last_pos = f.tell()
    line = f.readline()
    if line:
      print line

代碼說明

  • seek第二個(gè)參數(shù)2,意思就是從文件結(jié)尾處開始seek,更標(biāo)準(zhǔn)的寫法使用os模塊下面的SEEK_END,可讀性更好
  • 只寫出了簡單的邏輯,代碼簡單粗暴,如果這個(gè)題目是10分的話,最多也就拿4分吧,不能再多了

優(yōu)化點(diǎn)

  • print有缺陷,每次都是新的一行,換成sys.stdout.write(line)更和諧
  • 文件名傳參,不能寫死
  • 直接打印可以當(dāng)成默認(rèn)行為,具體要做什么,可以寫成函數(shù)處理,這樣我們就可以把新行做其他處理,比如展示在瀏覽器里
  • 加上容錯(cuò)處理,比如文件不存在會(huì)報(bào)錯(cuò)
  • while True一直都文件,比較耗性能,每讀一次,間隔一秒比較靠譜
  • 調(diào)用time.sleep(1)
  • 用類來組織代碼

實(shí)例代碼如下

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
class Tail():
  def __init__(self,file_name,callback=sys.stdout.write):
    self.file_name = file_name
    self.callback = callback
  def follow(self):
    try:
      with open(self.file_name) as f:
        f.seek(0,2)
        while True:
          line = f.readline()
          if line:
            self.callback(line)
          time.sleep(1)
    except Exception,e:
      print '打開文件失敗,囧,看看文件是不是不存在,或者權(quán)限有問題'
      print e

使用方法:

# 使用默認(rèn)的sys.stdout.write打印到屏幕
py_tail = Tail('test.txt')
py_tail.follow()
# 自己定義處理函數(shù)
def test_tail(line):
  print 'xx'+line+'xx'
py_tail1 = Tail('test.txt', test_tail)
py_tail1.follow()

咦 等等,tail -f 默認(rèn)還會(huì)打印最后10行,這個(gè)好像才是這個(gè)題目的難點(diǎn)所在,眾所周知,python里讀文件指針,只能移動(dòng)到固定位置,不能判斷是哪一行,囧,先實(shí)現(xiàn)簡單的,逐漸加強(qiáng)吧

默認(rèn)打印最后10行

現(xiàn)在這個(gè)代碼,大概能拿6分啦,我們還有一個(gè)功能沒做,那就是打印最后n行,默認(rèn)是10行,現(xiàn)在把這個(gè)功能加上,加一個(gè)函數(shù)就行啦

文件小的時(shí)候

我們知道,readlines可以獲取所有內(nèi)容,并且分行,代碼呼之欲出,獲取list最后10行很簡單有么有,切片妥妥的

# 演示代碼,說明核心邏輯,完整代碼在下面
last_lines = f.readlines()[-10:]
for line in last_lines:
  self.callback(line)

此時(shí)代碼變成這樣了

import sys
import time
class Tail():
  def __init__(self,file_name,callback=sys.stdout.write):
    self.file_name = file_name
    self.callback = callback
  def follow(self,n=10):
    try:
      with open(self.file_name) as f:
        self._file = f
        self.showLastLine(n)
        self._file.seek(0,2)
        while True:
          line = self._file.readline()
          if line:
            self.callback(line)
    except Exception,e:
      print '打開文件失敗,囧,看看文件是不是不存在,或者權(quán)限有問題'
      print e
  def showLastLine(self, n):
    last_lines = self._file.readlines()[-10:]
    for line in last_lines:
      self.callback(line)

更進(jìn)一步:大的日志怎么辦

此時(shí)代碼有7分時(shí)很隨意啦,但是如果文件特別大呢,特別是日志文件,很容易幾個(gè)G,我們只需要最后幾行,全部讀出來內(nèi)存受不了,所以我們要繼續(xù)優(yōu)化showLastLine函數(shù),我覺得這才是這題的難點(diǎn)所在

大概的思路如下

我先估計(jì)日志一行大概是100個(gè)字符,注意,我只是估計(jì)一個(gè)大概,多了也沒關(guān)系,我們只是需要一個(gè)初始值,后面會(huì)修正

我要讀十行,所以一開始就seek到離結(jié)尾1000的位置seek(-1000,2),把最后1000個(gè)字符讀出來,然后有一個(gè)判斷

如果這1000個(gè)字符長度大于文件長度,不用管了 屬于級(jí)別1的情況,直接read然后split

如果1000個(gè)字符里面的換行符大于10,說明1000個(gè)字符里,大于10行,那也好辦,處理思路類似級(jí)別1,直接split取后面十個(gè)

問題就在于 如果小于10怎么處理

比如1000個(gè)里,只有四個(gè)換行符,說明一行大概是1000/4=250個(gè)字符,我們還缺6行,所以我們再讀250*5=1500,一共有2500的大概比較靠譜,然后在對(duì)2500個(gè)字符進(jìn)行相同的邏輯判斷,直到讀出的字符里,換行符大于10,讀取結(jié)束

邏輯清晰以后,代碼就呼之欲出啦

加上注釋的版本

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
class Tail():
  def __init__(self,file_name,callback=sys.stdout.write):
    self.file_name = file_name
    self.callback = callback
  def follow(self,n=10):
    try:
      # 打開文件
      with open(self.file_name) as f:
        self._file = f
        self._file.seek(0,2)
        # 存儲(chǔ)文件的字符長度
        self.file_length = self._file.tell()
        # 打印最后10行
        self.showLastLine(n)
        # 持續(xù)讀文件 打印增量
        while True:
          line = self._file.readline()
          if line:
            self.callback(line)
          time.sleep(1)
    except Exception,e:
      print '打開文件失敗,囧,看看文件是不是不存在,或者權(quán)限有問題'
      print e
  def showLastLine(self, n):
    # 一行大概100個(gè)吧 這個(gè)數(shù)改成1或者1000都行
    len_line = 100
    # n默認(rèn)是10,也可以follow的參數(shù)傳進(jìn)來
    read_len = len_line*n
    # 用last_lines存儲(chǔ)最后要處理的內(nèi)容
    while True:
      # 如果要讀取的1000個(gè)字符,大于之前存儲(chǔ)的文件長度
      # 讀完文件,直接break
      if read_len>self.file_length:
        self._file.seek(0)
        last_lines = self._file.read().split('\n')[-n:]
        break
      # 先讀1000個(gè) 然后判斷1000個(gè)字符里換行符的數(shù)量
      self._file.seek(-read_len, 2)
      last_words = self._file.read(read_len)
      # count是換行符的數(shù)量
      count = last_words.count('\n')
      if count>=n:
        # 換行符數(shù)量大于10 很好處理,直接讀取
        last_lines = last_words.split('\n')[-n:]
        break
      # 換行符不夠10個(gè)
      else:
        # break
        #不夠十行
        # 如果一個(gè)換行符也沒有,那么我們就認(rèn)為一行大概是100個(gè)
        if count==0:
          len_perline = read_len
        # 如果有4個(gè)換行符,我們認(rèn)為每行大概有250個(gè)字符
        else:
          len_perline = read_len/count
        # 要讀取的長度變?yōu)?500,繼續(xù)重新判斷
        read_len = len_perline * n
    for line in last_lines:
      self.callback(line+'\n')
if __name__ == '__main__':
  py_tail = Tail('test.txt')
  py_tail.follow(20)

效果如下,終于可以打印最后幾行了,大家可以試一下,無論日志每行只有1個(gè),還是每行有300個(gè)字符,都是可以打印最后10行的

能做到這個(gè)地步,一般的面試官就直接被你搞定了,這個(gè)代碼大概8分吧,如果還想再進(jìn)一步,還有一些可以優(yōu)化的地方,代碼放github上了,有興趣的可以拿去研究

待優(yōu)化:留給大家作為擴(kuò)展

  • 如果你tail -f的過程中,日志被備份清空或者切割了,怎么處理
  • 其實(shí)很簡單,你維護(hù)一個(gè)指針位置,如果下次循環(huán)發(fā)現(xiàn)文件指針位置變了,從最新的指針位置開始讀就行
  • 具體每種錯(cuò)誤的類型

我這里只是簡單的try 可以寫個(gè)函數(shù),把文件不存在,文件沒權(quán)限這些報(bào)錯(cuò)信息分開

性能小優(yōu)化,比如我第一次讀了1000,只有4行,我大概估計(jì)每行250個(gè)字符,總體需要2500行,下次沒必要直接讀2500個(gè),而是讀1500行和之前1000行拼起來即可

最后大殺器 如果寫出來這個(gè),基本面試官會(huì)直接

打死你

import os
def tail(file_name):
  os.system('tail -f '+file_name)
tail('log.log')

總結(jié)

以上所述是小編給大家介紹的python實(shí)現(xiàn)tail -f 功能,希望對(duì)大家有所幫助,如果大家有任何疑問請給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
如果你覺得本文對(duì)你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!

相關(guān)文章

  • Python全棧之列表數(shù)據(jù)類型詳解

    Python全棧之列表數(shù)據(jù)類型詳解

    這篇文章主要給大家介紹了關(guān)于Python全棧之列表數(shù)據(jù)類型的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-10-10
  • 利用PyCharm Profile分析異步爬蟲效率詳解

    利用PyCharm Profile分析異步爬蟲效率詳解

    這篇文章主要給大家介紹了關(guān)于如何利用PyCharm Profile分析異步爬蟲效率的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用PyCharm具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-05-05
  • Python可視化最頻繁使用的10大工具總結(jié)

    Python可視化最頻繁使用的10大工具總結(jié)

    數(shù)據(jù)可視化是數(shù)據(jù)科學(xué)中不可缺少的一部分,下面這篇文章主要給大家介紹了關(guān)于Python可視化最頻繁使用的10大工具,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2023-03-03
  • python+opencv實(shí)現(xiàn)動(dòng)態(tài)物體追蹤

    python+opencv實(shí)現(xiàn)動(dòng)態(tài)物體追蹤

    這篇文章主要為大家詳細(xì)介紹了python+opencv實(shí)現(xiàn)動(dòng)態(tài)物體的追蹤,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-01-01
  • python實(shí)現(xiàn)逆序輸出一個(gè)數(shù)字的示例講解

    python實(shí)現(xiàn)逆序輸出一個(gè)數(shù)字的示例講解

    今天小編就為大家分享一篇python實(shí)現(xiàn)逆序輸出一個(gè)數(shù)字的示例講解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06
  • Django框架中間件(Middleware)用法實(shí)例分析

    Django框架中間件(Middleware)用法實(shí)例分析

    這篇文章主要介紹了Django框架中間件(Middleware)用法,結(jié)合實(shí)例形式分析了Django框架中間件(Middleware)的功能、用法及相關(guān)操作技巧,需要的朋友可以參考下
    2019-05-05
  • python中print()函數(shù)的“,”與java中System.out.print()函數(shù)中的“+”功能詳解

    python中print()函數(shù)的“,”與java中System.out.print()函數(shù)中的“+”功能詳解

    python中的print()函數(shù)和java中的System.out.print()函數(shù)都有著打印字符串的功能。接下來通過本文給大家分享python中print()函數(shù)的“,”與java中System.out.print()函數(shù)中的“+”功能,需要的朋友參考下吧
    2017-11-11
  • 使用Python的xlwings操作Excel的屬性和方法

    使用Python的xlwings操作Excel的屬性和方法

    這篇文章主要介紹了使用Python的xlwings操作Excel的屬性和方法,xlwings?是?Python?操作?Excel?的庫之一,主要作為兩門語言的交互工具,是python?操作excel比較成熟、杰出的庫,調(diào)用簡單方便,而且功能強(qiáng)大,需要的朋友可以參考下
    2023-07-07
  • 解決webdriver.Chrome()報(bào)錯(cuò):Message:''chromedriver'' executable needs to be in Path

    解決webdriver.Chrome()報(bào)錯(cuò):Message:''chromedriver'' executable n

    這篇文章主要介紹了解決webdriver.Chrome()報(bào)錯(cuò):Message:'chromedriver' executable needs to be in Path ,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-06-06
  • Python畫圖工具M(jìn)atplotlib庫常用命令簡述

    Python畫圖工具M(jìn)atplotlib庫常用命令簡述

    這篇文章主要介紹了Python畫圖Matplotlib庫常用命令簡述總結(jié),文中包含詳細(xì)的圖文示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助
    2021-09-09

最新評(píng)論