亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python篩選出兩個(gè)文件中重復(fù)行的方法

 更新時(shí)間:2018年05月31日 11:10:39   作者:非完美主義者  
這篇文章主要為大家詳細(xì)介紹了python篩選出兩個(gè)文件中重復(fù)行的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下

本文實(shí)例為大家分享了python腳本篩選出兩個(gè)文件中重復(fù)的行數(shù),供大家參考,具體內(nèi)容如下

'''
查找A文件中,與B文件中內(nèi)容不重復(fù)的內(nèi)容
'''
#!usr/bin/python

import sys
import os

'''
字符串查找函數(shù),使用二分查找法在列表中進(jìn)行查詢
'''
def binarySearch(value, lines):
  right = len(lines) - 1
  left = 0
  a = value.strip()
  while left <= right:
    middle = int((right + left + 1)/2)
    b = lines[middle].strip()
    if a == b:
      return 1

    if a < b:
      right = middle - 1
    else:
      left = middle + 1

  return 0

DPT = 100000 # DPT 是Data Per File的意思

fileAName = sys.argv[1];
fileBName = sys.argv[2];

#STEP1:先拆掉B文件,作為比較基準(zhǔn),臨時(shí)文件命名為temp1,temp2,...,tempN
print("拆分比對(duì)文件...\n")
fB = open(fileBName)
tempFileNo = 1
tempFileName = "temp{0}".format(tempFileNo)
fTemp = open(tempFileName, "w+")
line = fB.readline()
lineCount = 0
while line:
  if lineCount >= DPT:
    fTemp.flush()
    fTemp.close()
    tempFileNo = tempFileNo + 1
    tempFileName = "temp{0}".format(tempFileNo)
    fTemp = open(tempFileName, "w+")
    lineCount = 0
  fTemp.write(line)
  lineCount = lineCount + 1
  line = fB.readline()  

fTemp.flush()
fTemp.close()

fB.close()
print("拆分完成,一共{0}個(gè)臨時(shí)文件,{1}條數(shù)據(jù)。\n".format(tempFileNo, (tempFileNo-1)*DPT + lineCount))

#STEP2:把A文件與B文件拆出來(lái)的臨時(shí)文件逐個(gè)進(jìn)行比較,將結(jié)果輪流寫(xiě)入文件result0, result1
#    最后寫(xiě)入的result文件就是最終結(jié)果
fA = open(fileAName)
resultTempFile = {"result0", "result1"};
tempIndex = 0
fOut = open("repeat", "w+")
repeatCount = 0
for i in range(1, tempFileNo + 1):
  print("比較第{0}個(gè)臨時(shí)文件...\n".format(i))
  if 0 == tempIndex:
    resultTempFile = "result0"   
    tempIndex = 1
  else:
    resultTempFile = "result1"
    tempIndex = 0
  fResult = open(resultTempFile, "w+")

  fTemp = open("temp{0}".format(i))
  lineSet = fTemp.readlines()
  fTemp.close()
  lineList = list(lineSet)
  lineList.sort()

  line = fA.readline()
  while line:
    if 0 == binarySearch(line, lineList):
      fResult.write(line)
    else:
      fOut.write(line)
      repeatCount = repeatCount + 1
    line = fA.readline()
  fA.close()

  fResult.flush()
  fResult.close()

  fA = open(resultTempFile)

fA.close()
fOut.flush()
fOut.close()

print("比較完成,重復(fù)數(shù)據(jù){0}條".format(repeatCount))

os.rename(resultTempFile, "result")

#STEP3:結(jié)束后把臨時(shí)文件都刪掉
print("刪除臨時(shí)文件...\n")
while tempFileNo > 0:
  tempFileName = "temp{0}".format(tempFileNo)
  os.remove(tempFileName)
  tempFileNo = tempFileNo - 1

print("腳本結(jié)束。\n")

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • python批量修改圖片尺寸,并保存指定路徑的實(shí)現(xiàn)方法

    python批量修改圖片尺寸,并保存指定路徑的實(shí)現(xiàn)方法

    今天小編就為大家分享一篇python批量修改圖片尺寸,并保存指定路徑的實(shí)現(xiàn)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-07-07
  • Python:通配符查找、拷貝文件的操作

    Python:通配符查找、拷貝文件的操作

    這篇文章主要介紹了Python:通配符查找、拷貝文件的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2021-04-04
  • Python通過(guò)Pygame繪制移動(dòng)的矩形實(shí)例代碼

    Python通過(guò)Pygame繪制移動(dòng)的矩形實(shí)例代碼

    這篇文章主要介紹了Python通過(guò)Pygame繪制移動(dòng)的矩形實(shí)例代碼,具有一定借鑒價(jià)值,需要的朋友可以參考下
    2018-01-01
  • python批量壓縮圖像的完整步驟

    python批量壓縮圖像的完整步驟

    本文分享的內(nèi)容來(lái)源于一次做項(xiàng)目的經(jīng)驗(yàn),也就是從那之后才體會(huì)到了python強(qiáng)大的文件批處理能力,這篇文章主要給大家介紹了關(guān)于python批量壓縮圖像的相關(guān)資料,需要的朋友可以參考下
    2021-12-12
  • 詳解PyTorch預(yù)定義數(shù)據(jù)集類(lèi)datasets.ImageFolder使用方法

    詳解PyTorch預(yù)定義數(shù)據(jù)集類(lèi)datasets.ImageFolder使用方法

    這篇文章主要為大家介紹了PyTorch預(yù)定義數(shù)據(jù)集類(lèi)datasets.ImageFolder使用方法詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-04-04
  • Python 中的 XML 轉(zhuǎn)換利器xml2dict詳解

    Python 中的 XML 轉(zhuǎn)換利器xml2dict詳解

    xml2dict是一個(gè)Python庫(kù),可以將XML數(shù)據(jù)轉(zhuǎn)換為字典,也支持反向轉(zhuǎn)換,它簡(jiǎn)化了XML的處理,使之像處理JSON一樣簡(jiǎn)單,適用于Web服務(wù)數(shù)據(jù)交換、配置文件讀取等場(chǎng)景,安裝簡(jiǎn)單,使用方便,還可以通過(guò)自定義轉(zhuǎn)換器處理XML屬性和命名空間
    2024-10-10
  • 實(shí)現(xiàn)python?namedtuple元類(lèi)編程

    實(shí)現(xiàn)python?namedtuple元類(lèi)編程

    這篇文章主要為大家介紹了實(shí)現(xiàn)python?namedtuple元類(lèi)編程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-07-07
  • Python3.x+pycharm+Anaconda中縮小打包的.exe體積的問(wèn)題

    Python3.x+pycharm+Anaconda中縮小打包的.exe體積的問(wèn)題

    這篇文章主要介紹了Python3.x+pycharm+Anaconda中縮小打包的.exe體積的問(wèn)題,本文通過(guò)圖文實(shí)例相結(jié)合給大家分享解決方案,需要的朋友可以參考下
    2021-08-08
  • 詳解Python的Django框架中的中間件

    詳解Python的Django框架中的中間件

    這篇文章主要介紹了詳解Python的Django框架中的中間件,包括中間件的安裝等內(nèi)容,需要的朋友可以參考下
    2015-07-07
  • 使用Python實(shí)現(xiàn)將PDF轉(zhuǎn)為圖片

    使用Python實(shí)現(xiàn)將PDF轉(zhuǎn)為圖片

    這篇文章主要為大家詳細(xì)介紹了python如何借用第三方庫(kù)Spire.PDF for Python,從而實(shí)現(xiàn)將PDF轉(zhuǎn)為圖片的功能,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
    2023-10-10

最新評(píng)論