如何利用python生成MD5并去重
更新時(shí)間：2020年12月07日 15:21:14 作者：liulanba
這篇文章主要給大家介紹了關(guān)于如何利用python生成MD5并去重的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
給每個(gè)文件生成一個(gè)MD5值，來對文件進(jìn)行加密，是常用的文件校驗(yàn)方法，但是MD5的缺陷就是不能防止碰撞，
所以不同文件生成的MD5可能是相同的，因此就需要進(jìn)行去重操作。
為方便演示，我用txt文件代替文件夾,用txt文件中的字符串代替文件夾中文件來生成MD5值并進(jìn)行去重操作。
每個(gè)txt文件中有字符串，用于生成MD5值：
然后用代碼生成MD5值并輸出為文件，打印了一下字符串的數(shù)量和MD5的數(shù)量，兩者是相同的：
生成的MD5文件內(nèi)容就是128位的MD5值，每個(gè)值一行：
接下來對這些MD5進(jìn)行去重操作，運(yùn)行程序，會自動生成一個(gè)txt文件并將去重后的MD5寫入。
到此這篇關(guān)于如何利用python生成MD5并去重的文章就介紹到這了,更多相關(guān)python生成MD5并去重內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
相關(guān)文章
在Python中畫圖(基于Jupyter notebook的魔法函數(shù))
這篇文章主要介紹了在Python中畫圖(基于Jupyter notebook的魔法函數(shù)),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10
這篇文章主要介紹了Python 如何實(shí)現(xiàn)訪問者模式，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
這篇文章主要為大家介紹了Python生成圖像特效,本文重點(diǎn)介紹如何使用python進(jìn)行圖像處理,生成各式各樣的圖像特效,有需要的朋友可以借鑒參考下,希望能夠有所幫助2023-10-10
在利用深度學(xué)習(xí)進(jìn)行分類時(shí),有時(shí)需要對中間的特征圖進(jìn)行提取操作,下面這篇文章主要給大家介紹了關(guān)于Python基于Pytorch的特征圖提取的相關(guān)資料,需要的朋友可以參考下2022-03-03
這篇文章主要介紹了Python中的單下劃線和雙下劃線使用場景詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
這篇文章主要給大家介紹了關(guān)于Python中新式類與經(jīng)典類的區(qū)別，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
這篇文章主要介紹了分享6個(gè)好用到爆的Pycharm插件，在安裝上之后，我們的編程效率、工作效率都能夠得到極大地提升，下面分享的內(nèi)容，需要的小伙伴可以參考一下2022-02-02
Matlab如何實(shí)現(xiàn)矩陣復(fù)制擴(kuò)充
這篇文章主要介紹了使用Matlab實(shí)現(xiàn)矩陣復(fù)制擴(kuò)充的操作，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-06-06
這篇文章主要介紹了解決python mysql insert語句的問題，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
在一些特殊的業(yè)務(wù)場景中，我們需要一次性提取一張圖片中的色卡信息，并且需要使用十六進(jìn)制的顏色表示方法進(jìn)行展示。本文就來用Python做個(gè)圖片色卡提取器，感興趣的可以嘗試一下2022-12-12