python實現(xiàn)字符串加密 生成唯一固定長度字符串
更新時間：2019年03月22日 08:09:24 作者：中乘風(fēng)
這篇文章主要為大家詳細介紹了python實現(xiàn)字符串加密，生成唯一固定長度字符串，具有一定的參考價值，感興趣的小伙伴們可以參考一下
背景
有時候爬蟲爬過的url需要進行指紋核對，比如Scrapy就是進行指紋核對，如果是指紋重復(fù)則不再爬取。當然在入庫的時候我還是需要做一次核對，否則如果爬蟲有漏掉，進入數(shù)據(jù)庫就不合適了。
思路
根據(jù)Scrapy的指紋生成方式，這次的指紋生成方式也是用hash的MD5對目標URL進行加密，生成固定長度的字符串，然后在數(shù)據(jù)庫里面將字段設(shè)置成unique，這樣的話在保證url固定長度的情況下還能夠保證入庫后的唯一性，進最大努力避免出現(xiàn)重復(fù)的數(shù)據(jù)。
指紋生成代碼
新建一個文件，然后在里面編寫指紋生成的方法，在使用的時候from import進來，調(diào)用方法即可。代碼為：
import hashlib
def get_md5(url):
"""
由于hash不處理unicode編碼的字符串（python3默認字符串是unicode）
所以這里判斷是否字符串，如果是則進行轉(zhuǎn)碼
初始化md5、將url進行加密、然后返回加密字串
"""
if isinstance(url, str):
url = url.encode("utf-8")
md = hashlib.md5()
md.update(url)
return md.hexdigest()
為了驗證代碼的可用性，再加上代碼：
if __name__ == "__main__": urls = "http://www.baidus.com" print(get_md5(urls))
在本地運行無誤，再把下面這串刪除。等到調(diào)用的時候from import get_md5把文件和方法引入，就可以使用了
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python 使用事件對象asyncio.Event來同步協(xié)程的操作
這篇文章主要介紹了python 使用事件對象asyncio.Event來同步協(xié)程的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
這篇博客將介紹如何使用Opencv進行二維直方圖的計算及繪制，維直方圖可以讓我們對不同的像素密度有更好的了解，感興趣的可以了解一下2021-07-07
Python描述數(shù)據(jù)結(jié)構(gòu)學(xué)習(xí)之哈夫曼樹篇
這篇文章主要給大家介紹了關(guān)于Python描述數(shù)據(jù)結(jié)構(gòu)學(xué)習(xí)之哈夫曼樹篇的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
Pandas中map(),applymap(),apply()函數(shù)的使用方法
本文主要介紹了Pandas中map(),applymap(),apply()函數(shù)的使用方法，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
Python實現(xiàn)Mysql數(shù)據(jù)庫連接池實例詳解
這篇文章主要介紹了Python實現(xiàn)Mysql數(shù)據(jù)庫連接池實例詳解的相關(guān)資料,需要的朋友可以參考下2017-04-04
python 表達式和語句及for、while循環(huán)練習(xí)實例
下面小編就為大家?guī)硪黄猵ython 表達式和語句及for、while循環(huán)練習(xí)實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-07-07
python中if的基礎(chǔ)用法(if?else和if?not)
if在Python中用作某個條件或值的判斷,下面這篇文章主要給大家介紹了關(guān)于python中if的基礎(chǔ)用法,主要包括if?else和if?not,文中通過圖文介紹的非常詳細,需要的朋友可以參考下2022-09-09
這篇文章主要介紹了python刪除特定文件的方法,涉及Python文件查找及刪除的相關(guān)技巧,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了Python閉包，所謂閉包就是用函數(shù)代替類，被外層函數(shù)包圍的內(nèi)層函數(shù)，它能夠獲取外層函數(shù)范圍中的變量，感興趣的小伙伴請和小編一起進入文章學(xué)習(xí)具體內(nèi)容吧2021-12-12
這篇文章主要介紹了VSCode2022配置Python3.9.6教程,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-09-09