Python爬蟲DNS解析緩存方法實(shí)例分析
本文實(shí)例講述了Python爬蟲DNS解析緩存方法。分享給大家供大家參考，具體如下：
前言：
這是Python爬蟲中DNS解析緩存模塊中的核心代碼，是去年的代碼了，現(xiàn)在放出來 有興趣的可以看一下。
一般一個域名的DNS解析時間在10~60毫秒之間，這看起來是微不足道，但是對于大型一點(diǎn)的爬蟲而言這就不容忽視了。例如我們要爬新浪微博，同個域名下的請求有1千萬（這已經(jīng)不算多的了），那么耗時在10~60萬秒之間，一天才86400秒。也就是說單DNS解析這一項(xiàng)就用了好幾天時間，此時加上DNS解析緩存，效果就明顯了。
下面直接放代碼，說明在后面。
代碼：
# encoding=utf-8
# ---------------------------------------
# 版本：0.1
# 日期：2016-04-26
# 作者：九茶<bone_ace@163.com>
# 開發(fā)環(huán)境：Win64 + Python 2.7
# ---------------------------------------
import socket
# from gevent import socket
_dnscache = {}
def _setDNSCache():
""" DNS緩存 """
def _getaddrinfo(*args, **kwargs):
if args in _dnscache:
# print str(args) + " in cache"
return _dnscache[args]
else:
# print str(args) + " not in cache"
_dnscache[args] = socket._getaddrinfo(*args, **kwargs)
return _dnscache[args]
if not hasattr(socket, '_getaddrinfo'):
socket._getaddrinfo = socket.getaddrinfo
socket.getaddrinfo = _getaddrinfo
說明：
其實(shí)也沒什么難度，就是將socket里面的緩存保存下來，避免重復(fù)獲取。
可以將上面的代碼放在一個dns_cache.py文件里，爬蟲框架里調(diào)用一下這個_setDNSCache()方法就行了。
需要說明一下的是，如果你使用了gevent協(xié)程，并且用上了monkey.patch_all()，要注意此時爬蟲已經(jīng)改用gevent里面的socket了，DNS解析緩存模塊也應(yīng)該要用gevent的socket才行。
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計(jì)有所幫助。
- Python模塊域名dnspython解析
- python批量處理多DNS多域名的nslookup解析實(shí)現(xiàn)
- 利用Python+阿里云實(shí)現(xiàn)DDNS動態(tài)域名解析的方法
- Python實(shí)現(xiàn)的簡單dns查詢功能示例
- python實(shí)現(xiàn)域名系統(tǒng)(DNS)正向查詢的方法
- Python中使用scapy模擬數(shù)據(jù)包實(shí)現(xiàn)arp攻擊、dns放大攻擊例子
- Python寫的一個簡單DNS服務(wù)器實(shí)例
- python實(shí)現(xiàn)DNS正向查詢、反向查詢的例子
- Python DNS查詢放大攻擊實(shí)現(xiàn)原理解析
相關(guān)文章
解決Python 異常TypeError: cannot concatenate ''str'' and ''int''
這篇文章主要介紹了解決Python 異常TypeError: cannot concatenate 'str' and 'int' objects，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
Python中numpy數(shù)組的計(jì)算與轉(zhuǎn)置詳解
大家好，本篇文章主要講的是Python中numpy數(shù)組的計(jì)算與轉(zhuǎn)置詳解，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
這篇文章主要介紹了Django框架中處理URLconf中特定的URL的方法,Django是豐富多彩的Python框架中最具人氣的一個,需要的朋友可以參考下2015-07-07
Python利用模糊哈希實(shí)現(xiàn)對比文件相似度
對比兩個文件相似度，python中可通過difflib.SequenceMatcher/ssdeep/python_mmdt/tlsh實(shí)現(xiàn)，<BR>在大量需要對比，且文件較大時，需要更高的效率，可以考慮模糊哈希，本文就來和大家詳細(xì)聊聊2023-01-01
1行Python代碼實(shí)現(xiàn)去除圖片水印詳解
這篇文章主要為大家介紹了1行Python代碼實(shí)現(xiàn)去除圖片水印詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
本文主要介紹了Python中可以用三種方法判斷文件是否存在，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
Python實(shí)現(xiàn)在Windows平臺修改文件屬性
這篇文章主要介紹了Python實(shí)現(xiàn)在Windows平臺修改文件屬性，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
本文主要介紹了Python導(dǎo)入模塊的3種方式小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
這篇文章主要為大家詳細(xì)介紹了Django自定義分頁的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-09-09
Python 實(shí)現(xiàn) T00ls 自動簽到腳本代碼（郵件+釘釘通知）
這篇文章主要介紹了Python 實(shí)現(xiàn) T00ls 自動簽到腳本（郵件+釘釘通知）,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07