Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法
本文實(shí)例講述了Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法。分享給大家供大家參考。具體如下:
通過(guò)下面這段代碼可以一目了然的知道scrapy的抓取頁(yè)面結(jié)構(gòu),調(diào)用也非常簡(jiǎn)單
#!/usr/bin/env python import fileinput, re from collections import defaultdict def print_urls(allurls, referer, indent=0): urls = allurls[referer] for url in urls: print ' '*indent + referer if url in allurls: print_urls(allurls, url, indent+2) def main(): log_re = re.compile(r'<GET (.*?)> \(referer: (.*?)\)') allurls = defaultdict(list) for l in fileinput.input(): m = log_re.search(l) if m: url, ref = m.groups() allurls[ref] += [url] print_urls(allurls, 'None') main()
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
- 詳解JavaScript樹(shù)結(jié)構(gòu)
- JAVA使用geotools讀取shape格式文件的方法
- java后端把數(shù)據(jù)轉(zhuǎn)換為樹(shù),map遞歸生成json樹(shù),返回給前端(后臺(tái)轉(zhuǎn)換)
- mybatis實(shí)現(xiàn)讀取樹(shù)結(jié)構(gòu)數(shù)據(jù)實(shí)例代碼
- Python實(shí)現(xiàn)二叉樹(shù)結(jié)構(gòu)與進(jìn)行二叉樹(shù)遍歷的方法詳解
- C++二叉樹(shù)結(jié)構(gòu)的建立與基本操作
- 一個(gè)很簡(jiǎn)單的jquery+xml+ajax的無(wú)刷新樹(shù)結(jié)構(gòu)(無(wú)css,后臺(tái)是c#)
- JavaScript幾種形式的樹(shù)結(jié)構(gòu)菜單
- asp下生成目錄樹(shù)結(jié)構(gòu)的類
- Java實(shí)現(xiàn)簡(jiǎn)單樹(shù)結(jié)構(gòu)
相關(guān)文章
pycharm安裝django框架詳細(xì)圖文教程(指定版本)
這篇文章主要給大家介紹了關(guān)于pycharm安裝django框架(指定版本)的相關(guān)資料,PyCharm是一種Python?IDE,帶有一整套可以幫助用戶在使用Python語(yǔ)言開(kāi)發(fā)時(shí)提高其效率的工具,需要的朋友可以參考下2023-10-10Pandas之drop_duplicates:去除重復(fù)項(xiàng)方法
下面小編就為大家分享一篇Pandas之drop_duplicates:去除重復(fù)項(xiàng)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04pytorch中關(guān)于backward的幾個(gè)要點(diǎn)說(shuō)明
這篇文章主要介紹了pytorch中關(guān)于backward的幾個(gè)要點(diǎn)說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-02-02Python OpenCV對(duì)圖像像素進(jìn)行操作
大家好,本篇文章主要講的是Python OpenCV對(duì)圖像像素進(jìn)行操作,感興趣的同學(xué)趕快來(lái)看一看吧,對(duì)你有幫助的話記得收藏一下,方便下次瀏覽2022-01-01python 利用PyAutoGUI快速構(gòu)建自動(dòng)化操作腳本
我們經(jīng)常遇到需要進(jìn)行大量重復(fù)操作的時(shí)候,比如:網(wǎng)頁(yè)上填表,對(duì) web 版本 OA 進(jìn)行操作,自動(dòng)化測(cè)試或者給新系統(tǒng)首次添加數(shù)據(jù)等,今天就利用PyAutoGUI構(gòu)建自動(dòng)化操作腳本完成這些重復(fù)的需求2021-05-05Django 404、500頁(yè)面全局配置知識(shí)點(diǎn)詳解
在本篇文章里小編給大家整理了關(guān)于Django 404、500頁(yè)面全局配置知識(shí)點(diǎn)詳解,需要的朋友們可以學(xué)習(xí)下。2020-03-03