亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法

 更新時(shí)間:2015年04月08日 10:14:15   作者:pythoner  
這篇文章主要介紹了Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法,實(shí)例分析了打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下

本文實(shí)例講述了Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法。分享給大家供大家參考。具體如下:

通過(guò)下面這段代碼可以一目了然的知道scrapy的抓取頁(yè)面結(jié)構(gòu),調(diào)用也非常簡(jiǎn)單

#!/usr/bin/env python
import fileinput, re
from collections import defaultdict
def print_urls(allurls, referer, indent=0):
  urls = allurls[referer]
  for url in urls:
    print ' '*indent + referer
    if url in allurls:
      print_urls(allurls, url, indent+2)
def main():
  log_re = re.compile(r'<GET (.*?)> \(referer: (.*?)\)')
  allurls = defaultdict(list)
  for l in fileinput.input():
    m = log_re.search(l)
    if m:
      url, ref = m.groups()
      allurls[ref] += [url]
  print_urls(allurls, 'None')
main()

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

相關(guān)文章

  • python for循環(huán)賦值問(wèn)題

    python for循環(huán)賦值問(wèn)題

    這篇文章主要介紹了python for循環(huán)賦值問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-06-06
  • Python生成掃雷地圖的方法

    Python生成掃雷地圖的方法

    這篇文章主要為大家詳細(xì)介紹了Python生成掃雷地圖的方法,并非游戲?qū)崿F(xiàn),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-09-09
  • pycharm安裝django框架詳細(xì)圖文教程(指定版本)

    pycharm安裝django框架詳細(xì)圖文教程(指定版本)

    這篇文章主要給大家介紹了關(guān)于pycharm安裝django框架(指定版本)的相關(guān)資料,PyCharm是一種Python?IDE,帶有一整套可以幫助用戶在使用Python語(yǔ)言開(kāi)發(fā)時(shí)提高其效率的工具,需要的朋友可以參考下
    2023-10-10
  • python with語(yǔ)句的原理與用法詳解

    python with語(yǔ)句的原理與用法詳解

    這篇文章主要介紹了python with語(yǔ)句的原理與用法,結(jié)合實(shí)例形式詳細(xì)分析了python with語(yǔ)句基本概念、原理、用法及操作注意事項(xiàng),需要的朋友可以參考下
    2020-03-03
  • Pandas之drop_duplicates:去除重復(fù)項(xiàng)方法

    Pandas之drop_duplicates:去除重復(fù)項(xiàng)方法

    下面小編就為大家分享一篇Pandas之drop_duplicates:去除重復(fù)項(xiàng)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-04-04
  • pytorch中關(guān)于backward的幾個(gè)要點(diǎn)說(shuō)明

    pytorch中關(guān)于backward的幾個(gè)要點(diǎn)說(shuō)明

    這篇文章主要介紹了pytorch中關(guān)于backward的幾個(gè)要點(diǎn)說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-02-02
  • Python OpenCV對(duì)圖像像素進(jìn)行操作

    Python OpenCV對(duì)圖像像素進(jìn)行操作

    大家好,本篇文章主要講的是Python OpenCV對(duì)圖像像素進(jìn)行操作,感興趣的同學(xué)趕快來(lái)看一看吧,對(duì)你有幫助的話記得收藏一下,方便下次瀏覽
    2022-01-01
  • python 利用PyAutoGUI快速構(gòu)建自動(dòng)化操作腳本

    python 利用PyAutoGUI快速構(gòu)建自動(dòng)化操作腳本

    我們經(jīng)常遇到需要進(jìn)行大量重復(fù)操作的時(shí)候,比如:網(wǎng)頁(yè)上填表,對(duì) web 版本 OA 進(jìn)行操作,自動(dòng)化測(cè)試或者給新系統(tǒng)首次添加數(shù)據(jù)等,今天就利用PyAutoGUI構(gòu)建自動(dòng)化操作腳本完成這些重復(fù)的需求
    2021-05-05
  • Python中使用遍歷在列表中添加字典遇到的坑

    Python中使用遍歷在列表中添加字典遇到的坑

    今天小編就為大家分享一篇關(guān)于Python中使用遍歷在列表中添加字典遇到的坑,小編覺(jué)得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧
    2019-02-02
  • Django 404、500頁(yè)面全局配置知識(shí)點(diǎn)詳解

    Django 404、500頁(yè)面全局配置知識(shí)點(diǎn)詳解

    在本篇文章里小編給大家整理了關(guān)于Django 404、500頁(yè)面全局配置知識(shí)點(diǎn)詳解,需要的朋友們可以學(xué)習(xí)下。
    2020-03-03

最新評(píng)論