亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲功能示例

 更新時(shí)間：2019年08月02日 11:33:08   作者：郭大俠寫leetcode  
這篇文章主要介紹了Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲功能,結(jié)合實(shí)例形式分析了Python使用BeautifulSoup和requests庫(kù)爬取網(wǎng)站指定信息的相關(guān)操作技巧,需要的朋友可以參考下

本文實(shí)例講述了Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲功能。分享給大家供大家參考，具體如下：

爬取的目標(biāo)網(wǎng)頁(yè)：http://www.qianlima.com/zb/area_305/

這是一個(gè)招投標(biāo)網(wǎng)站，我們使用python腳本爬取紅框中的信息，包括鏈接網(wǎng)址、鏈接名稱、時(shí)間等三項(xiàng)內(nèi)容。

使用到的Python庫(kù)：BeautifulSoup、requests

代碼如下：

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#連接
content = r.text#獲取內(nèi)容，自動(dòng)轉(zhuǎn)碼unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
 print tag.get('href')
 print tag.string
 print tag.next_element.next_element.string

運(yùn)行結(jié)果如下

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

相關(guān)文章

  • pygame實(shí)現(xiàn)非圖片按鈕效果

    pygame實(shí)現(xiàn)非圖片按鈕效果

    這篇文章主要介紹了pygame實(shí)現(xiàn)非圖片按鈕效果，不使用圖片制作，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
    2019-10-10
  • Python VTK計(jì)算曲面的高斯曲率和平均曲率

    Python VTK計(jì)算曲面的高斯曲率和平均曲率

    這篇文章主要介紹了Python VTK計(jì)算曲面的高斯曲率和平均曲率，如何使用戶Python版本的VTK計(jì)算曲面的高斯曲率并映射在曲面上。本例中使用了兩個(gè)不同的表面，每個(gè)表面根據(jù)其高斯曲率和平均曲率著色,需要的朋友可以參考一下
    2022-04-04
  • 一篇文章教你用Python實(shí)現(xiàn)一個(gè)學(xué)生管理系統(tǒng)

    一篇文章教你用Python實(shí)現(xiàn)一個(gè)學(xué)生管理系統(tǒng)

    這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)學(xué)生管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
    2021-09-09
  • Python深度學(xué)習(xí)之使用Albumentations對(duì)圖像做增強(qiáng)

    Python深度學(xué)習(xí)之使用Albumentations對(duì)圖像做增強(qiáng)

    諸如RandomCrop和CenterCrop之類的某些增強(qiáng)功能可能會(huì)變換圖像,使其不包含所有原始邊界框. 本示例說(shuō)明如何使用名為RandomSizedBBoxSafeCrop的變換來(lái)裁剪圖像的一部分,但保留原始圖像的所有邊界框,需要的朋友可以參考下
    2021-05-05
  • 詳解Python中最常用的10個(gè)內(nèi)置函數(shù)

    詳解Python中最常用的10個(gè)內(nèi)置函數(shù)

    Python作為一種多用途編程語(yǔ)言,擁有豐富的內(nèi)置函數(shù)庫(kù),這些函數(shù)可以極大地提高開發(fā)效率,本文將介紹Python中最常用的10個(gè)內(nèi)置函數(shù),我們將深入了解每個(gè)函數(shù),并提供示例代碼以幫助您更好地理解它們,需要的朋友可以參考下
    2023-11-11
  • numpy.reshape(-1,1)的具體使用

    numpy.reshape(-1,1)的具體使用

    本文主要介紹了numpy.reshape(-1,1)的具體使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-07-07
  • python Pandas如何對(duì)數(shù)據(jù)集隨機(jī)抽樣

    python Pandas如何對(duì)數(shù)據(jù)集隨機(jī)抽樣

    這篇文章主要介紹了python Pandas如何對(duì)數(shù)據(jù)集隨機(jī)抽樣，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • 利用PyCharm操作Github(倉(cāng)庫(kù)新建、更新，代碼回滾)

    利用PyCharm操作Github(倉(cāng)庫(kù)新建、更新，代碼回滾)

    這篇文章主要介紹了利用PyCharm操作Github(倉(cāng)庫(kù)新建、更新，代碼回滾),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-12-12
  • python調(diào)用ffmpeg命令行工具便捷操作視頻示例實(shí)現(xiàn)過(guò)程

    python調(diào)用ffmpeg命令行工具便捷操作視頻示例實(shí)現(xiàn)過(guò)程

    現(xiàn)在短視頻很流行，有很多視頻編輯軟件，功能豐富，而我們需要的只是裁剪功能，而且需要用編程的方式調(diào)用，那么最合適的莫過(guò)于ffmpeg了
    2021-11-11
  • python實(shí)現(xiàn)簡(jiǎn)單顏色識(shí)別程序

    python實(shí)現(xiàn)簡(jiǎn)單顏色識(shí)別程序

    這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡(jiǎn)單顏色識(shí)別程序，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
    2020-02-02

最新評(píng)論