讀萬(wàn)卷書(shū)不如行萬(wàn)里路，只學(xué)書(shū)上的理論是遠(yuǎn)遠(yuǎn)不夠的，只有在實(shí)戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python采集糗事百科段子的數(shù)據(jù),大家可以在過(guò)程中查缺補(bǔ)漏，提升水平

知識(shí)點(diǎn)

1.爬蟲(chóng)基本步驟
2.requests模塊
3.parsel模塊
4.xpath數(shù)據(jù)解析方法
5.分頁(yè)功能

爬蟲(chóng)基本步驟:

1.獲取網(wǎng)頁(yè)地址 (糗事百科的段子的地址)
2.發(fā)送請(qǐng)求
3.數(shù)據(jù)解析
4.保存本地

爬蟲(chóng)代碼

導(dǎo)入所需模塊

import re
import requests
import parsel

獲取網(wǎng)頁(yè)地址

url = 'https://www.qiushibaike.com/text/'
# 請(qǐng)求頭   偽裝客戶端向服務(wù)器發(fā)送請(qǐng)求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}

發(fā)送請(qǐng)求

requ = requests.get(url=url, headers=headers).text

數(shù)據(jù)解析

sel = parsel.Selector(requ)  # 解析對(duì)象 <Selector xpath=None data='<html xmlns="http://www.w3.org/1999/x...'>
href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
for html in href:
    txt_ + html
    requ2 = requests.get(url=txt_href, headers=headers).text
    sel2 = parsel.Selector(requ2)
    title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
    title = re.sub(r'[|/\：？<>*]','_',title)
    # content = sel2.xpath('//div[@class="content"]/text()').getall()
    content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
    contents = '\n'.join(content)

保存數(shù)據(jù)

with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
    fp.write(contents)
    print(title, '下載成功')

運(yùn)行代碼，得到數(shù)據(jù)

【付費(fèi)VIP完整版】只要看了就能學(xué)會(huì)的教程，80集Python基礎(chǔ)入門(mén)視頻教學(xué)

點(diǎn)這里即可免費(fèi)在線觀看

到此這篇關(guān)于Python爬蟲(chóng)實(shí)戰(zhàn)演練之采集糗事百科段子數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python 采集糗事百科段子內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

Pytorch如何切換 cpu和gpu的使用詳解
這篇文章主要介紹了Pytorch如何切換 cpu和gpu的使用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2021-03-03
用Python登錄好友QQ空間點(diǎn)贊的示例代碼
這篇文章主要介紹了用Python登錄好友QQ空間點(diǎn)贊的示例代碼，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-11-11
Python Playwright安裝和基本使用問(wèn)題記錄
這篇文章主要介紹了Playwright安裝和基本使用問(wèn)題記錄,playwright是一款新型的自動(dòng)化測(cè)試工具，功能非常強(qiáng)大，有很多優(yōu)點(diǎn)，缺點(diǎn)就是使用的人比較少，本文通過(guò)實(shí)例代碼介紹的非常詳細(xì)，需要的朋友可以參考下
2023-05-05
如何基于opencv實(shí)現(xiàn)簡(jiǎn)單的數(shù)字識(shí)別
現(xiàn)在很多場(chǎng)景需要使用的數(shù)字識(shí)別,比如銀行卡識(shí)別,以及車(chē)牌識(shí)別等,在AI領(lǐng)域有很多圖像識(shí)別算法,大多是居于opencv 或者谷歌開(kāi)源的tesseract 識(shí)別,下面這篇文章主要給大家介紹了關(guān)于如何基于opencv實(shí)現(xiàn)簡(jiǎn)單的數(shù)字識(shí)別,需要的朋友可以參考下
2021-09-09
基于Python繪制3D立體愛(ài)心圖案的示例詳解
這篇文章主要為大家詳細(xì)介紹了利用Python實(shí)現(xiàn)繪制3D立體愛(ài)心圖案的四種不同方法，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以動(dòng)手嘗試一下
2022-11-11
Python開(kāi)啟Http Server的實(shí)現(xiàn)步驟
本文主要介紹了Python開(kāi)啟Http Server的實(shí)現(xiàn)步驟，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2023-07-07
numpy.linspace 生成等差數(shù)組的方法
今天小編就為大家分享一篇numpy.linspace 生成等差數(shù)組的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-07-07
python url 參數(shù)修改方法
今天小編就為大家分享一篇python url 參數(shù)修改方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-12-12
Flask表單與表單驗(yàn)證實(shí)現(xiàn)流程介紹
這篇文章主要介紹了python中Flask?Web?表單的使用方法介紹，表單的操作是Web程序開(kāi)發(fā)中最核心的模塊之一，絕大多數(shù)的動(dòng)態(tài)交互功能都是通過(guò)表單的形式實(shí)現(xiàn)的。更多介紹需要的小伙伴可以參考下面文章內(nèi)容
2022-09-09
基于python代碼實(shí)現(xiàn)簡(jiǎn)易濾除數(shù)字的方法
今天小編就為大家分享一篇基于python代碼實(shí)現(xiàn)簡(jiǎn)易濾除數(shù)字的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-07-07