腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

軟件下載

android MAC 驅(qū)動(dòng)下載字體下載 DLL

源碼下載

PHP ASP.NET ASP JSP

軟件編程

C# JAVA C 語(yǔ)言 Delphi Android

網(wǎng)絡(luò)編程

PHP ASP.NET ASP JavaScript

在線(xiàn)工具

CSS格式化 JS格式化 Html轉(zhuǎn)化為Js

數(shù)據(jù)庫(kù)

MYSQL MSSQL oracle DB2 MARIADB

CMS

PHPCMS DEDECMS 帝國(guó)CMS WordPress

常用工具

PHP開(kāi)發(fā)工具 python Photoshop 必備軟件

python爬取一組小姐姐圖片實(shí)例

更新時(shí)間：2022年01月16日 11:26:47 作者：新手_six

大家好，本篇文章主要講的是python爬取一組小姐姐圖片實(shí)例，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話(huà)記得收藏一下

前言

前段時(shí)間我有個(gè)朋友看到一些小姐姐的照片，想全部下載下來(lái)，叫我?guī)蛡€(gè)忙。于是花費(fèi)了半天給他全部下載了下來(lái)。

引入庫(kù)

import time
import requests
from lxml import etree

這三個(gè)庫(kù)是為了讓我們?cè)谡?qǐng)求別人網(wǎng)站的時(shí)候，讓程序休息一會(huì)，避免別人的網(wǎng)站會(huì)攔截或者崩潰和將得到的頁(yè)面源代碼進(jìn)行解析。

網(wǎng)頁(yè)分析

利用瀏覽器的開(kāi)發(fā)者模式，對(duì)頁(yè)面進(jìn)行分析，找出我們所需要的每個(gè)圖片封面url

href = tree.xpath('//*[@id="features"]/div/div[1]/div/div[1]/a/@href')

我們得到了封面的url后，但這還不是我們所需要的，我們所需要的是超鏈接里面的圖片

我們進(jìn)入后，發(fā)現(xiàn)每張圖片都在<p></p>里面，如何我們利用循環(huán)得到每張圖片的url地址

 for url_img in href:
            img_url = requests.get(url_img,headers=head)
            # print(img_url.text)
            time.sleep(1)
            t = etree.HTML(img_url.text)
            url_list = t.xpath("/html/body/section/div/div/div[1]/div[2]/p[2]/img/@src")

剩下的就很簡(jiǎn)單了，我們只需對(duì)文件進(jìn)行保存就得到我們想要的結(jié)果了。

 with open(f"./img/{name}",mode="wb") as f:
        f.write(download_img.content)
        print("正在下載:" +name)
        time.sleep(1)

總結(jié)

但同步下載非常慢，我們可以寫(xiě)個(gè)多線(xiàn)程或者異步協(xié)程來(lái)幫助我們下載得更快。

我知道還有很多不足，有沒(méi)有更簡(jiǎn)潔的寫(xiě)法，希望大佬們能指出，謝謝！

完整代碼

import time
import requests
from lxml import etree
 
def get_page_url():
    for i in range(1, 4): # 循環(huán)3頁(yè)
        url = f"https://mm.tvv.tw/category/xinggan/{i}/"
 
        # 請(qǐng)求頁(yè)面得到源代碼
        res = requests.get(url,headers=head)
        # 對(duì)源代碼進(jìn)行解析
        tree = etree.HTML(res.text)
        # 得到每個(gè)圖片的封面url（href）
        href = tree.xpath('//*[@id="features"]/div/div[1]/div/div[1]/a/@href')
        # print("-------------------------------------------------------")
        time.sleep(3)
        for url_img in href:
            img_url = requests.get(url_img,headers=head)
            # print(img_url.text)
            time.sleep(1)
            t = etree.HTML(img_url.text)
            url_list = t.xpath("/html/body/section/div/div/div[1]/div[2]/p[2]/img/@src")
            # print(url_list)
            time.sleep(1)
            for url_src in url_list:
                get_img(url_src)
 
def get_img(url):
    name = url.rsplit("/",1)[1]
    time.sleep(2)
    download_img = requests.get(url,headers=head)
    with open(f"./img/{name}",mode="wb") as f:
        f.write(download_img.content)
        print("正在下載:" +name)
        time.sleep(1)
    f.close()
 
 
 
 
if __name__ == '__main__':
    head = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
    get_page_url()

到此這篇關(guān)于python爬取一組小姐姐圖片實(shí)例的文章就介紹到這了,更多相關(guān)python爬取圖片內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频