使用Python的Scrapy框架十分鐘爬取美女圖
更新時間：2016年12月26日 15:08:45 作者：strivescript
Scrapy是一個使用Python編寫的，輕量級的，簡單輕巧，并且使用起來非常的方便。使用Scrapy可以很方便的完成網上數據的采集工作，它為我們完成了大量的工作，而不需要自己費大力氣去開發(fā)。本文介紹了使用Python的Scrapy框架十分鐘爬取美女圖,需要的朋友可以參考下
簡介
scrapy 是一個 python 下面功能豐富、使用快捷方便的爬蟲框架。用 scrapy 可以快速的開發(fā)一個簡單的爬蟲，官方給出的一個簡單例子足以證明其強大：
快速開發(fā)
下面開始10分鐘倒計時：
當然開始前，可以先看看之前我們寫過的 scrapy 入門文章 《零基礎寫python爬蟲之使用Scrapy框架編寫爬蟲
1. 初始化項目
scrapy startproject mzt cd mzt scrapy genspider meizitu meizitu.com
2. 添加 spider 代碼：
定義 scrapy.Item ，添加 image_urls 和 images ，為下載圖片做準備。
修改 start_urls 為初始頁面, 添加 parse 用于處理列表頁， 添加 parse_item 處理項目頁面。
3. 修改配置文件：
DOWNLOAD_DELAY = 1 # 添加下載延遲配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加圖片下載 pipeline
IMAGES_STORE = '.' # 設置圖片保存目錄4. 運行項目：
scrapy crawl meizitu
看，項目運行效果圖
等待一會兒，就是收獲的時候了
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。
相關文章
本篇文章主要介紹了Python圖片裁剪實例代碼(如: 頭像裁剪)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-06-06
這篇文章主要介紹了Django中間件基礎用法詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07
pydantic庫是一種常用的用于數據接口schema定義與檢查的庫,通過pydantic庫,我們可以更為規(guī)范地定義和使用數據接口,下面這篇文章主要給大家介紹了關于python庫pydantic的簡易入門教程,需要的朋友可以參考下2022-03-03
pycharm配置pyqt5-tools開發(fā)環(huán)境的方法步驟
這篇文章主要介紹了pycharm配置pyqt5-tools開發(fā)環(huán)境的方法步驟，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-02-02
python導出requirements.txt的幾種方法以及環(huán)境配置詳細流程
這篇文章主要給大家介紹了關于python導出requirements.txt的幾種方法以及環(huán)境配置詳細流程,requirements.txt 文件是一個文本文件,用于列出你的Python項目所依賴的軟件包及其版本,需要的朋友可以參考下2023-11-11
對于Python程序員來說,處理彈出窗口似乎并不是一個常見的任務,這篇文章主要給大家介紹了關于Python圖形化界面基礎篇之如何使用彈出窗口和對話框的相關資料,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了自適應線性神經網絡Adaline的python實現詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
python Django編寫接口并用Jmeter測試的方法
這篇文章主要介紹了python Django編寫接口并用Jmeter測試,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
本文主要介紹了python爬蟲的工作原理，具有很好的參考價值。下面跟著小編一起來看下吧2017-03-03
這篇文章主要介紹了利用Python腳本批量生成SQL語句，具有很好對參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03