python中Scrapy?shell的使用
前言：
我們想要在爬蟲中使用xpath、beautifulsoup、正則表達(dá)式，css選擇器等來提取想要的數(shù)據(jù)，但是因為scrapy是一個比較重的框架，每次運(yùn)行都要等到一段時間，因此要去驗證我們提取規(guī)則是否正確，是一個比較麻煩的事情，因此，scrapy提供了一個shell。用來方便的測試規(guī)則，當(dāng)然也不僅僅局限于這一個功能。
打開Scrapy shell：
進(jìn)入命令行終端，進(jìn)入到scrapy項目所在的目錄，然后進(jìn)入到scrapy框架所在的虛擬環(huán)境中，輸入命令 scrapy shell [鏈接] ，就會進(jìn)入到scrapy的shell環(huán)境中。在這個環(huán)境中，你可以跟在爬蟲的parse方法中一樣使用了。
進(jìn)入到scrapy項目所在的目錄：
cd /Volumes/development/Python_learn/PycharmProjects/scrapy_demo/bmw_img_demo/
進(jìn)入到scrapy框架所在的虛擬環(huán)境中：
?source /Volumes/development/Python_learn/PycharmProjects/venv/crawler_evn/bin/activate
輸入命令 scrapy shell [鏈接] :
rapy shell https://car.autohome.com.cn/pic/series/66.html
輸入我們需要測試的語句：
? ? ? ?srcs = response.xpath('//div[contains(@class,"uibox-con")]/ul/li/a/img/@src').getall()
到此這篇關(guān)于python入門之Scrapy shell的使用的文章就介紹到這了,更多相關(guān)Scrapy shell的使用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python內(nèi)置的HTTP協(xié)議服務(wù)器SimpleHTTPServer使用指南
這篇文章主要介紹了Python內(nèi)置的HTTP協(xié)議服務(wù)器SimpleHTTPServer使用指南,SimpleHTTPServer本身的功能十分簡單,文中介紹了需要的朋友可以參考下2016-03-03
Python常見數(shù)據(jù)類型轉(zhuǎn)換操作示例
這篇文章主要介紹了Python常見數(shù)據(jù)類型轉(zhuǎn)換操作,結(jié)合實例形式分析了Python針對列表、集合、元組、字典等數(shù)據(jù)類型轉(zhuǎn)換的相關(guān)操作技巧,需要的朋友可以參考下2019-05-05
在本篇文章里小編給大家整理的是關(guān)于python實發(fā)郵件的相關(guān)知識點內(nèi)容，有需要的朋友們學(xué)習(xí)下。2019-11-11
本篇文章主要介紹了tensorflow輸出權(quán)重值和偏差的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
Python區(qū)塊鏈創(chuàng)建Block Class教程
這篇文章主要為大家介紹了Python區(qū)塊鏈創(chuàng)建Block Class教程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
為了簡化數(shù)據(jù)類型的寫入和獲取，今天我們來學(xué)習(xí)一個新的知識點——序列化。通過學(xué)習(xí)序列化，可以不必過分擔(dān)心寫入文件的數(shù)據(jù)類型是什么，并且讀取文件也可以非常輕松的還原數(shù)據(jù)類型。感興趣的可以了解一下2022-03-03
這篇文章主要介紹了Python爬蟲 bilibili視頻彈幕提取過程詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
Python?matplotlib之折線圖的各種樣式與畫法總結(jié)
matplotlib是Python中的一個第三方庫,主要用于開發(fā)2D圖表，以漸進(jìn)式、交互式的方式實現(xiàn)數(shù)據(jù)可視化，可以更直觀的呈現(xiàn)數(shù)據(jù)，使數(shù)據(jù)更具說服力,下面這篇文章主要給大家介紹了關(guān)于Python?matplotlib之折線圖的各種樣式與畫法的相關(guān)資料,需要的朋友可以參考下2022-12-12
裝飾器經(jīng)常被用于有切面需求的場景，較為經(jīng)典的有插入日志、性能測試、事務(wù)處理等。裝飾器是解決這類問題的絕佳設(shè)計，有了裝飾器，我們就可以抽離出大量函數(shù)中與函數(shù)功能本身無關(guān)的雷同代碼并繼續(xù)重用。裝飾器的作用就是為已經(jīng)存在的對象添加額外的功能。2021-06-06
快速排序的算法思想及Python版快速排序的實現(xiàn)示例
快速排序算法來源于分治法的思想策略,這里我們將來為大家簡單解析一下快速排序的算法思想及Python版快速排序的實現(xiàn)示例:2016-07-07