腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

小米范網(wǎng)站批量爬蟲工具 1.4 中文免費版

網(wǎng)絡(luò)爬蟲軟件下載

投訴報錯

軟件大小：59.6MB
軟件語言：簡體中文
軟件類型：國產(chǎn)軟件
軟件授權(quán)：免費軟件
軟件類別：網(wǎng)絡(luò)輔助
應(yīng)用平臺：Windows平臺
更新時間：2016-09-29
網(wǎng)友評分：

360通過騰訊通過金山通過

59.6MB

詳情介紹

小米范網(wǎng)站批量爬蟲工具是一款網(wǎng)站輔助的小工具，它能針對網(wǎng)站進行快速批量的爬取，小米范網(wǎng)站批量爬蟲工具能將爬取的URL進一步調(diào)用wvs、sqlmap、brutexss等工具進行檢測，挺實用，也蠻簡單，需要的朋友們可以下載試試吧！

使用方法

隨便點擊下面的任一個文件

出現(xiàn)如下界面時，點任意鍵運行。

打開軟件界面后，點擊新建任務(wù)，輸入要檢測的URL。

設(shè)置子域名白名單，屬于白名單域名的URL則自動保留并進行抓取。
設(shè)置并發(fā)站點、并發(fā)線程等參數(shù)，點擊開始即可。

工作流程
假設(shè)我們新建任務(wù)，放入100個URL作為爬蟲的起始URL，那么具體的爬取過程如下：
1、針對這100個URL，按照是否同源進行合并，同源的URL則放入一個目標(biāo)，并將這些URL作為這個源的起始URL。
2、針對每個目標(biāo)進行爬?。J并發(fā)5個目標(biāo)），針對每個目標(biāo)的起始URL采用瀏覽器點擊抓包（默認每個目標(biāo)最多開5個瀏覽器）+HTML解析的方式獲取URL，瀏覽器點擊在后臺運行，沒有界面，這里的瀏覽器點只是在點擊后將發(fā)出去的請求URL記錄，但并不真正發(fā)出去請求。
3、將前兩步收集到的URL作為種子，進行傳統(tǒng)的爬取，這里的爬取主要采用了webmagic框架，并對框架本身做了一點修改。另外每一個頁面下載之前會進行爬取URL黑名單匹配，匹配到黑名單則跳過，下載到的每個頁面提取出來的URL會進行子域名白名單匹配，匹配到白名單則會放入爬取隊列。
針對爬到的URL可直接右鍵使用sqlmap、brutexss、panoptic、wvs進行安全檢測，目前還在考慮再加入一些其他的檢測工具。
此外也提供了目錄掃描功能，在左側(cè)樹形結(jié)構(gòu)的任意節(jié)點右鍵目錄掃描會對當(dāng)前選中節(jié)點所在的路徑進行目錄掃描。

小米范網(wǎng)站批量爬蟲爬蟲工具

下載地址

下載錯誤？【投訴報錯】