淺析php如何實(shí)現(xiàn)爬取數(shù)據(jù)原理
官方網(wǎng)站站點(diǎn):簡(jiǎn)單、 靈活、強(qiáng)大的PHP采集工具,讓采集更簡(jiǎn)單一點(diǎn)。
簡(jiǎn)介
QueryList使用jQuery選擇器來(lái)做采集,讓你告別復(fù)雜的正則表達(dá)式;QueryList具有jQuery一樣的DOM操作能力、Http網(wǎng)絡(luò)操作能力、亂碼解決能力、內(nèi)容過(guò)濾能力以及可擴(kuò)展能力;可以輕松實(shí)現(xiàn)諸如:模擬登陸、偽造瀏覽器、HTTP代理等意復(fù)雜的網(wǎng)絡(luò)請(qǐng)求;擁有豐富的插件,支持多線(xiàn)程采集以及使用PhantomJS采集JavaScript動(dòng)態(tài)渲染的頁(yè)面。
安裝
通過(guò)Composer安裝:
composer require jaeger/querylist
使用教程:
直接上代碼:
<?php include './vendor/autoload.php'; // 使用composer安裝后引入目錄 use QL\QueryList; // 使用插件 $html = file_get_contents('https://www.biqudu.com/14_14778/'); // 手動(dòng)獲取頁(yè)面 $data = QueryList::html($html); // 得到頁(yè)面內(nèi)容 $data = QueryList::setHtml('https://www.biqudu.com/14_14778/'); // 等同于上面的html() $data->rules([ // 采集所有a標(biāo)簽的href屬性 'link' => ['a','href'], // 采集所有a標(biāo)簽的文本內(nèi)容 'text' => ['a','text'] ]); // 此處$data = 上面已經(jīng)獲取到網(wǎng)頁(yè)內(nèi)容之后的對(duì)象 // 設(shè)置采集規(guī)則 替代了傳統(tǒng)正則 $data->query(); // 此處$data = 上面已經(jīng)獲取到網(wǎng)頁(yè)內(nèi)容之后的對(duì)象 // query 執(zhí)行操作 $data->getData(); // 此處$data = 上面已經(jīng)獲取到網(wǎng)頁(yè)內(nèi)容之后的對(duì)象 // 得到數(shù)據(jù)結(jié)果 $data->all(); // 此處$data = 上面已經(jīng)獲取到網(wǎng)頁(yè)內(nèi)容之后的對(duì)象 // 將數(shù)據(jù)轉(zhuǎn)換成二維數(shù)組 print_r($data->all()); // 打印結(jié)果
上面的基本使用方法就是這樣了 這樣我們已經(jīng)可以抓取到一定的數(shù)據(jù)了
- PHP 爬取網(wǎng)頁(yè)的主要方法
- php記錄搜索引擎爬行記錄的實(shí)現(xiàn)代碼
- php爬取天貓和淘寶商品數(shù)據(jù)
- php與python實(shí)現(xiàn)的線(xiàn)程池多線(xiàn)程爬蟲(chóng)功能示例
- php實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)的開(kāi)發(fā)
- php實(shí)現(xiàn)爬取和分析知乎用戶(hù)數(shù)據(jù)
- PHP爬蟲(chóng)之百萬(wàn)級(jí)別知乎用戶(hù)數(shù)據(jù)爬取與分析
- PHP實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)的方法
相關(guān)文章
在Linux系統(tǒng)的服務(wù)器上隱藏PHP版本號(hào)的方法
這篇文章主要介紹了在Linux系統(tǒng)的服務(wù)器上隱藏PHP版本號(hào)的方法,有助于預(yù)防攻擊者針對(duì)PHP詳細(xì)版本的漏洞而發(fā)起的攻擊,需要的朋友可以參考下2015-06-06Laravel實(shí)現(xiàn)autoload方法詳解
本文給大家講解的是在laravel中是怎么實(shí)現(xiàn)autoload的?分析之后才發(fā)現(xiàn),真的是很巧妙,下面就來(lái)給大家詳細(xì)說(shuō)明下2017-05-05php 驗(yàn)證碼(傾斜,正弦干擾線(xiàn),黏貼,旋轉(zhuǎn))
本篇文章是對(duì)php 驗(yàn)證碼(傾斜,正弦干擾線(xiàn),黏貼,旋轉(zhuǎn))進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06PHP函數(shù)按引用傳遞參數(shù)及函數(shù)可選參數(shù)用法示例
這篇文章主要介紹了PHP函數(shù)按引用傳遞參數(shù)及函數(shù)可選參數(shù)用法,結(jié)合實(shí)例形式分析了php函數(shù)的引用傳參與可選參數(shù)具體使用技巧與注意事項(xiàng),需要的朋友可以參考下2018-06-06php無(wú)限極分類(lèi)實(shí)現(xiàn)方法分析
這篇文章主要介紹了php無(wú)限極分類(lèi)實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了兩種無(wú)限極分類(lèi)的具體實(shí)現(xiàn)技巧與相關(guān)注意事項(xiàng),需要的朋友可以參考下2019-07-07