基于PHP的簡(jiǎn)單采集數(shù)據(jù)入庫(kù)程序【續(xù)篇】
在上篇文章中,我們已經(jīng)采集新聞信息頁(yè)的列表數(shù)據(jù),接下來(lái)要做的操作就是從數(shù)據(jù)庫(kù)中讀取所需要采集的URL,進(jìn)行頁(yè)面抓取就行
新建一個(gè)content表
不過(guò)需要注意的一點(diǎn)是,不能再采用采集URL這種id遞增的方法去采集,因?yàn)閿?shù)據(jù)表中可能出現(xiàn)id斷續(xù),比如id=9,id=11,當(dāng)采集到id=10的時(shí)候,URL是空白的,這樣可能會(huì)導(dǎo)致采集到了空字段。
這里用到的一個(gè)技巧是數(shù)據(jù)庫(kù)的查詢語(yǔ)句,在我們采集完第一條數(shù)據(jù)的時(shí)候,判斷數(shù)據(jù)庫(kù)里是否還有大于此id的id編號(hào),若有,讀取一條,查詢信息重復(fù)上面的工作。
具體代碼如下:
<?php include_once("conn.php"); $id=(int)$_GET['id']; $sql="select * from list where id=$id"; $result=mysql_query($sql); $row=mysql_fetch_array($result);//取得對(duì)應(yīng)的url地址 $content=file_get_contents($row['url']); $pattern="/<dd class=\"dataWrap\">(.*)<\/dd>/iUs"; preg_match($pattern, $content,$info);//獲取內(nèi)容存放info echo $title=$row[1]."<br/>"; echo $content=$info[0]."<hr/>"; //插入數(shù)據(jù)庫(kù) $add="insert into content(title,content) value('$title','$content')"; mysql_query($add); $sql2="select * from list where id>$id order by id asc limit 1"; $result2=mysql_query($sql2); $row2=mysql_fetch_array($result2);//取得對(duì)應(yīng)的url地址 if($row2['id']){ echo "<script>window.location='content.php?id=$row2[0]'</script>"; } ?>
這樣子我們所要的新聞內(nèi)容就采集入庫(kù)了,接下來(lái)只需要對(duì)數(shù)據(jù)的一些樣式進(jìn)行整理就行了。
- PHP實(shí)現(xiàn)采集中國(guó)天氣網(wǎng)未來(lái)7天天氣
- 基于PHP的簡(jiǎn)單采集數(shù)據(jù)入庫(kù)程序
- PHP使用CURL_MULTI實(shí)現(xiàn)多線程采集的例子
- PHP遠(yuǎn)程采集圖片詳細(xì)教程
- 一個(gè)基于phpQuery的php通用采集類(lèi)分享
- php使用curl模擬登錄后采集頁(yè)面的例子
- php實(shí)現(xiàn)的一個(gè)很好用HTML解析器類(lèi)可用于采集數(shù)據(jù)
- php采集文章中的圖片獲取替換到本地(實(shí)現(xiàn)代碼)
- 解析php利用正則表達(dá)式解決采集內(nèi)容排版的問(wèn)題
- 深入php數(shù)據(jù)采集的詳解
- PHP采集靜態(tài)頁(yè)面并把頁(yè)面css,img,js保存的方法
相關(guān)文章
簡(jiǎn)單的php數(shù)據(jù)庫(kù)操作類(lèi)代碼(增,刪,改,查)
這幾天準(zhǔn)備重新學(xué)習(xí),梳理一下知識(shí)體系,同時(shí)按照功能模塊劃分做一些東西。所以。mysql的操作成為第一個(gè)要點(diǎn)。我寫(xiě)了一個(gè)簡(jiǎn)單的mysql操作類(lèi),實(shí)現(xiàn)數(shù)據(jù)的簡(jiǎn)單的增刪改查功能。2013-04-04PHP將URL轉(zhuǎn)換成短網(wǎng)址的算法分享
短網(wǎng)址(Short URL)顧名思義就是在形式上比較短的網(wǎng)址。在Web 2.0的今天,不得不說(shuō)這是一個(gè)潮流。目前已經(jīng)有許多類(lèi)似服務(wù),借助短網(wǎng)址您可以用簡(jiǎn)短的網(wǎng)址替代原來(lái)冗長(zhǎng)的網(wǎng)址,讓使用者可以更容易的分享鏈接,下面來(lái)看看如何用PHP實(shí)現(xiàn)這個(gè)功能,有需要的朋友們可以參考。2016-09-09php 數(shù)組處理函數(shù)extract詳解及實(shí)例代碼
php extract 函數(shù)使用數(shù)組鍵名作為變量名,使用數(shù)組鍵值作為變量值, 本函數(shù)可以處理表單提交并插入數(shù)據(jù)庫(kù)。文章向大家講解extract函數(shù)的基本使用方法及實(shí)例,需要的朋友可以參考下2016-11-11