基于PHP的簡單采集數(shù)據(jù)入庫程序【續(xù)篇】
在上篇文章中,我們已經(jīng)采集新聞信息頁的列表數(shù)據(jù),接下來要做的操作就是從數(shù)據(jù)庫中讀取所需要采集的URL,進(jìn)行頁面抓取就行
新建一個content表
不過需要注意的一點是,不能再采用采集URL這種id遞增的方法去采集,因為數(shù)據(jù)表中可能出現(xiàn)id斷續(xù),比如id=9,id=11,當(dāng)采集到id=10的時候,URL是空白的,這樣可能會導(dǎo)致采集到了空字段。
這里用到的一個技巧是數(shù)據(jù)庫的查詢語句,在我們采集完第一條數(shù)據(jù)的時候,判斷數(shù)據(jù)庫里是否還有大于此id的id編號,若有,讀取一條,查詢信息重復(fù)上面的工作。
具體代碼如下:
<?php
include_once("conn.php");
$id=(int)$_GET['id'];
$sql="select * from list where id=$id";
$result=mysql_query($sql);
$row=mysql_fetch_array($result);//取得對應(yīng)的url地址
$content=file_get_contents($row['url']);
$pattern="/<dd class=\"dataWrap\">(.*)<\/dd>/iUs";
preg_match($pattern, $content,$info);//獲取內(nèi)容存放info
echo $title=$row[1]."<br/>";
echo $content=$info[0]."<hr/>";
//插入數(shù)據(jù)庫
$add="insert into content(title,content) value('$title','$content')";
mysql_query($add);
$sql2="select * from list where id>$id order by id asc limit 1";
$result2=mysql_query($sql2);
$row2=mysql_fetch_array($result2);//取得對應(yīng)的url地址
if($row2['id']){
echo "<script>window.location='content.php?id=$row2[0]'</script>";
}
?>

這樣子我們所要的新聞內(nèi)容就采集入庫了,接下來只需要對數(shù)據(jù)的一些樣式進(jìn)行整理就行了。
- PHP實現(xiàn)采集中國天氣網(wǎng)未來7天天氣
- 基于PHP的簡單采集數(shù)據(jù)入庫程序
- PHP使用CURL_MULTI實現(xiàn)多線程采集的例子
- PHP遠(yuǎn)程采集圖片詳細(xì)教程
- 一個基于phpQuery的php通用采集類分享
- php使用curl模擬登錄后采集頁面的例子
- php實現(xiàn)的一個很好用HTML解析器類可用于采集數(shù)據(jù)
- php采集文章中的圖片獲取替換到本地(實現(xiàn)代碼)
- 解析php利用正則表達(dá)式解決采集內(nèi)容排版的問題
- 深入php數(shù)據(jù)采集的詳解
- PHP采集靜態(tài)頁面并把頁面css,img,js保存的方法
相關(guān)文章
簡單的php數(shù)據(jù)庫操作類代碼(增,刪,改,查)
這幾天準(zhǔn)備重新學(xué)習(xí),梳理一下知識體系,同時按照功能模塊劃分做一些東西。所以。mysql的操作成為第一個要點。我寫了一個簡單的mysql操作類,實現(xiàn)數(shù)據(jù)的簡單的增刪改查功能。2013-04-04
PHP將URL轉(zhuǎn)換成短網(wǎng)址的算法分享
短網(wǎng)址(Short URL)顧名思義就是在形式上比較短的網(wǎng)址。在Web 2.0的今天,不得不說這是一個潮流。目前已經(jīng)有許多類似服務(wù),借助短網(wǎng)址您可以用簡短的網(wǎng)址替代原來冗長的網(wǎng)址,讓使用者可以更容易的分享鏈接,下面來看看如何用PHP實現(xiàn)這個功能,有需要的朋友們可以參考。2016-09-09
php 數(shù)組處理函數(shù)extract詳解及實例代碼
php extract 函數(shù)使用數(shù)組鍵名作為變量名,使用數(shù)組鍵值作為變量值, 本函數(shù)可以處理表單提交并插入數(shù)據(jù)庫。文章向大家講解extract函數(shù)的基本使用方法及實例,需要的朋友可以參考下2016-11-11

