基于PHP的簡單采集數(shù)據(jù)入庫程序
更新時間：2014年07月30日 09:34:33 投稿：hebedich
前幾天有一朋友要我?guī)妥鲆粋€采集新聞信息的程序，抽了點時間寫了個PHP版本的，隨筆記錄下。
說到采集，無非就是遠(yuǎn)程獲取信息->提取所需內(nèi)容->分類存儲->讀取->展示
也算是簡單"小偷程序"的加強(qiáng)版吧
下面是對應(yīng)核心代碼（別拿去做壞事哦^_^）
所要采集的內(nèi)容是某游戲網(wǎng)站上的公告，如下圖：
可先利用file_get_contents和簡單正則獲取基本頁面信息
整理下基本信息，采集入庫：
<?php
include_once("conn.php");
if($_GET['id']<=8&&$_GET['id']){
$id=$_GET['id'];
$conn=file_get_contents("http://www.93moli.com/news_list_4_$id.html");//獲取頁面內(nèi)容
$pattern="/<li><a title=\"(.*)\" target=\"_blank\" href=\"(.*)\">/iUs";//正則
preg_match_all($pattern, $conn, $arr);//匹配內(nèi)容到arr數(shù)組
//print_r($arr);die;
foreach ($arr[1] as $key => $value) {//二維數(shù)組[2]對應(yīng)id和[1]剛好一樣,利用起key
$url="http://www.93moli.com/".$arr[2][$key];
$sql="insert into list(title,url) value ('$value', '$url')";
mysql_query($sql);
//echo "<a href='content.php?url=http://www.93moli.com/$url'>$value</a>"."<br/>";
}
$id++;
echo "正在采集URL數(shù)據(jù)列表$id...請稍后...";
echo "<script>window.location='list.php?id=$id'</script>";
}else{
echo "采集數(shù)據(jù)結(jié)束。";
}
?>
conn.php是數(shù)據(jù)庫連接文件
list.php是本頁面
由于要采集的數(shù)據(jù)是分頁顯示的，且頁面地址是規(guī)律遞增，所以我用了js跳轉(zhuǎn)代碼，利用id傳值控制采集的頁數(shù)，也避免了for循環(huán)數(shù)目過大。
輕輕松松數(shù)據(jù)入庫，下篇文章寫關(guān)于具體url采集信息的過程。
您可能感興趣的文章:
相關(guān)文章
PHP通過正則表達(dá)式提取字符串中的手機(jī)號并判斷運營商，簡單快速方便，能提取多個手機(jī)號。下面通過本文實例代碼給大家詳細(xì)介紹，需要的的朋友參考下吧2017-07-07
這篇文章主要介紹了discuz加密解密函數(shù)的使用方法和中文注釋，大家參考使用吧2014-01-01
這篇文章主要介紹了CI框架(CodeIgniter)公共模型類定義與用法,結(jié)合具體實例形式分析了CI框架公共模型類的定義以及基于公共模型類操作數(shù)據(jù)庫的相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2017-08-08
Laravel validate error處理,ajax,json示例
今天小編就為大家分享一篇Laravel validate error處理,ajax,json示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-10-10
php+iframe實現(xiàn)隱藏?zé)o刷新上傳文件
首先ajax不能上傳文件，這誤導(dǎo)了我有段時間，今晚睡不著就照著說明做了個無刷新上傳文件2012-02-02
在本篇文章里小編給大家整理了關(guān)于HP中__set()實例用法和基礎(chǔ)講解，對此有需要的朋友們可以學(xué)習(xí)參考下。2019-07-07
這篇文章主要介紹了Laravel框架源碼解析之反射的使用,結(jié)合實例形式詳細(xì)分析了Laravel源碼解析中反射的基本原理、使用方法及操作注意事項,需要的朋友可以參考下2020-05-05
在php中eval是一個函數(shù)并且不能直接禁用了，但eval函數(shù)又相當(dāng)?shù)奈ｋU并經(jīng)常會出現(xiàn)一些問題，今天我們就一起來看看eval函數(shù)對數(shù)組的操作及php 如何禁用eval() 函數(shù),需要的朋友可以參考下2016-12-12
這篇文章主要以圖文結(jié)合的方式為大家詳細(xì)介紹了PHP環(huán)境搭建教程，為大家介紹了php語言的歷史、優(yōu)勢，感興趣的小伙伴們可以參考一下2016-07-07
本篇文章主要介紹了PHP并發(fā)查詢MySQL的實例代碼，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-08-08