php記錄搜索引擎爬行記錄的實現代碼
下面是完整代碼:
//記錄搜索引擎爬行記錄 $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url = $_SERVER['HTTP_REFERER']; $file = WEB_PATH.'robotslogs.txt'; $date = date('Y-m-d H:i:s'); $data = fopen($file,'a'); fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); fclose($data); }
WEB_PATH為index.PHP下define的根目錄路徑,意思就是說robotslogs.txt文件是放在根目錄下的。
通過get_naps_bot()
獲取蜘蛛爬行記錄,然后在通過addslashes處理一下,將數據存儲于變量$tlc_thispage中。
fopen打開robotslogs.txt文件,將數據通過函數fwrite寫入,在通過函數fclose關閉就可以了。
因為我覺得沒必要,所以把自己網站上的代碼刪除了,所以也沒有效果示例了。
PS:php獲取各搜索蜘蛛爬行記錄的代碼
支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行網站的記錄!
代碼:
<?php /** * 獲取搜索引擎爬行記錄 * edit by chabaoo.cn */ function get_naps_bot() { $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Google'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baidu'; } if (strpos($useragent, 'msnbot') !== false){ return 'Bing'; } if (strpos($useragent, 'slurp') !== false){ return 'Yahoo'; } if (strpos($useragent, 'sosospider') !== false){ return 'Soso'; } if (strpos($useragent, 'sogou spider') !== false){ return 'Sogou'; } if (strpos($useragent, 'yodaobot') !== false){ return 'Yodao'; } return false; } function nowtime(){ $date=date("Y-m-d.G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $file="chabaoo.cn.txt"; $time=nowtime(); $data=fopen($file,"a"); fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); fclose($data); } ?>
總結
以上所述是小編給大家介紹的php記錄搜索引擎爬行記錄,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!
相關文章
PHP 面向對象程序設計(oop)學習筆記 (四) - 異常處理類Exception
異常經常被用來處理一些在程序正常執(zhí)行中遇到的各種類型的錯誤。比如做數據庫鏈接時,你就要處理數據庫連接失敗的情況。使用異??梢蕴岣呶覀兂绦虻娜蒎e特性,從而使我們的應用程序更加的穩(wěn)定和健壯。2014-06-06php中用加號與用array_merge合并數組的區(qū)別深入分析
本篇文章是對php中用加號與用array_merge合并數組的區(qū)別進行了詳細的分析介紹,需要的朋友參考下2013-06-06以PHP代碼為實例詳解RabbitMQ消息隊列中間件的6種模式
這篇文章主要介紹了以PHP代碼為實例詳解RabbitMQ消息隊列中間件的6種模式,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-05-05