SEO技術(shù)實(shí)踐操作之網(wǎng)站蜘蛛日志分析

發(fā)布時(shí)間：2014-09-21 10:08:14 作者：佚名

網(wǎng)站日志對(duì)于優(yōu)化有沒有用，為什么要去分析百度的蜘蛛抓取日志呢？下面腳本之家的小編會(huì)用實(shí)例給大家講解網(wǎng)站日志到底是怎樣抓取網(wǎng)站的內(nèi)容的，需要的朋友可以參考下

　　總有人在問為什么要看網(wǎng)站日志，網(wǎng)站日志怎么看，但是回答的都不多，腳本之家的小編覺得想看到答案的人有很多所以今天就來告訴一下還沒有接觸網(wǎng)站日志或者接觸了網(wǎng)站日志，但是不知道怎么去分析的小伙伴們，希望對(duì)你們有所幫助。

　　首先我們來看看什么是網(wǎng)站日志?網(wǎng)站日志是記錄web服務(wù)器接收處理請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各種原始以·log結(jié)尾的文件信息，準(zhǔn)確的說法應(yīng)該是WEB服務(wù)器日志。SEO們常說的網(wǎng)站日志最大的意義是記錄網(wǎng)站運(yùn)營中網(wǎng)站實(shí)時(shí)的運(yùn)行情況，網(wǎng)站用戶訪問記錄，網(wǎng)站蜘蛛爬行記錄等。通過網(wǎng)站日志可以清楚的得知用戶在什么IP、什么時(shí)間、用什么操作系統(tǒng)、什么瀏覽器、什么分辨率顯示器的情況下訪問了你網(wǎng)站的哪些頁面，訪問狀態(tài)是否成功，這些都可以在網(wǎng)站日志中看見。

　　根據(jù)上面我們對(duì)網(wǎng)站日志有了一個(gè)大楷的了解，可是我們還是不知道網(wǎng)站日志長什么樣的，接下來我們?cè)诳纯淳W(wǎng)站日志長什么樣，這里就以SEO博客的日志給大家展示一下。

　　2014-09-20 04:23:14 W3SVC1328191266 59.188.69.102 GET /biji/11.html - 80 - 123.125.71.54 Mozilla/5.0+(compatible;+Baiduspider-cpro;++http://www.baidu.com/search/spider.html) 200 0 0

　　上面那段日志就是w3c標(biāo)準(zhǔn)的日志，這條日志是一臺(tái)百度蜘蛛抓取SEO博客筆記欄目下的一篇文章記錄，我們就來解決怎么看網(wǎng)站日志的情況，其實(shí)有很多日志分析工具也可以幫忙的，我們小站就收工分析一下就行啦，下面就一起來一點(diǎn)一點(diǎn)的跟分析一下這段日志是什么意思吧。

　　2014-09-20 04:23:14這個(gè)是記錄蜘蛛抓取(或者是爬行)網(wǎng)站的時(shí)間

　　W3SVC1328191266這個(gè)是記錄網(wǎng)站日志的標(biāo)準(zhǔn)

　　59.188.69.102 被蜘蛛訪問的網(wǎng)站，做互聯(lián)網(wǎng)的基本都清楚，域名只是讓我們方便記憶和傳播，在我們?cè)L問網(wǎng)站的時(shí)候，其實(shí)在后臺(tái)要運(yùn)行解析，把域名轉(zhuǎn)化成IP地址，所以這段IP就是網(wǎng)站的IP了。

　　GET /biji/11.html 被訪問的路徑，看到這里，相信聰明的小伙伴已經(jīng)知道，我們?yōu)槭裁匆獊矸治鲆幌戮W(wǎng)站的日志了吧?因?yàn)橹挥蟹治鋈罩疚覀儾胖牢覀兙W(wǎng)站是否有蜘蛛來爬行，爬行了我們網(wǎng)站哪些目錄和頁面，哪些頁面和目錄沒有被爬行，作為網(wǎng)站的站長我們就要去分析為什么沒有被蜘蛛爬行的原因了。

　　80 這個(gè)是網(wǎng)站的端口，服務(wù)器與你的電腦互通的端口

　　123.125.71.54 訪問者的IP，我們可以通過日志找到是誰在什么地方訪問的我們，我們可以通過IP查詢工具找到這個(gè)IP是什么地方的。

　　Mozilla/5.0+ 訪問者使用的客戶端瀏覽器版本

　　compatible;+Baiduspider-cpro;++ 這個(gè)是百度的聯(lián)盟的spider，這里也順帶著給大家提一下百度spider是什么，Baiduspider是百度搜索引擎的一個(gè)自動(dòng)程序，它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁，建立索引數(shù)據(jù)庫，使用戶能在百度搜索引擎中搜索到您網(wǎng)站上的網(wǎng)頁，spider通常也被人們叫做搜索引擎蜘蛛。百度各個(gè)產(chǎn)品使用不同的user-agent：也代表著不同的用途，無線搜索Baiduspider 、圖片搜索Baiduspider-image、視頻搜索Baiduspider-video、新聞搜索Baiduspider-news、百度搜藏Baiduspider-favo、百度聯(lián)盟Baiduspider-cpro、商務(wù)搜索Baiduspider-ads、網(wǎng)頁以及其他搜索Baiduspider這也是網(wǎng)盟最喜歡看見的蜘蛛。

　　200 是網(wǎng)站的返回碼，證明蜘蛛在索引該頁面的時(shí)候是正?？梢栽L問的。

　　通過以上對(duì)網(wǎng)站日志的解釋相信大家對(duì)網(wǎng)盟分析網(wǎng)站日志有什么用應(yīng)該找到了吧!分析網(wǎng)站日志能夠使網(wǎng)盟清楚的了解網(wǎng)站現(xiàn)有的情況并作出調(diào)整，分析網(wǎng)站日志的時(shí)候我們也只需要注意幾個(gè)常見的spider和網(wǎng)站訪問時(shí)間、返回代碼、響應(yīng)速度這些就行了。

　　以上就是百度網(wǎng)站蜘蛛日志分析的全過程，希望能幫到大家，謝謝閱讀。請(qǐng)大家繼續(xù)關(guān)注腳本之家。