SEO技術(shù)實(shí)踐操作之網(wǎng)站蜘蛛日志分析

總有人在問為什么要看網(wǎng)站日志,網(wǎng)站日志怎么看,但是回答的都不多,腳本之家的小編覺得想看到答案的人有很多所以今天就來告訴一下還沒有接觸網(wǎng)站日志或者接觸了網(wǎng)站日志,但是不知道怎么去分析的小伙伴們,希望對(duì)你們有所幫助。
首先我們來看看什么是網(wǎng)站日志?網(wǎng)站日志是記錄web服務(wù)器接收處理請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各種原始以·log結(jié)尾的文件信息,準(zhǔn)確的說法應(yīng)該是WEB服務(wù)器日志。SEO們常說的網(wǎng)站日志最大的意義是記錄網(wǎng)站運(yùn)營中網(wǎng)站實(shí)時(shí)的運(yùn)行情況,網(wǎng)站用戶訪問記錄,網(wǎng)站蜘蛛爬行記錄等。通過網(wǎng)站日志可以清楚的得知用戶在什么IP、什么時(shí)間、用什么操作系統(tǒng)、什么瀏覽器、什么分辨率顯示器的情況下訪問了你網(wǎng)站的哪些頁面,訪問狀態(tài)是否成功,這些都可以在網(wǎng)站日志中看見。
根據(jù)上面我們對(duì)網(wǎng)站日志有了一個(gè)大楷的了解,可是我們還是不知道網(wǎng)站日志長什么樣的,接下來我們?cè)诳纯淳W(wǎng)站日志長什么樣,這里就以SEO博客的日志給大家展示一下。
2014-09-20 04:23:14 W3SVC1328191266 59.188.69.102 GET /biji/11.html - 80 - 123.125.71.54 Mozilla/5.0+(compatible;+Baiduspider-cpro;++http://www.baidu.com/search/spider.html) 200 0 0
上面那段日志就是w3c標(biāo)準(zhǔn)的日志,這條日志是一臺(tái)百度蜘蛛抓取SEO博客筆記欄目下的一篇文章記錄,我們就來解決怎么看網(wǎng)站日志的情況,其實(shí)有很多日志分析工具也可以幫忙的,我們小站就收工分析一下就行啦,下面就一起來一點(diǎn)一點(diǎn)的跟分析一下這段日志是什么意思吧。
2014-09-20 04:23:14這個(gè)是記錄蜘蛛抓取(或者是爬行)網(wǎng)站的時(shí)間
W3SVC1328191266這個(gè)是記錄網(wǎng)站日志的標(biāo)準(zhǔn)
59.188.69.102 被蜘蛛訪問的網(wǎng)站,做互聯(lián)網(wǎng)的基本都清楚,域名只是讓我們方便記憶和傳播,在我們?cè)L問網(wǎng)站的時(shí)候,其實(shí)在后臺(tái)要運(yùn)行解析,把域名轉(zhuǎn)化成IP地址,所以這段IP就是網(wǎng)站的IP了。
GET /biji/11.html 被訪問的路徑,看到這里,相信聰明的小伙伴已經(jīng)知道,我們?yōu)槭裁匆獊矸治鲆幌戮W(wǎng)站的日志了吧?因?yàn)橹挥蟹治鋈罩疚覀儾胖牢覀兙W(wǎng)站是否有蜘蛛來爬行,爬行了我們網(wǎng)站哪些目錄和頁面,哪些頁面和目錄沒有被爬行,作為網(wǎng)站的站長我們就要去分析為什么沒有被蜘蛛爬行的原因了。
80 這個(gè)是網(wǎng)站的端口,服務(wù)器與你的電腦互通的端口
123.125.71.54 訪問者的IP,我們可以通過日志找到是誰在什么地方訪問的我們,我們可以通過IP查詢工具找到這個(gè)IP是什么地方的。
Mozilla/5.0+ 訪問者使用的客戶端瀏覽器版本
compatible;+Baiduspider-cpro;++ 這個(gè)是百度的聯(lián)盟的spider,這里也順帶著給大家提一下百度spider是什么,Baiduspider是百度搜索引擎的一個(gè)自動(dòng)程序,它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁,建立索引數(shù)據(jù)庫,使用戶能在百度搜索引擎中搜索到您網(wǎng)站上的網(wǎng)頁,spider通常也被人們叫做搜索引擎蜘蛛。百度各個(gè)產(chǎn)品使用不同的user-agent:也代表著不同的用途,無線搜索Baiduspider 、圖片搜索Baiduspider-image、視頻搜索Baiduspider-video、新聞搜索Baiduspider-news、百度搜藏Baiduspider-favo、百度聯(lián)盟Baiduspider-cpro、商務(wù)搜索Baiduspider-ads、網(wǎng)頁以及其他搜索Baiduspider這也是網(wǎng)盟最喜歡看見的蜘蛛。
200 是網(wǎng)站的返回碼,證明蜘蛛在索引該頁面的時(shí)候是正??梢栽L問的。
通過以上對(duì)網(wǎng)站日志的解釋相信大家對(duì)網(wǎng)盟分析網(wǎng)站日志有什么用應(yīng)該找到了吧!分析網(wǎng)站日志能夠使網(wǎng)盟清楚的了解網(wǎng)站現(xiàn)有的情況并作出調(diào)整,分析網(wǎng)站日志的時(shí)候我們也只需要注意幾個(gè)常見的spider和網(wǎng)站訪問時(shí)間、返回代碼、響應(yīng)速度這些就行了。
以上就是百度網(wǎng)站蜘蛛日志分析的全過程,希望能幫到大家,謝謝閱讀。請(qǐng)大家繼續(xù)關(guān)注腳本之家。
相關(guān)文章
爬蟲是什么?淺談爬蟲及繞過網(wǎng)站反爬取機(jī)制
簡單而片面的說,爬蟲就是由計(jì)算機(jī)自動(dòng)與服務(wù)器交互獲取數(shù)據(jù)的工具,這篇文章主要想談?wù)勁老x獲取數(shù)據(jù)的這一部分。爬蟲請(qǐng)注意網(wǎng)站的Robot.txt文件,不要讓爬蟲違法,也不要2017-12-18淺談App加載頁面的等待體驗(yàn)設(shè)計(jì)技巧
設(shè)計(jì)師可能無法減少App加載頁面的等待時(shí)間,但是可以讓等待時(shí)間變得有趣~,本文主要為大家淺淡App加載頁面的等待體驗(yàn)設(shè)計(jì)技巧,有興趣的朋友們就來了解下吧2017-12-15交互好且轉(zhuǎn)化率高的表單設(shè)計(jì)技巧分享
表單無論實(shí)在網(wǎng)頁設(shè)置中,還是在APP、應(yīng)用程序、軟件界面中都被廣泛運(yùn)行,從而一個(gè)好的表單設(shè)計(jì)就非常重要了,本文主要為大家分享幾個(gè)交互好且轉(zhuǎn)化率高的表單設(shè)計(jì)技巧,有2017-11-20適配iPhone X要點(diǎn):十分鐘快速掌握iPhone X UI界面適配技巧
目前,第一批預(yù)約iPhone X手機(jī)的朋友們已經(jīng)拿到真機(jī)了,目前還沒有適配iPhone X的應(yīng)用運(yùn)營商,相信都在加班加點(diǎn)適配呢,本文為大家?guī)砹诉m配iPhone X的要點(diǎn),讓你十分鐘快2017-11-08如何讓網(wǎng)頁可讀性更強(qiáng)?善用F式布局設(shè)計(jì)增強(qiáng)網(wǎng)頁可讀性方法解答
雖然網(wǎng)頁排版方式千變?nèi)f化,但是布局方式通常都遵循著幾種常見的規(guī)則,F(xiàn)式布局式設(shè)計(jì)能夠增強(qiáng)網(wǎng)頁可讀性,這種說法是有跡可循的,本文就為大家介紹如何運(yùn)用F式布局,有興趣2017-11-08真干貨!10個(gè)高效好用的表單設(shè)計(jì)技巧分享
在網(wǎng)頁的設(shè)計(jì)中表單都是界面中最常見,也是最重要的組件之一,對(duì)于設(shè)計(jì)師、前端和開發(fā)者而言,應(yīng)當(dāng)對(duì)于表單的設(shè)計(jì)盡量多上心,讓它們更加易用,細(xì)致的設(shè)計(jì)對(duì)于用戶的體驗(yàn)、2017-10-26登錄頁面怎么設(shè)計(jì)更好?登錄頁面設(shè)計(jì)的15個(gè)心理學(xué)策略
有很多東西下意識(shí)地影響了我們的日常決策,這里面很多都是微妙的心理因素在起作用,大家都知道用戶體驗(yàn)設(shè)計(jì)跟心理學(xué)相關(guān),甚至?xí)苯佑绊懏a(chǎn)品的轉(zhuǎn)化率,那么,登錄頁面怎么2017-10-10網(wǎng)站評(píng)論模塊怎么設(shè)計(jì) 10個(gè)關(guān)鍵點(diǎn)告訴你如何設(shè)計(jì)產(chǎn)品評(píng)論模塊
網(wǎng)站不僅內(nèi)容很重要,評(píng)論模塊同樣也很重要,那么,網(wǎng)站評(píng)論模塊怎么設(shè)計(jì)呢?對(duì)此,本文就為大家詳細(xì)介紹10個(gè)關(guān)鍵點(diǎn)告訴你如何設(shè)計(jì)產(chǎn)品評(píng)論模塊,有興趣的朋友們就來了解下2017-09-25網(wǎng)站導(dǎo)航設(shè)計(jì)怎么才是符合搜索引擎優(yōu)化?SEO網(wǎng)站導(dǎo)航建設(shè)技巧分享
搭建網(wǎng)站的任何細(xì)節(jié)都需要考慮到是否利于SEO優(yōu)化,在網(wǎng)站導(dǎo)航設(shè)計(jì)的過程中,我們應(yīng)該怎么樣進(jìn)行操作才是符合搜索引擎優(yōu)化的呢?對(duì)此,本文就為大家進(jìn)行簡單解答2017-09-21如何設(shè)計(jì)頁腳才能讓網(wǎng)站更具有競爭力
在做網(wǎng)站設(shè)計(jì)的過程當(dāng)中,很多人可能會(huì)對(duì)于頁腳這個(gè)方面產(chǎn)生忽略,但是實(shí)際上在我們平時(shí)的使用下來的整體的分析數(shù)據(jù)表明,頁腳對(duì)于一個(gè)網(wǎng)站來說還是有非常重要的作用的,那2017-09-04