當(dāng)搜索引擎已經(jīng)索引一個(gè)網(wǎng)站的時(shí)候，這意味著什么？這說(shuō)明我們的網(wǎng)站以[site:www.site.com]這種形式出現(xiàn)在搜索引擎中，并且這個(gè)頁(yè)面已經(jīng)被添加至搜索引擎的數(shù)據(jù)庫(kù)中。但是這并不意味這該網(wǎng)頁(yè)就已經(jīng)被搜索引擎爬行了。這就是為什么我們總是會(huì)看見這樣的情況：

“A description for this result is not available because of this site’s robots.txt.”

索引與爬行兩者之間存在著優(yōu)先關(guān)系：

1. 首先，頁(yè)面的URL被發(fā)現(xiàn)；
2. 然后，搜索引擎爬行該頁(yè)面；
3. 最后，搜索引擎索引該頁(yè)面。

索引包含了搜索引擎所提取的網(wǎng)頁(yè)中重要的詞語(yǔ)或者短語(yǔ)，并不包含任何其他文檔或文件。索引中的每個(gè)詞語(yǔ)或者短語(yǔ)都指向其相應(yīng)的文檔或者文件。

另一種解釋：如果搜索引擎知道了網(wǎng)站的URL，將會(huì)判斷是否應(yīng)將該URL添加至爬行系統(tǒng)。如果已添加至爬行系統(tǒng)，搜索引擎會(huì)根據(jù)一些算法來(lái)將這些URL按照優(yōu)先級(jí)來(lái)排序，最后按照這種順序來(lái)爬行相應(yīng)網(wǎng)頁(yè)。當(dāng)該頁(yè)面已經(jīng)被爬行了之后，搜索引擎會(huì)啟動(dòng)另一算法來(lái)評(píng)估該頁(yè)面是否有必要放入索引系統(tǒng)。因此，并不是每一個(gè)頁(yè)面搜索引擎都會(huì)爬行和索引。搜索引擎只爬行那些它們認(rèn)為有價(jià)值、有意義的頁(yè)面。

注意：

• Robot.txt文件能夠阻止搜索引擎爬行該網(wǎng)頁(yè)。搜索引擎會(huì)根據(jù)Robot.txt中的規(guī)則來(lái)爬行網(wǎng)站。如果存在網(wǎng)頁(yè)在Robot.txt文件設(shè)置為禁止爬行，那么搜索引擎只能夠通過(guò)一些類似于網(wǎng)站內(nèi)鏈中的文本信息了解該頁(yè)面的部分內(nèi)容。因此，如果你想要網(wǎng)頁(yè)被搜索引擎爬取，最好檢查一下Robot.txt文件。
• 谷歌與其他搜索引擎如：必應(yīng)、雅虎等，有一點(diǎn)不同。當(dāng)其他因素極強(qiáng)地預(yù)示該頁(yè)面應(yīng)該被索引，谷歌可能仍然會(huì)將該未被索引過(guò)的頁(yè)面顯示出來(lái)。而必應(yīng)和雅虎則會(huì)遵從你的網(wǎng)頁(yè)規(guī)則。

另一大搜索引擎的工作原理就是PageRank。對(duì)PageRank影響最大的因素就是鏈接以及搜索引擎如何處理它們。首先你要知道搜索引擎在爬取頁(yè)面的時(shí)候，是不會(huì)處理鏈接的。因此PageRank和爬行是分開進(jìn)行的。

PageRank是對(duì)頁(yè)面質(zhì)量和鏈接質(zhì)量的一種測(cè)量。頁(yè)面PR值的多少是我們無(wú)法控制的，搜索引擎會(huì)根據(jù)一系列的算法來(lái)綜合評(píng)估一個(gè)網(wǎng)頁(yè)的PR值。但是我們可以通過(guò)不斷的優(yōu)化來(lái)提高頁(yè)面PR值升高的可能性。但是以下四點(diǎn)可能會(huì)對(duì)PageRank產(chǎn)生負(fù)面影響：

• 在鏈接中設(shè)置nofollow屬性；
• 在Robot.txt文件中設(shè)置disallow屬性；
• 原始頁(yè)面中存在404錯(cuò)誤；
• 目標(biāo)頁(yè)面中存在404錯(cuò)誤。

以上詳細(xì)介紹了搜索引擎工作的兩大術(shù)語(yǔ)，相信會(huì)對(duì)你的搜索引擎優(yōu)化工作有所幫助。搜索引擎針對(duì)網(wǎng)站綜合排名研制了非常多繁雜的算法，以確保公平公正的排名結(jié)果。我們需要做的就是踏實(shí)地做好優(yōu)化工作，搜索引擎便會(huì)給予你相應(yīng)的回報(bào)。

最新評(píng)論