網(wǎng)站大致主要有以下兩個(gè)結(jié)構(gòu)種別。
一、物理結(jié)構(gòu)
物理結(jié)構(gòu)就是網(wǎng)站的目錄形式，一般有兩種形式，扁平和從屬，扁平結(jié)構(gòu)就是所有的頁(yè)面都在網(wǎng)站的根目錄，從屬形式就是每個(gè)內(nèi)容頁(yè)面從屬于上級(jí)目錄，層次比較清楚。在物理結(jié)構(gòu)上，良多人曲解了一句話：“目錄越少，蜘蛛越好抓取。”這句話的意思是網(wǎng)站內(nèi)部的頁(yè)面臨比而言，目錄越少，蜘蛛會(huì)優(yōu)先抓取.針對(duì)統(tǒng)一個(gè)網(wǎng)站而言，蜘蛛會(huì)按照從上到下的順序來(lái)抓取，由于搜索引擎的資源是有限的，因此蜘蛛在抓取網(wǎng)頁(yè)的時(shí)候肯定會(huì)有一個(gè)先后順序，優(yōu)先抓取一些目錄較少的頁(yè)面，而目錄較深，url參數(shù)比較多的會(huì)放在最后抓取，由于搜索引擎的資源有限，我們假設(shè)一個(gè)蜘蛛來(lái)一次可以抓取100個(gè)頁(yè)面, ,那么排在后面的一些目錄較深的可能抓取不了，這就要求我們要公道鋪排網(wǎng)站物理結(jié)構(gòu)，根據(jù)頁(yè)面的重要程度來(lái)鋪排結(jié)構(gòu)，而把所有頁(yè)面都放在根目錄下，看似減少了目錄層次，實(shí)在就網(wǎng)站內(nèi)部而言，所有的頁(yè)面就都沒(méi)區(qū)別了，由于所有的頁(yè)面都在統(tǒng)一個(gè)目錄下，對(duì)蜘蛛而言，已經(jīng)沒(méi)有了任何區(qū)別，一些小網(wǎng)站可以這樣鋪排，但是對(duì)于中大型網(wǎng)站這樣做顯然是不公道的，那么多頁(yè)面都放在根目錄，治理上太麻煩了，而且也沒(méi)必要這樣做。
二、URL層次結(jié)構(gòu)
其什物理結(jié)構(gòu)目前對(duì)于抓取意義已經(jīng)不大，URL層次結(jié)構(gòu)就顯得比較重要了，大家都知道一個(gè)網(wǎng)站的頁(yè)面最多從首頁(yè)點(diǎn)擊四次要能看到，多了蜘蛛就很難抓取了，一般的中小網(wǎng)站都沒(méi)必要考慮這一點(diǎn)，由于中小網(wǎng)站一般的頁(yè)面你不管怎么做，點(diǎn)擊四次也足夠了。而對(duì)于中大型網(wǎng)站來(lái)說(shuō)，因?yàn)闄谀刻?，而且欄目下還有子欄目，下面可能還有子欄目，每個(gè)欄目的頁(yè)面可能也非常多，這個(gè)時(shí)候就需要把內(nèi)鏈做好，內(nèi)鏈主要說(shuō)下內(nèi)容頁(yè)的鏈接分布，
1、鏈接到首頁(yè)和頂級(jí)欄目的導(dǎo)航
2、鏈接到上級(jí)欄目
3、面包屑導(dǎo)航
3、鏈接到相關(guān)內(nèi)容
4、隨機(jī)鏈接當(dāng)前欄目的其他內(nèi)容
對(duì)于中型網(wǎng)站來(lái)說(shuō)，內(nèi)容頁(yè)做到這幾點(diǎn)，一般蜘蛛的抓取都不成題目了。

最新評(píng)論