如何屏蔽已收錄的不必要二級目錄? 屏蔽已被百度收錄的不必要二級目錄的方法

通常的robots屏蔽就好了,具體如下所示:
User-agent: *
Disallow: /abc/
但是緊接著方法都被一一放棄了,因為統(tǒng)統(tǒng)行不通。因為他們的網(wǎng)站所有二級目錄和主目錄在ftp中都是在同一文件夾下,然后我又總結(jié)了他們網(wǎng)站出現(xiàn)的問題。
1、網(wǎng)站不帶www的二級域名已經(jīng)收錄過萬,且每日都有蜘蛛爬取,但帶www的主域名至今只收錄二三十個,且還有下降的趨勢,所以想讓網(wǎng)站收錄帶www的主域名頁面。
2、網(wǎng)站所有頁面在同一個文件夾下無法利用robots屏蔽路徑方式屏蔽頁面。
雖然我在百度查詢了很久但是卻并未查到過多有用信息,大多都是和我第一次給出的答案一樣,但最后我們還是想出了辦法解決了這個問題,那關(guān)于屏蔽二級目錄收錄問題,總結(jié)了以下幾點可供選擇:
1、如果需要屏蔽的頁面和主頁面是在不同的文件夾下我們可以直接采取我上面提到的直接robots文件屏蔽,寫法例如Disallow: /abc/之類的直接robots屏蔽方法。
2、無法利用robots禁止搜索引擎收錄某個二級域名的,最好的方法就是301,對于有用的頁面將所有的二級目錄類域名重定向,無用的就直接刪除。
3、與目錄分配到不同的空間下利用robots屏蔽。
4、個判斷程序,讓要屏蔽的二級域名下面有一個robots.txt文件。abc.xxx.com/robots.txt,然后在利用robots屏蔽。此方法我沒有試過我是看到夫唯老師很久前給別人的一個建議,就理論而言是可以行的通的。
對于在網(wǎng)站建設(shè)中如何避免此類不需要收錄的二級域名我羅列了一下幾點如果有不完善的歡迎大家補充。
1、虛擬主機時空間自帶了二級域名地址且地址已經(jīng)收錄的話最直接的辦法就是站內(nèi)開放的鏈接上要統(tǒng)一url規(guī)范不要給不想收錄的二級域名任何的入口。
2、須分二級目錄時,將主目錄和二級目錄分開在不同的文件夾。
3、名解析時候直接采用三W的的域名采用主域名。
以上就是對屏蔽已被百度收錄的不必要二級目錄的方法全部內(nèi)容的介紹,更多內(nèi)容請繼續(xù)關(guān)注腳本之家!相關(guān)文章
如何利用網(wǎng)站目錄最大效用的推廣網(wǎng)站?利用網(wǎng)站目錄推廣網(wǎng)站的技巧
互聯(lián)網(wǎng)上網(wǎng)站推廣的方法五花八門,每種方法都有各自的門道,就看你會不會用。那么如何利用網(wǎng)站目錄最大效用的推廣網(wǎng)站?本文將提供利用網(wǎng)站目錄最大效用推廣網(wǎng)站的技巧供大2016-05-05- 如何發(fā)布外鏈,到哪兒發(fā)布外鏈成為站長最頭痛的事情,畢竟現(xiàn)在優(yōu)質(zhì)的外鏈不多,免費的優(yōu)質(zhì)外鏈更少。其實網(wǎng)站分類目錄是站長們不該忽略的一個地方,下面我們一起來看看2014-11-23
- 如何保證轉(zhuǎn)移后有效繼承原來的權(quán)重不被降權(quán)?最好的辦法就是做301,二級目錄301重定向到二級域名的兩種方法,需要的朋友可以參考下2013-11-13
深入理解robots.txt文件中應(yīng)該屏蔽哪些目錄
一個合格的網(wǎng)站,必須在根目錄下包含一下robots.txt文件,這個文件的作用對所有運營網(wǎng)站的朋友來說并不陌生,網(wǎng)上也提供了很多制作robots.txt文件的方法和軟件,可謂相當(dāng)方2013-07-02- 自從百度于10.23發(fā)布打擊超鏈作弊一來,又有大批大批的網(wǎng)站相繼倒下,相信大家都知道了百度主要是打擊那些賣鏈接的垃圾新聞源站和買鏈接的那些流量站2012-12-13
- 開設(shè)頻道或者子網(wǎng)站是用子目錄方式還是二級域名,這時候非常重要。現(xiàn)在我就詳細分析一下二級域名和子目錄兩者都有哪些優(yōu)勢和劣勢,以及什么情況下選擇二級域名,什么情況下2012-11-12
- 被亞馬遜收錄,獲得更高的權(quán)重。2012-08-06
- 最近百度將Site指令的網(wǎng)站目錄查詢?nèi)∠?,像“Site: /seotool/ ”的指令在百度中失效,現(xiàn)在還不知道百度是不是真的取消了網(wǎng)站目錄的Site命令。2011-06-17
網(wǎng)站架構(gòu)中如何選擇子域名和子目錄的規(guī)則
在網(wǎng)站架構(gòu)設(shè)計中應(yīng)該使用子域名還是子目錄一直是個爭論不休的話題。2010-12-29- 其實關(guān)于優(yōu)化URL這一塊,大家不管是自己寫的或者是看別人的,都基本了解的差不多。而且一些細節(jié)都可能或多或少的被一些站長和seoer提到了。2010-05-23