亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

apache禁止搜索引擎收錄、網(wǎng)絡(luò)爬蟲(chóng)采集的配置方法

 更新時(shí)間:2014年06月30日 08:48:10   投稿:junjie  
這篇文章主要介紹了apache禁止搜索引擎收錄、網(wǎng)絡(luò)爬蟲(chóng)采集的配置方法,注意一定要寫(xiě)到Location節(jié)點(diǎn),否則不起作用,可以精確匹配,也可以IP匹配,需要的朋友可以參考下

Apache中禁止網(wǎng)絡(luò)爬蟲(chóng),之前設(shè)置了很多次的,但總是不起作用,原來(lái)是是寫(xiě)錯(cuò)了,不能寫(xiě)到Dirctory中,要寫(xiě)到Location中

復(fù)制代碼 代碼如下:

<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬蟲(chóng)
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>

這是禁止了所有包含spider字符的爬蟲(chóng)。
如果要針對(duì)性的禁止爬蟲(chóng),改成精確匹配的爬蟲(chóng)字符串,如果bingbot、Googlebot等等

相關(guān)文章

最新評(píng)論