apache禁止搜索引擎收錄、網(wǎng)絡(luò)爬蟲(chóng)采集的配置方法
Apache中禁止網(wǎng)絡(luò)爬蟲(chóng),之前設(shè)置了很多次的,但總是不起作用,原來(lái)是是寫(xiě)錯(cuò)了,不能寫(xiě)到Dirctory中,要寫(xiě)到Location中
<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬蟲(chóng)
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>
這是禁止了所有包含spider字符的爬蟲(chóng)。
如果要針對(duì)性的禁止爬蟲(chóng),改成精確匹配的爬蟲(chóng)字符串,如果bingbot、Googlebot等等
相關(guān)文章
linux環(huán)境配置nginx導(dǎo)致頁(yè)面不刷新的解決方法
這篇文章介紹了linux環(huán)境配置nginx導(dǎo)致頁(yè)面不刷新的解決方法,有需要的朋友可以參考一下2013-09-09分享十個(gè)便宜VPS主機(jī)-VPS服務(wù)器建站和搭建應(yīng)用服務(wù)體驗(yàn)
這篇文章主要介紹了分享十個(gè)便宜VPS主機(jī)-VPS服務(wù)器建站和搭建應(yīng)用服務(wù)體驗(yàn),非常具有實(shí)用價(jià)值,需要的朋友可以參考下2017-07-07Apache?Kafka?分區(qū)重分配的實(shí)現(xiàn)原理解析
這篇文章主要介紹了Apache?Kafka?分區(qū)重分配的實(shí)現(xiàn)原理,本文結(jié)合?2.0.0?版本的?Kafka?源碼,詳細(xì)介紹了?Kafka?分區(qū)副本重分配的流程和邏輯,需要的朋友可以參考下2022-07-07Windows 10 下安裝 Apache 2.4.41的教程
這篇文章主要介紹了Windows 10 下安裝 Apache 2.4.41的教程,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-01-01linux如何編譯安裝新內(nèi)核支持NTFS文件系統(tǒng)(以redhat7.2x64為例)
這篇文章主要介紹了linux如何編譯安裝新內(nèi)核支持NTFS文件系統(tǒng)(以redhat7.2x64為例),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下。2016-10-10Linux 6 修改ssh默認(rèn)遠(yuǎn)程端口號(hào)的操作步驟
這篇文章主要介紹了Linux 6 修改ssh默認(rèn)遠(yuǎn)程端口號(hào)的操作步驟,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-09-09Linux 命令行通配符及轉(zhuǎn)義符的實(shí)現(xiàn)
這篇文章主要介紹了Linux 命令行通配符及轉(zhuǎn)義符的實(shí)現(xiàn),小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-11-11