wget是一個(gè)從網(wǎng)絡(luò)上自動(dòng)下載文件的自由工具，支持通過(guò)HTTP、HTTPS、FTP三個(gè)最常見(jiàn)的TCP/IP協(xié)議下載，并可以使用HTTP代理。wget名稱的由來(lái)是“World Wide Web”與“get”的結(jié)合。

經(jīng)發(fā)現(xiàn)，雖然wget遵循 robots.txt 規(guī)則，但是那個(gè)還是可以繞過(guò)去，現(xiàn)在把我自己使用的屏蔽方法分享給大家：

1. 屏蔽下載任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

2. 屏蔽下載部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

您可能感興趣的文章:

相關(guān)文章

Linux下如何搭建兩個(gè)tomcat服務(wù)
本篇文章主要介紹了Linux下如何搭建兩個(gè)tomcat服務(wù)，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-03-03
詳解CentOS7使用firewalld打開(kāi)關(guān)閉防火墻與端口
本篇文章主要介紹了CentOS7使用firewalld打開(kāi)關(guān)閉防火墻與端口，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。
2017-01-01
Ubuntu中添加應(yīng)用程序快速啟動(dòng)器的方法
這篇文章主要介紹了Ubuntu中添加應(yīng)用程序快速啟動(dòng)器的方法,需要的朋友可以參考下
2014-09-09
Apache No space left on device的解決辦法
[Fri Aug 15 10:54:31 2008] [emerg] (28)No space left on device: Couldn't create accept lockdf一下發(fā)現(xiàn)不是磁盤空間的問(wèn)題。Google了一下就找到了解決方案，原來(lái)是系統(tǒng)的信號(hào)量(?)不夠用了。
2008-08-08
詳解linux pwm驅(qū)動(dòng)編寫
這篇文章主要介紹了詳解linux pwm驅(qū)動(dòng)編寫，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2018-04-04
ubuntu 設(shè)置靜態(tài)IP的實(shí)現(xiàn)方法
這篇文章主要介紹了ubuntu 靜態(tài)IP的設(shè)定實(shí)現(xiàn)方法的相關(guān)資料,需要的朋友可以參考下
2016-10-10
Ubuntu Server 18.04.5 LTS服務(wù)器版安裝配置圖解教程
Ubuntu分為桌面版（desktop）和服務(wù)器版（Server），下面為大家介紹服務(wù)器版本Ubuntu Server 18.04.5 LTS的詳細(xì)安裝過(guò)程,需要的朋友可以參考下
2021-01-01
CentOS7使用dnf安裝mysql的方法
本篇文章主要介紹了CentOS7使用dnf安裝mysql的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2018-03-03
Linux下的ssh安全防護(hù)問(wèn)題
這篇文章主要介紹了Linux下的ssh安全防護(hù)問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-08-08
shell腳本報(bào)錯(cuò)："[: =: unary operator expected"解決辦法
這篇文章主要介紹了shell腳本報(bào)錯(cuò)："[: =: unary operator expected"解決辦法的相關(guān)資料,需要的朋友可以參考下
2017-03-03