nginx修改配置限制惡意爬蟲頻率
更新時間：2016年08月25日 10:56:50 投稿：daisy
這篇文章主要介紹在nginx中怎樣修改相關配置，以限制惡意爬蟲頻率的方法，有需要的朋友參考下。
如何在nginx中限制惡意網絡爬蟲抓取內容呢？也就是限制下惡意爬蟲的抓取頻率。下面來一起看看。
今天在微博發(fā)現(xiàn)@金榮葉 的處理方法很靈活，可以動態(tài)設定一個爬蟲的頻率，達到減輕服務器負載，并且不至于封殺爬蟲。
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某個server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_agent;
}
超過設置的限定頻率，就會給spider一個503。
總結
以上就是nginx修改配置限制惡意爬蟲頻率的全部內容，希望對大家的工作和學習能有所幫助，如果有疑問可以留言交流。
相關文章
本文主要介紹了nginx之內存池的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-06-06
本文為大家介紹一下nginx配置的相關介紹，供大家參考2013-02-02
這篇文章主要介紹了阿里云ssl證書通過Nginx部署到服務器的方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-03-03
這篇文章主要介紹了Nginx反向代理多個服務器的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-02-02
Nginx 是一個輕量級的高性能 Http WebServer，以事件驅動方式編寫，因此相比 Apache 而言，Nginx 更加穩(wěn)定、性能更好，而且配置簡單，資源占用較低。2010-06-06
ELK與Grafana聯(lián)合打造可視化監(jiān)控來分析nginx日志
這篇文章主要為大家介紹了ELK與Grafana的聯(lián)合打造可視化監(jiān)控來分析nginx日志，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-03-03
本文主要介紹一些Nginx的最基本功能以及簡單配置，但不包括Nginx的安裝部署以及實現(xiàn)原理。有興趣的可以了解一下。2016-12-12
nginx_upstream_check_module是一個Nginx的第三方模塊，它可以實現(xiàn) Nginx的主動健康檢查功能，本文將介紹一個基于 Nginx 的第三方模塊 nginx_upstream_check_module，它可以實現(xiàn) Nginx 的主動健康檢查功能，可以幫助我們更加有效地管理后端服務器，需要的朋友可以參考下2023-05-05
本文主要介紹了Nginx之帶寬限制的實現(xiàn)示例,一般使用limit_rate指令來限制響應傳輸?shù)娇蛻舳说乃俾?具有一定的參考價值,感興趣的可以了解一下2023-09-09
這篇文章主要介紹了Nginx源碼安裝的方法步驟，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-06-06