ELK配置轉(zhuǎn)存redis緩存采集nginx訪問日志的操作方法
在136服務器上部署mysql
啟動mysql服務
可通過以下命令查找安裝的軟件包
怎么查找安裝軟件的日志文件位置rpm -qc mysql-server，即可顯示mysql.log位置
也可通過查找配置文件中的log關(guān)鍵字來查找log文件日志位置
用awk命令，以=切割，輸出第二個字段
rpm -ql 也可查找
編輯logstash配置文件
添加mysql日志信息配置文件
重啟logstash配置文件
登錄前臺查看
只采集nginx日志，配置nginx_logs.conf,修改索引
看到9600端口啟動成功，即配置啟動成功
搜索索引，選擇索引模式，添加新的索引
點擊創(chuàng)建索引模式
重新訪問nginx服務器生成新的nginx日志文件，即可加載出nginx日志文件
以時間字段作為篩選
此時顯示日志配置成功，通過135服務器重新訪問136nginx服務，前臺顯示出訪問信息
添加mysql單獨索引日志顯示服務
但是不能連續(xù)重啟nginx和mysql日志加載配置文件，需要將其配置日志文件放在一個文件夾下，進行加載顯示，配置logstash.yml文件
在配置的目錄下創(chuàng)建配置文件
用以下方式重新啟動配置文件
修改文件pipelines.yml內(nèi)容配置文件目錄
加入該配置文件后，etc目錄下會生成以下文件內(nèi)容
在135服務器上安裝redis服務，配置監(jiān)聽為全網(wǎng)監(jiān)聽
啟動redis服務
進入redis，查看redis中的鍵值
在136上配置用redis緩存技術(shù)，將logstash采集的日志存儲到redis中
重新加載配置文件在config文件夾下，執(zhí)行../bin/logstash -f nginx_logs.conf
在135服務器上監(jiān)控redis
雖然有訪問數(shù)據(jù)，但是沒有key，不知道哪里原因，重新單獨測試，先寫入redis中
停掉135上的elk進程，直接停掉java進程即可pkill java
編輯logstash配置文件nginx_log.conf,vim nginx_log.conf,刪除之前的寫入els服務模塊內(nèi)容
重新加載配置文件../bin/logstash -f nginx_log.conf
訪問nginx測試頁面
查看redis服務中的鍵值，即可看到訪問信息
至此測試成功，下次測試同時先轉(zhuǎn)存redis，在轉(zhuǎn)存到els,在前臺kibana頁面顯示出來
到此這篇關(guān)于ELK配置轉(zhuǎn)存redis緩存，采集nginx訪問日志的文章就介紹到這了,更多相關(guān)ELK轉(zhuǎn)存redis緩存內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
使用Redis實現(xiàn)記錄訪問次數(shù)的三種方案
這篇文章主要介紹了使用Redis實現(xiàn)記錄訪問次數(shù)的三種方案,文中通過代碼示例和圖文講解的非常詳細,對大家的學習或工作有一定的幫助,需要的朋友可以參考下2024-09-09
Deepin UOS編譯安裝Redis的實現(xiàn)步驟
本文主要介紹了Deepin UOS編譯安裝Redis的實現(xiàn)步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-01-01
Redis實現(xiàn)每日簽到功能(大數(shù)據(jù)量)
在面對百萬級用戶簽到情況下,傳統(tǒng)數(shù)據(jù)庫存儲和判斷會遇到瓶頸,使用Redis的二進制數(shù)據(jù)類型可實現(xiàn)高效的簽到功能,示例代碼展示了如何調(diào)用這些功能,包括當天簽到、補簽以及查詢簽到記錄,PHP結(jié)合Redis二進制數(shù)據(jù)類型可有效處理大數(shù)據(jù)量下的簽到問題2024-10-10
這篇文章主要介紹了Redis中五種數(shù)據(jù)類型簡單操作的相關(guān)資料,需要的朋友可以參考下2017-04-04
redisson作為分布式鎖能夠解決分布式的加鎖解鎖問題,還能夠?qū)崿F(xiàn)鎖的設(shè)置存活時間以及自動續(xù)期,本文主要介紹了redis中redisson實現(xiàn)鎖自動延時,感興趣的可以了解一下2024-02-02
深入理解Redis內(nèi)存回收和內(nèi)存淘汰機制
Redis使用多種過期策略和內(nèi)存淘汰機制來管理內(nèi)存,本文主要介紹了深入理解Redis內(nèi)存回收和內(nèi)存淘汰機制, 具有一定的參考價值,感興趣的可以了解一下2024-06-06
在項目使用Redis過程中,當數(shù)據(jù)更新時,我們要保證緩存和數(shù)據(jù)庫的一致性,否則會導致很多臟數(shù)據(jù)出現(xiàn),此時我們就要思考如何去進行數(shù)據(jù)更新,本文就給大家講講關(guān)于redis的讀寫一致問題,需要的朋友可以參考下2023-08-08
Redis緩存異常問題分別是緩存雪崩,緩存預熱,緩存穿透,緩存降級,緩存擊穿,本文主要介紹了Redis緩存異常常用解決方案總結(jié),具有一定的參考價值,感興趣的可以了解一下2023-12-12
Redis中的數(shù)據(jù)結(jié)構(gòu)跳表詳解
跳表是一種基于并聯(lián)的鏈表結(jié)構(gòu),用于在有序元素序列中快速查找元素的數(shù)據(jù)結(jié)構(gòu),本文給大家介紹Redis中的數(shù)據(jù)結(jié)構(gòu)跳表,感興趣的朋友跟隨小編一起看看吧2024-06-06
Redisson分布式限流器RRateLimiter的使用及原理小結(jié)
本文主要介紹了Redisson分布式限流器RRateLimiter的使用及原理小結(jié),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-06-06