Docker Compose一鍵ELK部署的方法實(shí)現(xiàn)
更新時(shí)間：2021年01月25日 15:56:44 作者：大漠知秋
這篇文章主要介紹了Docker Compose一鍵ELK部署的方法實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
安裝
Filebeat 已經(jīng)完全替代了 Logstash-Forwarder 成為新一代的日志采集器，因?yàn)樗虞p量、安全?；?Filebeat + ELK 的部署方案架構(gòu)圖如下：
軟件版本：
| 服務(wù) | 版本 | 說明 |
|---|---|---|
| CentOS | 7.6 | |
| Docker | 18.09.5 | |
| Docker Compose | 1.25.0 | |
| ELK | 7.5.1 | |
| Filebeat | 7.5.1 |
docker-compose 文件
version: "3" services: es-master: container_name: es-master hostname: es-master image: elasticsearch:7.5.1 restart: always ports: - 9200:9200 - 9300:9300 volumes: - ./elasticsearch/master/conf/es-master.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./elasticsearch/master/data:/usr/share/elasticsearch/data - ./elasticsearch/master/logs:/usr/share/elasticsearch/logs environment: - "ES_JAVA_OPTS=-Xms512m -Xmx512m" es-slave1: container_name: es-slave1 image: elasticsearch:7.5.1 restart: always ports: - 9201:9200 - 9301:9300 volumes: - ./elasticsearch/slave1/conf/es-slave1.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./elasticsearch/slave1/data:/usr/share/elasticsearch/data - ./elasticsearch/slave1/logs:/usr/share/elasticsearch/logs environment: - "ES_JAVA_OPTS=-Xms512m -Xmx512m" es-slave2: container_name: es-slave2 image: elasticsearch:7.5.1 restart: always ports: - 9202:9200 - 9302:9300 volumes: - ./elasticsearch/slave2/conf/es-slave2.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./elasticsearch/slave2/data:/usr/share/elasticsearch/data - ./elasticsearch/slave2/logs:/usr/share/elasticsearch/logs environment: - "ES_JAVA_OPTS=-Xms512m -Xmx512m" kibana: container_name: kibana hostname: kibana image: kibana:7.5.1 restart: always ports: - 5601:5601 volumes: - ./kibana/conf/kibana.yml:/usr/share/kibana/config/kibana.yml environment: - elasticsearch.hosts=http://es-master:9200 depends_on: - es-master - es-slave1 - es-slave2 # filebeat: # # 容器名稱 # container_name: filebeat # # 主機(jī)名稱 # hostname: filebeat # # 鏡像 # image: docker.elastic.co/beats/filebeat:7.5.1 # # 重啟機(jī)制 # restart: always # # 持久化掛載 # volumes: # - ./filebeat/conf/filebeat.yml:/usr/share/filebeat/filebeat.yml # # 映射到容器中[作為數(shù)據(jù)源] # - ./logs:/home/project/spring-boot-elasticsearch/logs # - ./filebeat/logs:/usr/share/filebeat/logs # - ./filebeat/data:/usr/share/filebeat/data # # 將指定容器連接到當(dāng)前連接，可以設(shè)置別名，避免ip方式導(dǎo)致的容器重啟動(dòng)態(tài)改變的無法連接情況 # links: # - logstash # # 依賴服務(wù)[可無] # depends_on: # - es-master # - es-slave1 # - es-slave2 logstash: container_name: logstash hostname: logstash image: logstash:7.5.1 command: logstash -f ./conf/logstash-filebeat.conf restart: always volumes: # 映射到容器中 - ./logstash/conf/logstash-filebeat.conf:/usr/share/logstash/conf/logstash-filebeat.conf - ./logstash/ssl:/usr/share/logstash/ssl environment: - elasticsearch.hosts=http://es-master:9200 # 解決logstash監(jiān)控連接報(bào)錯(cuò) - xpack.monitoring.elasticsearch.hosts=http://es-master:9200 ports: - 5044:5044 depends_on: - es-master - es-slave1 - es-slave2
這里把 Filebeat 給注釋掉了，打算在各個(gè)需要搜集日志的服務(wù)器上面單獨(dú)部署 Filebeat。
記得把 Elasticsearch 的 data 和 logs 設(shè)置
chmod 777
es-master.yml
# 集群名稱 cluster.name: es-cluster # 節(jié)點(diǎn)名稱 node.name: es-master # 是否可以成為master節(jié)點(diǎn) node.master: true # 是否允許該節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù),默認(rèn)開啟 node.data: false # 網(wǎng)絡(luò)綁定 network.host: 0.0.0.0 # 設(shè)置對外服務(wù)的http端口 http.port: 9200 # 設(shè)置節(jié)點(diǎn)間交互的tcp端口 transport.port: 9300 # 集群發(fā)現(xiàn) discovery.seed_hosts: - es-master - es-slave1 - es-slave2 # 手動(dòng)指定可以成為 mater 的所有節(jié)點(diǎn)的 name 或者 ip，這些配置將會(huì)在第一次選舉中進(jìn)行計(jì)算 cluster.initial_master_nodes: - es-master # 支持跨域訪問 http.cors.enabled: true http.cors.allow-origin: "*" # 安全認(rèn)證 xpack.security.enabled: false #http.cors.allow-headers: "Authorization"
es-slave1.yml
# 集群名稱 cluster.name: es-cluster # 節(jié)點(diǎn)名稱 node.name: es-slave1 # 是否可以成為master節(jié)點(diǎn) node.master: true # 是否允許該節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù),默認(rèn)開啟 node.data: true # 網(wǎng)絡(luò)綁定 network.host: 0.0.0.0 # 設(shè)置對外服務(wù)的http端口 http.port: 9201 # 設(shè)置節(jié)點(diǎn)間交互的tcp端口 #transport.port: 9301 # 集群發(fā)現(xiàn) discovery.seed_hosts: - es-master - es-slave1 - es-slave2 # 手動(dòng)指定可以成為 mater 的所有節(jié)點(diǎn)的 name 或者 ip，這些配置將會(huì)在第一次選舉中進(jìn)行計(jì)算 cluster.initial_master_nodes: - es-master # 支持跨域訪問 http.cors.enabled: true http.cors.allow-origin: "*" # 安全認(rèn)證 xpack.security.enabled: false #http.cors.allow-headers: "Authorization"
es-slave2.yml
# 集群名稱 cluster.name: es-cluster # 節(jié)點(diǎn)名稱 node.name: es-slave2 # 是否可以成為master節(jié)點(diǎn) node.master: true # 是否允許該節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù),默認(rèn)開啟 node.data: true # 網(wǎng)絡(luò)綁定 network.host: 0.0.0.0 # 設(shè)置對外服務(wù)的http端口 http.port: 9202 # 設(shè)置節(jié)點(diǎn)間交互的tcp端口 #transport.port: 9302 # 集群發(fā)現(xiàn) discovery.seed_hosts: - es-master - es-slave1 - es-slave2 # 手動(dòng)指定可以成為 mater 的所有節(jié)點(diǎn)的 name 或者 ip，這些配置將會(huì)在第一次選舉中進(jìn)行計(jì)算 cluster.initial_master_nodes: - es-master # 支持跨域訪問 http.cors.enabled: true http.cors.allow-origin: "*" # 安全認(rèn)證 xpack.security.enabled: false #http.cors.allow-headers: "Authorization"
logstash-filebeat.conf
input {
# 來源beats
beats {
# 端口
port => "5044"
ssl_certificate_authorities => ["/usr/share/logstash/ssl/ca.crt"]
ssl_certificate => "/usr/share/logstash/ssl/server.crt"
ssl_key => "/usr/share/logstash/ssl/server.key"
ssl_verify_mode => "force_peer"
}
}
# 分析、過濾插件，可以多個(gè)
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}"}
}
geoip {
source => "clientip"
}
}
output {
# 選擇elasticsearch
elasticsearch {
hosts => ["http://es-master:9200"]
index => "%{[fields][service]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
# 當(dāng)前目錄下的所有.log文件
- /root/tmp/logs/*.log
fields:
service: "our31-java"
multiline.pattern: ^\[
multiline.negate: true
multiline.match: after
- type: log
enabled: true
paths:
# 當(dāng)前目錄下的所有.log文件
- /root/tmp/log/*.log
fields:
service: "our31-nginx"
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
# setup.template.settings:
# index.number_of_shards: 1
# setup.dashboards.enabled: false
# setup.kibana:
# host: "http://localhost:5601"
# 不直接傳輸至ES
#output.elasticsearch:
# hosts: ["http://es-master:9200"]
# index: "filebeat-%{[beat.version]}-%{+yyyy.MM.dd}"
setup.ilm.enabled: false
output.logstash:
hosts: ["logstash.server.com:5044"]
# Optional SSL. By default is off.
# List of root certificates for HTTPS server verifications
ssl.certificate_authorities: "./ssl/ca.crt"
# Certificate for SSL client authentication
ssl.certificate: "./ssl/client.crt"
# Client Certificate Key
ssl.key: "./ssl/client.key"
# processors:
# - add_host_metadata: ~
# - add_cloud_metadata: ~
注意
生成證書，配置 SSL，讓 Filebeat 與 Logstash 之間建立 SSL。
#生成ca私鑰 openssl genrsa 2048 > ca.key #使用ca私鑰建立ca證書 openssl req -new -x509 -nodes -key ca.key -subj /CN=elkCA\ CA/OU=Development\ group/O=HomeIT\ SIA/DC=elk/DC=com > ca.crt #生成服務(wù)器csr證書請求文件 openssl req -newkey rsa:2048 -nodes -keyout server.key -subj /CN=logstash.server.com/OU=Development\ group/O=Home\ SIA/DC=elk/DC=com > server.csr #使用ca證書與私鑰簽發(fā)服務(wù)器證書 openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -set_serial 01 > server.crt #生成客戶端csr證書請求文件 openssl req -newkey rsa:2048 -nodes -keyout client.key -subj /CN=filebeat.client.com/OU=Development\ group/O=Home\ SIA/DC=elk/DC=com > client.csr #使用ca證書與私鑰簽發(fā)客戶端證書 openssl x509 -req -in client.csr -CA ca.crt -CAkey ca.key -set_serial 01 > client.crt
證書記得放到對應(yīng)的文件夾中。
Filebeat 中 output.logstash.hosts 配置的域名要與證書相符。
根據(jù)不同服務(wù)器、不同服務(wù)、不同日期動(dòng)態(tài)生成索引
上面的這張圖片中，加上了一些自定義屬性，這些屬性會(huì)傳遞到 Logstash 中，Logstash 會(huì)拿到這些屬性動(dòng)態(tài)的向 Elasticsearch 中創(chuàng)建索引，如下圖：
詳細(xì)介紹看官方文檔，metadata，動(dòng)態(tài)索引生成。
這里本來想使用 indices 來動(dòng)態(tài)生成索引，但是根據(jù)官方配置，并沒有成功，哪位兄弟知道可以告知下為什么。
利用 Nginx Http Basic Authorization 讓 Kibana 需要登錄
先使用工具 htpasswd 生成用戶信息
$ yum -y install httpd-tools
創(chuàng)建新密碼文件
追加用戶信息：
最后配置好 Nginx 即可：
server {
......
auth_basic "Kibana Auth";
auth_basic_user_file /usr/local/nginx/pwd/kibana/passwd;
......
}
單獨(dú)啟動(dòng) Filebeat 的方式
$ nohup ./filebeat 2>&1 &
啟動(dòng) Docker Compose
在 docker-compose.yml 所在目錄執(zhí)行：
$ docker-compose up --build -d
到此這篇關(guān)于Docker Compose一鍵ELK部署的方法實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Docker Compose ELK部署內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
CentOS?7.9?安裝?docker20.10.12的過程解析
這篇文章主要介紹了CentOS?7.9?安裝?docker20.10.12?的相關(guān)資料,安裝軟件包時(shí)卸載舊軟件包，如果已經(jīng)安裝這些程序，請卸載他們以及相關(guān)的依賴項(xiàng)，本文給大家介紹的非常詳細(xì)，需要的朋友可以參考下2022-10-10
Docker容器動(dòng)態(tài)加載掛載目錄的實(shí)踐
本文主要介紹了Docker容器中動(dòng)態(tài)加載掛載目錄的實(shí)踐,通過掛載目錄,可以將主機(jī)上的文件或目錄與容器中的文件或目錄進(jìn)行關(guān)聯(lián),實(shí)現(xiàn)應(yīng)用程序的靈活性和可擴(kuò)展性,這種方法可以避免容器重啟,減少應(yīng)用程序的停機(jī)時(shí)間,并簡化應(yīng)用程序的部署和管理,使應(yīng)用程序的遷移和擴(kuò)展更加容易2024-10-10
這篇文章主要介紹了在Docker中跑Hadoop與鏡像制作方法，本文通過實(shí)例代碼和截圖的形式給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-11-11
這篇文章主要介紹了Docker鏡像的制作與使用淺析的相關(guān)資料,需要的朋友可以參考下2022-11-11
DOCKERFILE學(xué)習(xí)及使用注意事項(xiàng)
Dockerfile 由一行行命令語句組成，并且支持以 # 開頭的注釋行。一般的，Dockerfile分為四部分：基礎(chǔ)鏡像信息、維護(hù)者信息、鏡像操作指令、容器啟動(dòng)時(shí)執(zhí)行指令2017-02-02
本篇文章主要介紹了詳解Docker Registry之刪除鏡像、垃圾回收，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-04-04
這篇文章主要介紹了使用Docker快速搭建服務(wù)器環(huán)境的詳細(xì)步驟，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-10-10
Docker?部署?vue?項(xiàng)目的詳細(xì)流程
使用Docker配合Nginx部署Vue3項(xiàng)目涉及多個(gè)步驟：首先安裝Nginx,然后創(chuàng)建掛載目錄及配置文件；接著打包Vue項(xiàng)目并上傳至服務(wù)器；最后創(chuàng)建Dockerfile,構(gòu)建鏡像并啟動(dòng)容器,部署完成后,通過IP訪問應(yīng)用以驗(yàn)證是否成功2024-09-09
docker靈活的構(gòu)建PHP環(huán)境的實(shí)現(xiàn)
這篇文章主要介紹了docker靈活的構(gòu)建PHP環(huán)境的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
本文給大家匯總介紹了docker中鏡像創(chuàng)建的幾種方法，包括基于已有鏡像創(chuàng)建、基于本地模板創(chuàng)建以及基于Dockerfile創(chuàng)建。有需要的小伙伴可以參考下2018-08-08