Filebeat es 同步服務器日志到es的方法
更新時間：2025年05月28日 09:50:15 作者：可以吧可以吧
這篇文章主要介紹了Filebeat es 同步服務器日志到es的方法,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友參考下吧
資源
ubuntu es 7.10 kibana7.10 filebeat:7.10.2 metricbeat:7.10.2對應的版本必須相同否在會有兼容問題
es kibana
內網(wǎng)地址 192.168.0.94:9200 127.0.0.1:9200 https://127.0.0.1:9200 賬戶 admin 密碼 123456 #端口 9200 es kibana https://127.0.0.1:5601/app/login?nextUrl=%2F 賬戶 admin 密碼 123456
日志es kibana服務器安裝docker-compose
開放端口
5601,9200
設置系統(tǒng)參數(shù)（在宿主機執(zhí)行）
# 1. 設置內核映射限制參數(shù) sudo sysctl -w vm.max_map_count=262144 # 2. 永久寫入配置 echo "vm.max_map_count=262144" | sudo tee -a /etc/sysctl.conf # 3. 使配置生效 sudo sysctl -p
目錄準備
# 創(chuàng)建基礎目錄
sudo mkdir -p /www/es-kibana/{metricbeat/modules.d,metricbeat/config,elasticsearch/config,elasticsearch/data,elasticsearch/logs,kibana/config,kibana/logs}
# 拷貝或新建配置文件
# （如果之前已經(jīng)編輯過，直接 mv 到相應目錄即可）
# Elasticsearch 配置
sudo tee /www/es-kibana/elasticsearch/config/elasticsearch.yml > /dev/null << EOF
cluster.name: "es-docker-cluster"
network.host: 0.0.0.0
http.port: 9200
discovery.type: single-node
bootstrap.memory_lock: true
path.data: /usr/share/elasticsearch/data
path.logs: /usr/share/elasticsearch/logs
# ─── 安全認證 ───────────────────────────
xpack.security.enabled: true
# ─── 開啟匿名訪問（允許無憑據(jù)訪問 ES HTTP 接口） ───────────────────────────
xpack.security.authc.anonymous.username: anonymous_user
xpack.security.authc.anonymous.roles: superuser
xpack.security.authc.anonymous.authz_exception: false
EOF
# Kibana 配置
sudo tee /www/es-kibana/kibana/config/kibana.yml > /dev/null << EOF
server.name: kibana
server.host: "0.0.0.0"
server.port: 5601
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
elasticsearch.username: "elastic"
elasticsearch.password: "123456"
# 會話加密與安全相關
xpack.security.encryptionKey: "a_very_long_random_string_at_least_32_chars"
xpack.security.session.idleTimeout: "1h"
i18n.locale: "zh-CN"
logging.dest: /usr/share/kibana/logs/kibana.log
EOF
#Metricbeat 配置
sudo tee /www/es-kibana/metricbeat/config/metricbeat.yml > /dev/null << EOF
metricbeat.config.modules:
path: /usr/share/metricbeat/modules.d/*.yml
reload.enabled: false
setup.ilm.enabled: false
setup.template.enabled: true
setup.template.name: "metricbeat-mian-stg"
setup.template.pattern: "metricbeat-mian-stg-*"
output.elasticsearch:
hosts: ["http://elasticsearch:9200"]
username: "elastic"
password: "123456"
monitoring.enabled: true
EOF
#啟用默認系統(tǒng)監(jiān)控模塊
sudo tee /www/es-kibana/metricbeat/modules.d/system.yml > /dev/null << EOF
- module: system
metricsets:
- cpu
- load
- memory
- network
- process
- process_summary
- uptime
- filesystem
- diskio
- socket_summary
period: 10s
processes: ['.*']
enabled: true
EOF
# 確保目錄權限（Elasticsearch 默認 UID/GID 都是 1000）
sudo chown -R 1000:1000 /www/es-kibana/elasticsearch/{data,logs}
sudo chown -R 1000:1000 /www/es-kibana/kibana/logs
cd /www/es-kibanavim docker-compose.yml 配置文件
version: '3.8'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
container_name: elasticsearch
environment:
- discovery.type=single-node
- ELASTIC_PASSWORD=123456
- bootstrap.memory_lock=true
- ES_JAVA_OPTS=-Xms1g -Xmx1g
ulimits:
memlock:
soft: -1
hard: -1
ports:
- "9200:9200"
- "9300:9300"
volumes:
- ./elasticsearch/data:/usr/share/elasticsearch/data
- ./elasticsearch/logs:/usr/share/elasticsearch/logs
- ./elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml:ro
networks:
- es-network
kibana:
image: docker.elastic.co/kibana/kibana:7.10.2
container_name: kibana
environment:
- SERVER_PORT=5601
- ELASTICSEARCH_HOSTS=http://elasticsearch:9200
- ELASTICSEARCH_USERNAME=elastic
- ELASTICSEARCH_PASSWORD=123456
ports:
- "5601:5601"
volumes:
- ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml:ro
- ./kibana/logs:/usr/share/kibana/logs
depends_on:
- elasticsearch
networks:
- es-network
metricbeat:
image: docker.elastic.co/beats/metricbeat:7.10.2
container_name: metricbeat
user: root
depends_on:
- elasticsearch
cap_add:
- SYS_PTRACE
- DAC_READ_SEARCH
volumes:
- ./metricbeat/config/metricbeat.yml:/usr/share/metricbeat/metricbeat.yml:ro
- ./metricbeat/modules.d:/usr/share/metricbeat/modules.d:ro
- /proc:/hostfs/proc:ro
- /sys/fs/cgroup:/hostfs/sys/fs/cgroup:ro
- /:/hostfs:ro
networks:
- es-network
volumes: {}
networks:
es-network:
driver: bridge啟動服務
cd /www/es-kibana docker-compose down -v docker-compose up -d docker-compose logs -f elasticsearch docker-compose logs -f kibana docker-compose logs -f metricbeat
目錄結構一覽
/www/es-kibana/ ├── docker-compose.yml ├── elasticsearch/ │ └── elasticsearch.yml ├── kibana/ │ └── kibana.yml ├── data/ # Elasticsearch 數(shù)據(jù)目錄（掛載） └── logs/ # Elasticsearch 日志目錄（掛載）
驗證服務
curl http://localhost:9200 #外網(wǎng) curl http://127.0.0.1:9200 #kibana 獲取密碼 docker exec -it elasticsearch bin/elasticsearch-setup-passwords auto elastic 123456
目錄
mkdir -p /www/filebeat/logs && cd /www/filebeat/logs
調試 filebeat 配置
# 修改模板參數(shù)值 上傳的參數(shù)不一致 setup.template.priority # json解析問題調整 json.keys_under_root: true # 修改這一行 json.add_error_key: true json.message_key: json # 修改這一行 # 先調試->在調試docker啟動是否正常同步->啟動鏡像->啟動正式容器
生產(chǎn)prd v99_mian配置filebeat
目錄
mkdir -p /www/filebeat/ mkdir -p /www/filebeat/modules.d /www/filebeat/ ├── docker-compose.yml ├── Dockerfile └── filebeat.docker.yml
vim filebeat.docker.yml
filebeat.config:
modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/v99mian/**/*.log
- /var/log/nginx/**/*.log
json.keys_under_root: true
json.add_error_key: true
json.overwrite_keys: true
fields:
log_source: mian
processors:
- decode_json_fields:
fields: ["message"]
target: ""
overwrite_keys: true
- timestamp:
field: "@timestamp"
layouts:
- '2006-01-02T15:04:05.000Z07:00'
timezone: "UTC"
- add_host_metadata: {}
- add_cloud_metadata: {}
- add_docker_metadata: {}
- add_kubernetes_metadata: {}
output.elasticsearch:
hosts: ["127.0.0.1:9200"]
username: "elastic"
password: "123456"
ssl.verification_mode: "none"
setup.template.name: "metricbeat-mian-prd"
setup.template.pattern: "metricbeat-*"
setup.template.priority: 260
setup.ilm.enabled: true
setup.ilm.rollover_alias: "metricbeat-mian-prd"
setup.ilm.pattern: "{now/d}-000001"
setup.ilm.policy_name: "metricbeat-mian-prd-policy"
setup.ilm.policy:
policy:
phases:
hot:
actions:
rollover:
max_age: "1d"
max_size: "50gb"
delete:
min_age: "30d"
actions:
delete: {}
setup.template.settings:
index.mapping.total_fields.limit: 2000
index.mapping.ignore_malformed: true
index.number_of_shards: 1
index.number_of_replicas: 0vim Dockerfile
FROM docker.elastic.co/beats/filebeat:7.10.2 # 切換到 root（確保有權限修改配置文件屬主） USER root # 復制配置文件到鏡像中 COPY filebeat.docker.yml /usr/share/filebeat/filebeat.yml # 如果 modules.d 目錄下有自定義模塊，也一并復制 COPY modules.d /usr/share/filebeat/modules.d # 確保 filebeat 用戶可以讀取配置 RUN chown -R root:filebeat /usr/share/filebeat/filebeat.yml \ && chmod 0644 /usr/share/filebeat/filebeat.yml # 切回非 root 用戶 USER filebeat # 掛載日志目錄 VOLUME ["/var/log/mian"] VOLUME ["/var/log/nginx"] # 啟動命令 CMD ["filebeat", "-e", "--strict.perms=false", "-c", "/usr/share/filebeat/filebeat.yml"]
vim docker-compose.yml
version: '3.8'
services:
filebeat:
build:
context: .
dockerfile: Dockerfile
container_name: filebeat-mian
restart: always
user: root
volumes:
- /var/log/v99mian:/var/log/v99mian:ro
- /var/log/nginx:/var/log/nginx:ro
- /var/run/docker.sock:/var/run/docker.sock:ro啟動構建Docker鏡像
cd /www/filebeat docker-compose down -v docker-compose up -d docker-compose up --build -d #調試啟動 docker ps # 查看容器運行狀態(tài) docker logs -f filebeat-mian # 實時查看輸出日志
驗證es
curl -u elastic:123456 \ 'http://127.0.0.1:9200/metricbeat-v99mian-prd-*/_search?size=5&pretty' curl -u elastic:123456 'http://127.0.0.1:9200/_cluster/health?pretty' curl -u elastic:123456 'http://127.0.0.1:9200/_cat/indices?v'
到此這篇關于Filebeat es 同步服務器日志到es的文章就介紹到這了,更多相關Filebeat es 同步服務器日志內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
如何讓PHPnow支持wordpress靜態(tài)化鏈接的方法
這篇文章說的是PNPnow 的，不過看了一下，應該是說的一回事，就是讓wordpress支持偽靜態(tài)2012-09-09
MongoDB是一個基于分布式文件存儲的數(shù)據(jù)庫，由C++語言編寫。旨在為WEB應用提供可擴展的高性能數(shù)據(jù)存儲解決方案，下面我們來講講如何在寶塔面板中配置mongodb吧2023-08-08
這篇文章主要介紹了阿里云服務器部署node和npm的詳細過程,本文通過圖文并茂的形式給大家介紹的非常詳細,,需要的朋友可以參考下2023-12-12
本文詳細介紹了Ubuntu服務器的部署過程,包括關閉歡迎消息、修改hostname、配置SSH、防火墻設置、安裝和配置Web服務（如Nginx和Apache）、安裝和配置MySQL、以及PHP的安裝和配置,通過這些步驟,讀者可以成功部署一個基本的Ubuntu服務器環(huán)境,感興趣的朋友一起看看吧2025-02-02
iSCSI服務器CHAP雙向認證配置及創(chuàng)建步驟
這篇文章主要介紹了iSCSI服務器CHAP雙向認證配置,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-04-04
今天小編就為大家分享一篇關于Nexus使用Api進行操作，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-12-12
這篇文章主要介紹了外貿網(wǎng)站屏蔽中國IP訪問的多種方法,本文通過nginx、iptables、javascript三種方法實現(xiàn),需要的朋友可以參考下2014-12-12
這篇文章主要介紹了搭建dns服務器的圖文教程,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-03-03
理解web服務器和數(shù)據(jù)庫的負載均衡以及反向代理
這里的“負載均衡”是指在網(wǎng)站建設中應該考慮的“負載均衡”。假設我們要搭建一個網(wǎng)站：aaa.me，我們使用的web服務器每秒能處理100條請求，而aaa.me這個網(wǎng)站最火的時候也只是每秒99條請求，那么我們使用一個服務器是完全可以的2014-04-04
作為業(yè)務研發(fā)，你是否遇到過因為?CDN?問題導致的業(yè)務圖片加載失敗，頁面打開緩慢，頁面布局錯亂或者頁面白屏？你是否又遇到過某些區(qū)域?CDN?域名異常導致業(yè)務停擺，客訴不斷，此時的你一臉茫然，不知所措，這篇文章為大家從0到1分析美團端側cdn容災解決方案2022-01-01