一、前言

Elasticsearch 是一個(gè)開(kāi)源的分布式搜索和分析引擎，用于全文搜索、結(jié)構(gòu)化搜索、分析和可視化大規(guī)模數(shù)據(jù)。

它被設(shè)計(jì)成一個(gè)可擴(kuò)展的實(shí)時(shí)搜索引擎，能夠處理大規(guī)模數(shù)據(jù)，并提供快速的搜索和分析功能。

以下是一些 Elasticsearch 的特性和用途：

• 全文搜索：Elasticsearch可以存儲(chǔ)大量的數(shù)據(jù)，并提供基于全文搜索的查詢(xún)功能，支持各種復(fù)雜的查詢(xún)操作。
• 實(shí)時(shí)性：Elasticsearch能夠?qū)崟r(shí)索引數(shù)據(jù)，并且查詢(xún)的響應(yīng)時(shí)間非?？?，適用于需要快速查詢(xún)的場(chǎng)景。
• 分布式架構(gòu)：Elasticsearch 是一個(gè)分布式系統(tǒng)，數(shù)據(jù)被分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，可以水平擴(kuò)展以處理大規(guī)模數(shù)據(jù)。
• 多種數(shù)據(jù)類(lèi)型支持：Elasticsearch 支持多種數(shù)據(jù)類(lèi)型的索引和查詢(xún)，包括文本、數(shù)字、日期等。
• 強(qiáng)大的查詢(xún)語(yǔ)言：Elasticsearch 提供了豐富而靈活的查詢(xún)語(yǔ)言，可以滿足各種復(fù)雜的查詢(xún)需求。
• 實(shí)時(shí)數(shù)據(jù)分析：除了搜索功能，Elasticsearch 還提供了強(qiáng)大的數(shù)據(jù)分析功能，可以對(duì)數(shù)據(jù)進(jìn)行聚合、統(tǒng)計(jì)和可視化分析。
• 易于部署和管理：Elasticsearch 提供了簡(jiǎn)單易用的API和管理工具，可以方便地部署、監(jiān)控和管理集群。
• 與其他工具集成：Elasticsearch 與許多工具和技術(shù)（如Logstash、Kibana、Beats等）集成，構(gòu)建了強(qiáng)大的日志管理和數(shù)據(jù)分析解決方案。

總的來(lái)說(shuō)，Elasticsearch是一個(gè)功能強(qiáng)大且靈活的搜索和分析引擎，適用于各種場(chǎng)景，包括日志分析、實(shí)時(shí)監(jiān)控、全文搜索等。

本例將在3臺(tái)機(jī)器上搭建 Elasticsearch 集群:

192.168.72.151  node-1
192.168.72.152  node-2
192.168.72.153  node-3

二、使用 RPM 安裝 Elasticsearch

導(dǎo)入 Elasticsearch GPG 密鑰

下載并安裝公共簽名密鑰

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

從 RPM 存儲(chǔ)庫(kù)安裝

在 /etc/yum.repos.d/ 創(chuàng)建 elasticsearch.repo

[elasticsearch]
name=Elasticsearch repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md

執(zhí)行 yum install 命令

yum install --enablerepo=elasticsearch elasticsearch -y

默認(rèn)生成的目錄

• 安裝目錄：/usr/share/elasticsearch
• 配置文件目錄：/etc/elasticsearch

啟動(dòng) Elasticsearch 命令：

systemctl enable elasticsearch.service
systemctl start elasticsearch.service

三、設(shè)置基本安全性

首次啟動(dòng) Elasticsearch 時(shí)，會(huì)為用戶(hù)生成密碼，并自動(dòng)為用戶(hù)配置 TLS ，可以隨時(shí)調(diào)整 TLS 配置，更新節(jié)點(diǎn)證書(shū)

生成證書(shū)

1、在任意節(jié)點(diǎn)上進(jìn)入 Elasticsearch 的安裝目錄，使用 elasticsearch-certutil 為集群生成 CA 。

bin/elasticsearch-certutil ca

• 設(shè)置 CA 文件名（默認(rèn)即可）
• 為 CA 設(shè)置密碼

2、利用上一步的 elastic-stack-ca.p12 為集群生成證書(shū)和私鑰。

bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

• 輸入CA的密碼
• 為證書(shū)創(chuàng)建密碼，并設(shè)置文件名（默認(rèn)即可）

3、將證書(shū)拷貝到其他節(jié)點(diǎn)上。

使用TLS加密節(jié)點(diǎn)間通信

1、進(jìn)入 Elasticsearch 配置目錄，編輯 elasticsearch.conf 文件:

cluster.name: my-cluster
node.name: node-1
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate 
xpack.security.transport.ssl.client_authentication: required
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

2、執(zhí)行以下命令將證書(shū)密碼保存到 Elasticsearch 的 keystore

bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
bin/elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password

3、為集群中的每個(gè)節(jié)點(diǎn)完成前面的步驟。

4、在集群的每個(gè)節(jié)點(diǎn)上，重新啟動(dòng) Elasticsearch 。

四、為 Elasticsearch 加密 HTTP 客戶(hù)端通信

1、 在任意單個(gè)節(jié)點(diǎn)上，從安裝 Elasticsearch 的目錄中，運(yùn)行Elasticsearch HTTP 證書(shū)工具生成證書(shū)簽名請(qǐng)求(CSR)。

bin/elasticsearch-certutil http

• 是否生成 CSR ，輸入 n 。
• 是否使用現(xiàn)有 CA ，輸入 y 。
• 輸入 CA 的路徑。這是 elastic-stack-ca.p12 的絕對(duì)路徑。
• 輸入 CA 的密碼。
• 輸入證書(shū)的有效期。
• 是否為每個(gè)節(jié)點(diǎn)生成一個(gè)證書(shū)，輸入 y 。
• 輸入每個(gè)節(jié)點(diǎn)的名稱(chēng)（node.name）。
• 輸入所有節(jié)點(diǎn)的主機(jī)名、IP地址。
• 輸入私鑰密碼。

該命令生成一個(gè) .zip 文件，其中包含 Elasticsearch 和 Kibana 使用的證書(shū)和密鑰。每個(gè)文件夾都包含一個(gè) README.txt ，說(shuō)明如何使用這些文件。

2、解壓縮生成的 elasticsearch-ssl-http.zip 文件。這個(gè)壓縮文件包含用于Elasticsearch和Kibana的目錄。

/elasticsearch
|_ README.txt
|_ http.p12
|_ sample-elasticsearch.yml

/kibana
|_ README.txt
|_ elasticsearch-ca.pem
|_ sample-kibana.yml

3、在集群中的每個(gè)節(jié)點(diǎn)上，完成以下步驟:

復(fù)制上面 elasticsearch 文件夾中的 http.p12 到 Elasticsearch 的配置目錄下。

編輯 elasticsearch.yml ，啟用 HTTPS 安全性，并指定 http.12 文件的位置。

xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: http.p12

將私鑰密碼添加到 Elasticsearch 的安全設(shè)置中。

bin/elasticsearch-keystore add xpack.security.http.ssl.keystore.secure_password

4、重新啟動(dòng) Elasticsearch

五、配置集群

編輯 elasticsearch.yml

3個(gè)節(jié)點(diǎn)的配置文件除了ip、節(jié)點(diǎn)名之外，都一樣

cluster.name: my-clusters
node.name: node-1

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

indices.memory.index_buffer_size: 20%
indices.memory.min_index_buffer_size: 96mb
thread_pool:
  search:
    size: 32
  analyze:
    size: 30
    queue_size: 1000
indices.requests.cache.size: 2%
indices.queries.cache.size: 10%
indices.fielddata.cache.size: 20%
indices.breaker.fielddata.limit: 40%

network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
transport.compress: true
http.max_content_length: 100mb

discovery.seed_hosts: ["192.168.72.151", "192.168.72.152","192.168.72.153"]

cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
cluster.fault_detection.leader_check.interval: 5s
discovery.cluster_formation_warning_timeout: 10s
cluster.publish.timeout: 30s
cluster.routing.allocation.node_initial_primaries_recoveries: 16
cluster.routing.allocation.node_concurrent_recoveries: 8
indices.recovery.max_bytes_per_sec: 125mb

集群默認(rèn)是通過(guò)9300端口連接的，記得防火墻還要開(kāi)通9300

啟動(dòng)集群

依次啟動(dòng)各個(gè)節(jié)點(diǎn)

service elasticsearch start

設(shè)置密碼

bin/elasticsearch-setup-passwords interactive

檢查集群狀態(tài)

curl  -XGET --user elastic:password http://192.168.72.151:9200/_cluster/health?pretty

也可以在瀏覽器直接訪問(wèn)

請(qǐng)注意，上述步驟中的IP地址、端口和目錄路徑應(yīng)根據(jù)你的實(shí)際環(huán)境進(jìn)行調(diào)整。

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論