使用logstash同步mysql數(shù)據(jù)到elasticsearch實現(xiàn)
更新時間：2022年12月14日 14:15:52 作者：大數(shù)據(jù)技術派
這篇文章主要為大家介紹了使用logstash同步mysql數(shù)據(jù)到elasticsearch實現(xiàn)詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
mysql建表test;
安裝logstash（跟es版本一致）
# 下載 wget https://repo.huaweicloud.com/logstash/7.14.2/logstash-7.14.2-linux-x86_64.tar.gz # 解壓 tar -zxvf logstash-7.14.2-linux-x86_64.tar.gz # 需要mysql-connector-java-5.1.40.jar，隨便放到比如目錄 # /var/lib/hadoop-hdfs/logstash-7.14.2/lib/mysql-connector-java-5.1.40.jar
新建es索引test
curl -u elastic:changeme -X PUT http://192.168.20.130:9200/test -H 'Content-Type: application/json' -d'
{
"settings" : {
"number_of_shards" : 1,
"number_of_replicas" : 1
},
"mappings" : {
"properties": {
"id": {
"type" : "long"
},
"type": {
"type": "keyword"
},
"keyword_1": {
"type": "text",
"analyzer" : "ik_smart"
},
"keyword_2": {
"type": "text",
"analyzer" : "ik_smart"
},
"keyword_3": {
"type": "text",
"analyzer" : "ik_smart"
},
"data": {
"type": "keyword"
},
"created_at": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd"
},
"updated_at": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd"
}
}
}
}'
編輯配置文件
vim ~/script/logstash/logstash_mysql2es.conf
input {
stdin{
}
jdbc{
# 連接的數(shù)據(jù)庫地址和數(shù)據(jù)庫，指定編碼格式，禁用ssl協(xié)議，設定自動重連
# 此處10.112.103.2為MySQL所在IP地址，也是elastic search所在IP地址
jdbc_connection_string => "jdbc:mysql://192.168.13.28:3306/test?characterEncoding=UTF-8&useSSL=FALSE&autoReconnect=true"
#數(shù)據(jù)庫用戶名
jdbc_user => "root"
# 數(shù)據(jù)庫用戶名對應的密碼
jdbc_password => "root"
# jar包存放位置
jdbc_driver_library => "/var/lib/hadoop-hdfs/logstash-7.14.2/lib/mysql-connector-java-5.1.40.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_default_timezone => "Asia/Shanghai"
jdbc_paging_enabled => "true"
jdbc_page_size => "320000"
lowercase_column_names => false
statement => "select id, type, tags, title from test"
}
}
filter {
# 移除無關的字段
mutate {
remove_field => ["@version", "@timestamp"]
}
}
output {
elasticsearch {
hosts => ["http://192.168.20.130:9200"]
user => "elastic"
password => "changeme"
index => "test"
document_type => "_doc"
# 將字段type和id作為文檔id
document_id => "%{type}_%{id}"
}
stdout {
codec => json_lines
}
}
重要配置參數(shù)說明：
remove_field => ["@version", "@timestamp"]: 默認logstash會添加這兩個字段，這里去掉；document_id => "%{type}_%{id}": 將兩個字段拼接作為es的文檔id；
啟動任務
./logstash-7.14.2/bin/logstash -f script/logstash/logstash_mysql2es.conf
參考資料
以上就是使用logstash同步mysql數(shù)據(jù)到elasticsearch實現(xiàn)的詳細內(nèi)容，更多關于logstash mysql數(shù)據(jù)同步elasticsearch的資料請關注腳本之家其它相關文章！
您可能感興趣的文章:
- MySQL數(shù)據(jù)同步Elasticsearch的4種方案
- logstash將mysql數(shù)據(jù)同步到elasticsearch方法詳解
- 使用canal監(jiān)控mysql數(shù)據(jù)庫實現(xiàn)elasticsearch索引實時更新問題
- Mysql到Elasticsearch高效實時同步Debezium實現(xiàn)
- 詳解Mysql如何實現(xiàn)數(shù)據(jù)同步到Elasticsearch
- 用python簡單實現(xiàn)mysql數(shù)據(jù)同步到ElasticSearch的教程
- MySQL 與 Elasticsearch 數(shù)據(jù)不對稱問題解決辦法
- 如何在Elasticsearch中啟用和使用SQL功能
相關文章
這篇文章主要介紹了詳解Java中接口的定義與實例代碼的相關資料,需要的朋友可以參考下2017-03-03
這篇文章主要介紹了Java基礎之集合Set詳解,文中有非常詳細的代碼示例,對正在學習java基礎的小伙伴們有很好地幫助,需要的朋友可以參考下2021-05-05
這篇文章主要介紹了Java 集合類 List 的那些坑，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-08-08
這篇文章主要介紹了Java設計模式編程中命令模式的使用,在一些處理請求響應的場合經(jīng)?？梢杂玫矫钅Ｊ降木幊趟悸?需要的朋友可以參考下2016-02-02
Maven方式構建SpringBoot項目的實現(xiàn)步驟(圖文)
Maven是一個強大的項目管理工具,可以幫助您輕松地構建和管理Spring Boot應用程序,本文主要介紹了Maven方式構建SpringBoot項目的實現(xiàn)步驟,具有一定的參考價值,感興趣的可以了解一下2023-09-09
這篇文章主要介紹了Map集合中獲取key-value值的實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-03-03
Map簡介：將鍵映射到值的對象。一個映射不能包含重復的鍵；每個鍵最多只能映射到一個值。此接口取代 Dictionary 類，后者完全是一個抽象類，而不是一個接口2021-07-07
JavaEE?企業(yè)級?Java?項目中的經(jīng)典三層架構為表現(xiàn)層，業(yè)務層和持久層.MyBatis?對?JDBC?代碼進行了封裝，作為一款優(yōu)秀的持久層框架，專門用于簡化JDBC開發(fā).本文主要介紹一下如何使用MyBatis簡化JDBC開發(fā)，需要的可以參考一下2023-01-01
這篇文章主要介紹了Java的繪圖模式使用淺析,以一個小例子大概列舉了XOR模式下能干的一些事情,需要的朋友可以參考下2015-10-10
這篇文章主要為大家詳細介紹了java實現(xiàn)實時通信聊天程序，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-06-06