Go語言Elasticsearch數據清理工具思路詳解
更新時間：2021年10月08日 14:32:56 作者：July_whj
這篇文章主要介紹了Go語言Elasticsearch數據清理工具思路詳解,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
微服務架構中收集通常大家都采用ELK進行日志收集，同時我們還采用了SkyWalking進行鏈路跟蹤，而SkyWalking數據存儲也用到了ES，SkyWalking每天產生大量的索引數據，如下：
WX20211008-104751@2x
這里一天大概產生了700左右個索引數據。對歷史的鏈路數據我們不做過多的保留。
這里我整理了個小工具，可以定期清理es數據。
一、清理思路
可以看到索引數據都是以日期結尾，我們可以根據日期去匹配索引數據，并對索引進行刪除。這里需要考慮一點，有的Es服務開啟了索引保護機制，不能通過*index去刪除，只能通過索引的全名稱去刪除。所以我們整體流程如下：
1、獲取es服務中全部索引數據。
2、根據當前時間-保留天數，獲取要刪除的日期。
3、通過字符串匹配，判斷索引中是否包含要刪除的日期，如果包含則進行刪除。
4、工具友好性，我們可以通過配置文件配置ES服務地址、日期格式化類型、保留天數等信息。
二、代碼實現
2.1、獲取ES服務中全部索引數據
要獲取Es服務中全部索引數據，我們首先連接Es服務器，這里我們使用github.com/olivere/elastic/v7庫操作Es。
連接ES:
func GetEsClient(data Data) *elastic.Client {
Init()
file := "./eslog.log"
logFile, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766)
client, err := elastic.NewClient(
elastic.SetURL(data.Host),
elastic.SetSniff(false),
elastic.SetInfoLog(log.New(logFile, "ES-INFO: ", 0)),
elastic.SetTraceLog(log.New(logFile, "ES-TRACE: ", 0)),
elastic.SetErrorLog(log.New(logFile, "ES-ERROR: ", 0)),
)
if err != nil {
return nil
}
return client
}
我們通過GetEsClient方法，連接ES,并返回client，供后續(xù)方法使用。這里的Data是包含了ES服務地址等信息，我們后面會給出Data的數據結構。
獲取全部索引數據
func getIndex(data Data) map[string]interface{} {
client := GetEsClient(data)
mapping := client.GetMapping()
service := mapping.Index("*")
result, err := service.Do(context.Background())
if err != nil {
fmt.Printf("create index failed, err: %v\n", err)
return nil
}
return result
}
通過client.GetMapping().Index("*")API獲取es服務中全部的索引數據，并返回，數據格式如下：
WX20211008-110537@2x
這次我們獲取全部索引完成。
2.2、根據當前時間-保留天數，獲取要刪除的日期
我們根據當前時間-保留天數，獲取當前需要刪除的日期數據。我們通過GoLang內置的函數庫time完成該功能的實現。
currentTime := time.Now()//獲取當前時間 oldTime := currentTime.AddDate(0, 0, data.Day)//通過配置文件獲取保留天數 format := oldTime.Format(data.IndexFmt)//通過配置文件獲取序列化日期格式
2.3、通過字符串匹配，判斷索引中是否包含要刪除的日期，如果包含則進行刪除
這里通過字符串匹配進行判斷是否需要刪除索引數據。
func delIndex(data Data) {
currentTime := time.Now()
oldTime := currentTime.AddDate(0, 0, data.Day)
format := oldTime.Format(data.IndexFmt)
index := getIndex(data)//獲取全部索引
for k := range index {//遍歷索引數據
fmt.Println("key:", k, "format:", format)
if find := strings.Contains(k, format); find { //判斷索引中是否包含要刪除的日期格式，
DelIndex(data, k)//如果包含則調用DelIndex方法刪除
}
}
}
// DelIndex 刪除 index
func DelIndex(data Data, index ...string) bool {
client := GetEsClient(data)
response, err := client.DeleteIndex(index...).Do(context.Background())
if err != nil {
fmt.Printf("delete index failed, err: %v\n", err)
return false
}
return response.Acknowledged
}
通過DeleteIndexAPI刪除指定的數據。
2.4、通過配置文件靈活配置數據
這里我們定義了Config和Data對象，對象結構如下：
type Config struct {
Data []Data `json:"data"`
}
type Data struct {
Host string `json:"host"`
IndexFmt string `json:"index_fmt"`
Day int `json:"day"`
}
配置文件內容如下：
{
"data": [
{
"host": "http://ip1:9200",//服務IP
"index_fmt": "20060102",//日期格式化
"day": -1 //保留天數 保留1天
},
{
"host": "http://ip2:9200/",
"index_fmt": "20060102",
"day": -1
},
{
"host": "http://ip3:32093",
"index_fmt": "2006.01.02",
"day": -7 //保留天數 保留7天
}
]
}
我們通過Init方法加載配置文件到Config;
var config Config
func Init() {
JsonParse := NewJsonStruct()
//下面使用的是相對路徑，config.json文件和main.go文件處于同一目錄下
JsonParse.Load("config/config.json", &config)
}
type JsonStruct struct {
}
func NewJsonStruct() *JsonStruct {
return &JsonStruct{}
}
func (jst *JsonStruct) Load(filename string, v interface{}) {
//ReadFile函數會讀取文件的全部內容，并將結果以[]byte類型返回
data, err := ioutil.ReadFile(filename)
if err != nil {
return
}
//讀取的數據為json格式，需要進行解碼
err = json.Unmarshal(data, v)
if err != nil {
return
}
}
編寫Main方法運行程序：
func main() {
Init()
for i, datum := range config.Data {
fmt.Printf("config data Host is [%s], fmt is [%s]\n", datum.Host, datum.IndexFmt)
println(i)
delIndex(datum)
}
}
這里我們依然遍歷配置文件中的多個服務配置?？梢酝瑫r管理多個Es服務。
三、完整代碼
package main
import (
"encoding/json"
"fmt"
"io/ioutil"
"strings"
"time"
)
type Config struct {
Data []Data `json:"data"`
}
type Data struct {
Host string `json:"host"`
IndexFmt string `json:"index_fmt"`
Day int `json:"day"`
}
var config Config
func Init() {
JsonParse := NewJsonStruct()
//下面使用的是相對路徑，config.json文件和main.go文件處于同一目錄下
JsonParse.Load("config/config.json", &config)
}
type JsonStruct struct {
}
func NewJsonStruct() *JsonStruct {
return &JsonStruct{}
}
func (jst *JsonStruct) Load(filename string, v interface{}) {
//ReadFile函數會讀取文件的全部內容，并將結果以[]byte類型返回
data, err := ioutil.ReadFile(filename)
if err != nil {
return
}
//讀取的數據為json格式，需要進行解碼
err = json.Unmarshal(data, v)
if err != nil {
return
}
}
func delIndex(data Data) {
currentTime := time.Now()
oldTime := currentTime.AddDate(0, 0, data.Day)
format := oldTime.Format(data.IndexFmt)
index := getIndex(data)
for k := range index {
fmt.Println("key:", k, "format:", format)
if find := strings.Contains(k, format); find {
DelIndex(data, k)
}
}
}
func main() {
Init()
for i, datum := range config.Data {
fmt.Printf("config data Host is [%s], fmt is [%s]\n", datum.Host, datum.IndexFmt)
println(i)
delIndex(datum)
}
}
package main
import (
"context"
"fmt"
"github.com/olivere/elastic/v7"
"log"
"os"
"time"
)
// GetEsClient 初始化客戶端
func GetEsClient(data Data) *elastic.Client {
Init()
file := "./eslog.log"
logFile, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766) // 應該判斷error，此處簡略
client, err := elastic.NewClient(
elastic.SetURL(data.Host),
elastic.SetSniff(false),
elastic.SetInfoLog(log.New(logFile, "ES-INFO: ", 0)),
elastic.SetTraceLog(log.New(logFile, "ES-TRACE: ", 0)),
elastic.SetErrorLog(log.New(logFile, "ES-ERROR: ", 0)),
)
if err != nil {
return nil
}
return client
}
// IsDocExists 判斷索引是否存儲
func IsDocExists(data Data, id string, index string) bool {
client := GetEsClient(data)
defer client.Stop()
exist, _ := client.Exists().Index(index).Id(id).Do(context.Background())
if !exist {
log.Println("ID may be incorrect! ", id)
return false
}
return true
}
// PingNode 是否聯通
func PingNode(data Data) {
start := time.Now()
client := GetEsClient(data)
info, code, err := client.Ping(data.Host).Do(context.Background())
if err != nil {
fmt.Printf("ping es failed, err: %v", err)
}
duration := time.Since(start)
fmt.Printf("cost time: %v\n", duration)
fmt.Printf("Elasticsearch returned with code %d and version %s\n", code, info.Version.Number)
}
// GetDoc 獲取文檔
func GetDoc(data Data, id string, index string) (*elastic.GetResult, error) {
client := GetEsClient(data)
defer client.Stop()
if !IsDocExists(data, id, index) {
return nil, fmt.Errorf("id不存在")
}
esResponse, err := client.Get().Index(index).Id(id).Do(context.Background())
if err != nil {
return nil, err
}
return esResponse, nil
}
// CreateIndex 創(chuàng)建 index
func CreateIndex(data Data, index, mapping string) bool {
client := GetEsClient(data)
result, err := client.CreateIndex(index).BodyString(mapping).Do(context.Background())
if err != nil {
fmt.Printf("create index failed, err: %v\n", err)
return false
}
return result.Acknowledged
}
// DelIndex 刪除 index
func DelIndex(data Data, index ...string) bool {
client := GetEsClient(data)
response, err := client.DeleteIndex(index...).Do(context.Background())
if err != nil {
fmt.Printf("delete index failed, err: %v\n", err)
return false
}
return response.Acknowledged
}
func getIndex(data Data) map[string]interface{} {
client := GetEsClient(data)
mapping := client.GetMapping()
service := mapping.Index("*")
result, err := service.Do(context.Background())
if err != nil {
fmt.Printf("create index failed, err: %v\n", err)
return nil
}
return result
}
代碼已經上傳github需要的可自行下載。
到此這篇關于Go語言Elasticsearch數據清理工具的文章就介紹到這了,更多相關Go Elasticsearch數據清理工具內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
今天給大家分享的是Go語言本地緩存的一些內容，主要是結合bigcache和fastcache兩個優(yōu)秀的開源代碼庫，總結一些設計思路和感悟，文章通過代碼示例介紹的非常詳細,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了golang實現單點登錄系統(tǒng)（go-sso）,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-06-06
線性查找又稱順序查找，它是查找算法中最簡單的一種。二分查找，也稱折半查找，相比于線性查找，它是一種效率較高的算法。本文將用Go語言實現這兩個查找算法，需要的可以了解一下2022-12-12
這篇文章主要介紹了Golang import本地包和導入問題相關詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-02-02
swagger是一套基于OpenAPI規(guī)范構建的開源工具，使用RestApi。swagger-ui呈現出來的是一份可交互式的API文檔，可以直接在文檔頁面嘗試API的調用2023-01-01
Go 1.22 版本對 net/http 包的路由功能進行了增強,引入了方法匹配（method matching）和通配符（wildcards）兩項新功能,本文將給大家詳細的介紹一下Go 1.22對net/http包的路由增強功能,需要的朋友可以參考下2024-02-02
本文主要介紹了深入解析Go語言中crypto/subtle加密庫,詳細介紹crypto/subtle加密庫主要函數的用途、工作原理及實際應用,具有一定的參考價值,感興趣的可以了解一下2024-02-02
對于go1.16的新變化,大家印象最深的可能是io包的大規(guī)模重構,但這個重構實際上還引進了一個優(yōu)化,這篇文章要說的就是這個優(yōu)化,所以本將給大家介紹golang是如何優(yōu)化目錄遍歷的,需要的朋友可以參考下2024-08-08
這篇文章主要介紹了Golang將日志以Json格式輸出到Kafka的方法，這篇文章還會提供一種輸出Json格式日志的方法,本文結合實例代碼給大家介紹的非常詳細，需要的朋友可以參考下2022-05-05
這篇文章主要介紹了解決golang.org不能訪問的問題,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-11-11