Java實(shí)現(xiàn)Elasticsearch查詢當(dāng)前索引全部數(shù)據(jù)的完整代碼
需求背景
通常情況下，Elasticsearch 為了提高查詢效率，對(duì)于不指定分頁(yè)查詢條數(shù)的查詢語(yǔ)句，默認(rèn)會(huì)返回10條數(shù)據(jù)。那么這就會(huì)有一種情況，當(dāng)你需要一次性返回 Elasticsearch 索引中的全部數(shù)據(jù)時(shí)，就無(wú)法實(shí)現(xiàn)了。這個(gè)時(shí)候你可能會(huì)考慮，比如我將每頁(yè)取值的size 設(shè)置的很大，這樣或許可以解決問(wèn)題，但是數(shù)據(jù)量的上升你是無(wú)法控制的，最終會(huì)有一天數(shù)據(jù)量會(huì)超過(guò)你此時(shí)設(shè)置的最大 size，那么這就是一個(gè)雷點(diǎn)。并且如果一次查詢很大量數(shù)據(jù)的話，即便是 Elasticsearch 查詢效率高的索引結(jié)構(gòu)可能也會(huì)導(dǎo)致查詢時(shí)長(zhǎng)較長(zhǎng)，甚至響應(yīng)超時(shí)。那么是否有一種查詢效率高，且相對(duì)靈活的方式可以查詢 Elasticsearch 的索引中全部數(shù)據(jù)呢？答案是：有的。
通常情況
下面來(lái)看一下在不設(shè)置 size 大小的情況下，執(zhí)行 Elasticsearch 查詢語(yǔ)句默認(rèn)返回幾條數(shù)據(jù)，結(jié)果是默認(rèn)返回 10條。執(zhí)行如下查詢命令
GET crm_meiqia_conversation/_search
返回結(jié)果如圖，這時(shí)我們看到返回了 10 條數(shù)據(jù)
此時(shí)如果你需要查詢更多數(shù)據(jù)的話，你就可以通過(guò)指定 size 大小來(lái)查詢更多數(shù)據(jù)，比如執(zhí)行如下命令
GET crm_meiqia_conversation/_search
{
"size":20
}
執(zhí)行查詢語(yǔ)句后返回的結(jié)果如圖所示，索引查詢會(huì)返回你指定 size 大小的數(shù)據(jù)
很明顯，在一些特殊的場(chǎng)景下，想要一次性查詢指定條件下的所有數(shù)據(jù)改如何操作呢，下面就來(lái)基于 Java 實(shí)現(xiàn)查詢指定條件下的所有數(shù)據(jù)操作。
Java 實(shí)現(xiàn)查詢 Elasticsearch 全部數(shù)據(jù)
在具體講解如何通過(guò) Java 實(shí)現(xiàn)查詢 Elasticsearch 全部數(shù)據(jù)之前，我們可以先來(lái)看一下我已經(jīng)實(shí)現(xiàn)之后的查詢效果。這里你可以看到滾動(dòng)州已經(jīng)變得很小，這就是因?yàn)槲也樵兂隽酥付l件下的全部數(shù)據(jù)導(dǎo)致的，而不是默認(rèn)的 10 條數(shù)據(jù)
而如果沒(méi)有實(shí)現(xiàn)查詢指定索引指定條件下的全部數(shù)據(jù)時(shí)，看到的效果應(yīng)該是這樣的，默認(rèn)只能一次性查詢 10 條數(shù)據(jù)返回
下面再來(lái)講一下如何通過(guò) Java 實(shí)現(xiàn) 查詢 es 全部數(shù)據(jù)，我們由淺入深來(lái)講解，首先來(lái)看一下默認(rèn)查詢 es 10條數(shù)據(jù)的代碼，Java 通過(guò)如下 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query); 構(gòu)造查詢 es 索引代碼，這種情況沒(méi)有設(shè)置 size 大小，默認(rèn)的話就是查詢指定索引下 10條數(shù)據(jù)，完整代碼如下：
public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
BoolQueryBuilder query = QueryBuilders.boolQuery();
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
//會(huì)話id
Long convId = meiqiaConversation.getConvId();
if (convId != null) {
boolQuery.filter(QueryBuilders.termQuery("convId",convId));
}
//會(huì)話日期
String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
if (StringUtils.isNotEmpty(convStartDate)) {
Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
}
if (StringUtil.isNotEmptyString(convEndDate)) {
Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
}
//會(huì)話日期
Date convStartDate2 = meiqiaConversation.getConvStartDate();
Date convEndDate2 = meiqiaConversation.getConvEndDate();
if (Objects.nonNull(convStartDate2)) {
boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
}
if (Objects.nonNull(convEndDate2)) {
boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
}
//學(xué)號(hào)
String uid = (String) meiqiaConversation.getParams().get("uid");
if (StringUtils.isNotEmpty(uid)) {
if (uid.contains("#")) {
String replace = uid.replace("#", "");
boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
}else {
boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
}
}
//客服工號(hào)
String agentId = (String) meiqiaConversation.getParams().get("agentId");
if (StringUtils.isNotEmpty(agentId)) {
boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
}
// 會(huì)話內(nèi)容
String content = (String) meiqiaConversation.getParams().get("content");
if (StringUtils.isNotEmpty(content)) {
boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
}
query.must(boolQuery);
// 初始化搜索請(qǐng)求構(gòu)建器，用于構(gòu)造搜索請(qǐng)求
SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
// 設(shè)置搜索的類型
.setTypes(indexProperties.getMeiqiaConversationType())
// 設(shè)置查詢條件
.setQuery(query);
// 使用SearchRequest獲取搜索響應(yīng)
SearchResponse searchResponse = searchRequest.get();
// 初始化存儲(chǔ)所有搜索結(jié)果的列表
List<EsMeiqiaConversation> rows = new ArrayList<>();
// 格式化搜索響應(yīng)中的數(shù)據(jù)，并添加到rows列表中
List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
rows.addAll(list1);
//記錄返回的uid name
List<MeiqiaConversation> list = new ArrayList<>();
if (CollectionUtils.isNotEmpty(rows)) {
//獲取 uid name
Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
Set<String> uids = collect.keySet();
for (String u : uids) {
MeiqiaConversation conv = new MeiqiaConversation();
conv.setUid(u);
//同一個(gè)uid 對(duì)應(yīng)同一個(gè) name
List<EsMeiqiaConversation> esconv = collect.get(u);
String name = esconv.get(0).getClientName();
conv.setName(name);
list.add(conv);
}
}
return AjaxResult.success(list);
}
那么如何實(shí)現(xiàn) 一次查詢滿足條件的全部 es 數(shù)據(jù)呢，這就需要通過(guò) scroll 實(shí)現(xiàn)，在初始化索引查詢構(gòu)造器時(shí)通過(guò) SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query).setSize(100).setScroll(TimeValue.timeValueMinutes(1)); 設(shè)置 scroll 參數(shù)來(lái)實(shí)現(xiàn)，同時(shí)需要再后續(xù)增加再次查詢索引邏輯，將 scorllId 循環(huán)傳遞 獲取全部數(shù)據(jù)，最終改造后的獲取全部數(shù)據(jù)的代碼如下
public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
BoolQueryBuilder query = QueryBuilders.boolQuery();
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
//會(huì)話id
Long convId = meiqiaConversation.getConvId();
if (convId != null) {
boolQuery.filter(QueryBuilders.termQuery("convId",convId));
}
//會(huì)話日期
String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
if (StringUtils.isNotEmpty(convStartDate)) {
Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
}
if (StringUtil.isNotEmptyString(convEndDate)) {
Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
}
//會(huì)話日期
Date convStartDate2 = meiqiaConversation.getConvStartDate();
Date convEndDate2 = meiqiaConversation.getConvEndDate();
if (Objects.nonNull(convStartDate2)) {
boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
}
if (Objects.nonNull(convEndDate2)) {
boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
}
//學(xué)號(hào)
String uid = (String) meiqiaConversation.getParams().get("uid");
if (StringUtils.isNotEmpty(uid)) {
if (uid.contains("#")) {
String replace = uid.replace("#", "");
boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
}else {
boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
}
}
//客服工號(hào)
String agentId = (String) meiqiaConversation.getParams().get("agentId");
if (StringUtils.isNotEmpty(agentId)) {
boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
}
// 會(huì)話內(nèi)容
String content = (String) meiqiaConversation.getParams().get("content");
if (StringUtils.isNotEmpty(content)) {
boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
}
query.must(boolQuery);
// 初始化搜索請(qǐng)求構(gòu)建器，用于構(gòu)造搜索請(qǐng)求
SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
// 設(shè)置搜索的類型
.setTypes(indexProperties.getMeiqiaConversationType())
// 設(shè)置查詢條件
.setQuery(query)
// 設(shè)置返回結(jié)果的數(shù)量為100
.setSize(100)
// 設(shè)置滾動(dòng)查詢的時(shí)間間隔為1分鐘
.setScroll(TimeValue.timeValueMinutes(1));
// 使用SearchRequest獲取搜索響應(yīng)
SearchResponse searchResponse = searchRequest.get();
// 初始化存儲(chǔ)所有搜索結(jié)果的列表
List<EsMeiqiaConversation> rows = new ArrayList<>();
// 格式化搜索響應(yīng)中的數(shù)據(jù)，并添加到rows列表中
List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
rows.addAll(list1);
// 使用Scroll方式遍歷所有搜索結(jié)果
do {
// 準(zhǔn)備下一次Scroll搜索，設(shè)置滾動(dòng)時(shí)間為1分鐘
// 將scorllId循環(huán)傳遞 獲取全部數(shù)據(jù)
searchResponse = client.prepareSearchScroll(searchResponse.getScrollId()).setScroll(TimeValue.timeValueMinutes(1)).execute().actionGet();
// 格式化新一批搜索結(jié)果，并添加到rows列表中
List<EsMeiqiaConversation> list = formatMeiqiaDto(searchResponse);
if (CollectionUtils.isNotEmpty(list)) {
rows.addAll(list);
}
// 當(dāng)搜索結(jié)果為空時(shí)，結(jié)束循環(huán)
// 當(dāng)searchHits的數(shù)組為空的時(shí)候結(jié)束循環(huán)，至此數(shù)據(jù)全部讀取完畢
} while (searchResponse.getHits().getHits().length != 0);
// 創(chuàng)建一個(gè)ClearScrollRequest實(shí)例，用于清除滾動(dòng)查詢的會(huì)話。
ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
// 將上一次查詢返回的滾動(dòng)ID添加到請(qǐng)求中，以便清除這個(gè)特定的會(huì)話。
// 這是必要的，因?yàn)镃learScrollRequest需要至少一個(gè)滾動(dòng)ID才能執(zhí)行清除操作。
clearScrollRequest.addScrollId(searchResponse.getScrollId());
// 發(fā)送ClearScroll請(qǐng)求并獲取操作的結(jié)果。
// 這一步是必需的，因?yàn)樗鼘?shí)際執(zhí)行了清除滾動(dòng)會(huì)話的操作，并允許我們處理結(jié)果或任何異常。
client.clearScroll(clearScrollRequest).actionGet();
//記錄返回的uid name
List<MeiqiaConversation> list = new ArrayList<>();
if (CollectionUtils.isNotEmpty(rows)) {
//獲取 uid name
Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
Set<String> uids = collect.keySet();
for (String u : uids) {
MeiqiaConversation conv = new MeiqiaConversation();
conv.setUid(u);
//同一個(gè)uid 對(duì)應(yīng)同一個(gè) name
List<EsMeiqiaConversation> esconv = collect.get(u);
String name = esconv.get(0).getClientName();
conv.setName(name);
list.add(conv);
}
}
return AjaxResult.success(list);
}
那么這段的核心代碼是增加了滾動(dòng)查詢數(shù)據(jù)的操作，如圖所示
同時(shí)再執(zhí)行循環(huán)查詢時(shí)將 scrollId 循環(huán)傳遞，并將查詢結(jié)果 addAll 到當(dāng)前l(fā)ist 的集合中
查詢結(jié)束之后，最后是清除滾動(dòng)會(huì)話的操作
到這里關(guān)于 Java 實(shí)現(xiàn) es 查詢指定條件下的全部數(shù)據(jù)操作就結(jié)束了，整個(gè)操作過(guò)程比較容易理解，增加了 es 滾動(dòng)查詢 scroll 操作來(lái)實(shí)現(xiàn)查詢 es 全部數(shù)據(jù)。
寫在最后
最后想要說(shuō)的是，對(duì)于 es 查詢，通常情況下是不需要一次性查詢出當(dāng)前索引所有條件下的數(shù)據(jù)的，畢竟數(shù)據(jù)量比較大，但是也有特殊的場(chǎng)景，這個(gè)時(shí)候不得不一次性查詢出所有的數(shù)據(jù)，這就需要上文中用到的辦法了，希望對(duì)大家有幫助。
到此這篇關(guān)于Java實(shí)現(xiàn)Elasticsearch查詢當(dāng)前索引全部數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Java Elasticsearch查詢當(dāng)前索引全部數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Java利用FileUtils讀取數(shù)據(jù)和寫入數(shù)據(jù)到文件
這篇文章主要介紹了Java利用FileUtils讀取數(shù)據(jù)和寫入數(shù)據(jù)到文件，下面文章圍繞FileUtils的相關(guān)資料展開(kāi)怎么讀取數(shù)據(jù)和寫入數(shù)據(jù)到文件的內(nèi)容，具有一定的參考價(jià)值，徐婭奧德小伙伴可以參考一下2021-12-12
Spring?Boot如何配置yml配置文件定義集合、數(shù)組和Map
這篇文章主要介紹了Spring?Boot?優(yōu)雅配置yml配置文件定義集合、數(shù)組和Map,包括Spring?Boot?yml配置文件定義基本數(shù)據(jù)類型和引用數(shù)據(jù)類型的方式，需要的朋友可以參考下2023-10-10
Java中的自動(dòng)拆裝箱、基本類型的轉(zhuǎn)換、包裝類的緩存詳解
文章詳細(xì)介紹了Java中數(shù)據(jù)類型的拆裝箱、自動(dòng)拆箱和裝箱,以及包裝類的緩存機(jī)制,包括基本數(shù)據(jù)類型的容量大小、轉(zhuǎn)換規(guī)則和自動(dòng)類型轉(zhuǎn)換等2024-12-12
java web驗(yàn)證碼實(shí)現(xiàn)代碼分享
這篇文章主要為大家分享了java web驗(yàn)證碼的實(shí)現(xiàn)代碼，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2016-06-06
在策略模式（Strategy Pattern）中，一個(gè)類的行為或其算法可以在運(yùn)行時(shí)更改。這種類型的設(shè)計(jì)模式屬于行為型模式。在策略模式中，我們創(chuàng)建表示各種策略的對(duì)象和一個(gè)行為隨著策略對(duì)象改變而改變的 context 對(duì)象。策略對(duì)象改變 context 對(duì)象的執(zhí)行算法2021-10-10
這篇文章主要為大家介紹了java中的Reference和引用類型示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-09-09
Java 實(shí)現(xiàn)簡(jiǎn)單Socket 通信的示例
這篇文章主要介紹了Java 實(shí)現(xiàn)簡(jiǎn)單Socket 通信的示例，幫助大家更好的理解和學(xué)習(xí)使用Java，感興趣的朋友可以了解下2021-03-03
Spring Boot中定時(shí)任務(wù)Cron表達(dá)式的終極指南最佳實(shí)踐記錄
本文詳細(xì)介紹了SpringBoot中定時(shí)任務(wù)的實(shí)現(xiàn)方法,特別是Cron表達(dá)式的使用技巧和高級(jí)用法,從基礎(chǔ)語(yǔ)法到復(fù)雜場(chǎng)景,從快速啟用到調(diào)試驗(yàn)證,再到常見(jiàn)問(wèn)題的解決,涵蓋了定時(shí)任務(wù)開(kāi)發(fā)的全過(guò)程,感興趣的朋友一起看看吧2025-03-03
詳解mybatis-plus的 mapper.xml 路徑配置的坑
這篇文章主要介紹了詳解mybatis-plus的 mapper.xml 路徑配置的坑，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
JAVA加密算法- 非對(duì)稱加密算法（DH，RSA）的詳細(xì)介紹
這篇文章主要介紹了JAVA加密算法- 非對(duì)稱加密算法（DH，RSA），詳細(xì)介紹了DH，RSA的用法和示例，需要的朋友可以了解一下。2016-11-11