解決mybatis-plus 查詢耗時(shí)慢的問題

更新時(shí)間：2021年07月03日 14:42:41 作者：cuixinzhou

這篇文章主要介紹了解決mybatis-plus 查詢耗時(shí)慢的問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

mybatis-plus 查詢耗時(shí)慢

1、現(xiàn)象

查出30000多條id

然后用

EntityWrapper ew = new EntityWrapper<>();
 ew.in(TableFieldConstant.F_AUTH_RESULT_ID, ids);

查詢會很慢

2、原因

跟了一下mybatis-plus源碼

 protected String formatSqlIfNeed(boolean need, String sqlStr, Object... params) {
        if (need && !StringUtils.isEmpty(sqlStr)) {
            if (ArrayUtils.isNotEmpty(params)) {
                for(int i = 0; i < params.length; ++i) {
                    String genParamName = "MPGENVAL" + this.paramNameSeq.incrementAndGet();
                    sqlStr = sqlStr.replace(String.format("{%s}", i), String.format("#{%s.paramNameValuePairs.%s}", this.getParamAlias(), genParamName));
                    this.paramNameValuePairs.put(genParamName, params[i]);
                }
            }
 
            return sqlStr;
        } else {
            return null;
        }
    }

問題出現(xiàn)在

sqlStr = sqlStr.replace(String.format("{%s}", i), String.format("#{%s.paramNameValuePairs.%s}", this.getParamAlias(), genParamName));

對replace 測試發(fā)現(xiàn)當(dāng)數(shù)據(jù)量大時(shí)替換會很耗時(shí) 測試的遍歷了30000次拼接從1到30000 替換耗時(shí)20多秒

對 apache-commons-lang 的StringUtis.replace測試是耗時(shí)7秒多

3、總結(jié)

把使用mybaits 批量查詢改為手寫sql查詢之后問題解決

使用mybatis-plus批量操作時(shí)要謹(jǐn)慎能寫sql盡量寫sql

這個(gè)跟mybatis-plus 的小伙伴提了問題后已經(jīng)解決可以升級jar版本 3.x

mybatis-plus 處理大數(shù)據(jù)量太慢

大批量數(shù)據(jù)插入方法是Mybatis的foreach拼接SQL

我發(fā)現(xiàn)不管改成Mybatis Batch提交或者原生JDBC Batch的方法都不起作用，實(shí)際上在插入的時(shí)候仍然是一條條記錄的插，速度遠(yuǎn)不如原來Mybatis的foreach拼接SQL的方法。

// 第一步判斷更新或添加
 String[] splitUserId = userGroup.getUserId().split(",");
 String[] spiltUserName = userGroup.getUserName().split(",");
 if (StringUtils.isBlank(userGroup.getId())) {
  userGroup.setNum(spiltUserName.length);
  userGroupMapper.insert(userGroup);
 } else {
  userGroup.setNum(spiltUserName.length);
  userGroupMapper.updateById(userGroup);
 }
 /* 第二部刪除中間表信息，字段冗余 */

 Map<String, Object> columnMap = new HashMap<String, Object>();
 columnMap.put("USER_GROUP_ID", userGroup.getId());
 groupUsersService.removeByMap(columnMap);

 /* 第三步，批量保存中間表 */

 if (splitUserId.length != 0) {
  List<GroupUsers> groupUsersList = Lists.newArrayList();
  for (int i = 0; i < splitUserId.length; i++) {
   GroupUsers gu = new GroupUsers();
   gu.setUserId(splitUserId[i]);
   gu.setUserName(spiltUserName[i]);
   gu.setUserGroupId(userGroup.getId());
   groupUsersList.add(gu);
  }
  groupUsersService.saveBatch(groupUsersList);
 }

1、就是這樣的一種情景也很符合大部分的開發(fā)場景，可就是1000條數(shù)據(jù)的情況下用了8秒，這可能與計(jì)算機(jī)的性能有很大的關(guān)系，但就是如此也不至于用八秒鐘，那么用戶體驗(yàn)會很慘的。

2、JDBC連接URL字符串中需要新增一個(gè)參數(shù)：

rewriteBatchedStatements=true url: jdbc:mysql://192.168.1.143:3306/rt_xxxxxx_test?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true

3、MySQL的JDBC連接的url中要加rewriteBatchedStatements參數(shù)，并保證5.1.13以上版本的驅(qū)動，才能實(shí)現(xiàn)高性能的批量插入。

4、MySQL JDBC驅(qū)動在默認(rèn)情況下會無視executeBatch()語句，把我們期望批量執(zhí)行的一組sql語句拆散，一條一條地發(fā)給MySQL數(shù)據(jù)庫，批量插入實(shí)際上是單條插入，直接造成較低的性能。

只有把rewriteBatchedStatements參數(shù)置為true, 驅(qū)動才會幫你批量執(zhí)行SQL

另外這個(gè)選項(xiàng)對INSERT/UPDATE/DELETE都有效

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: