快捷導(dǎo)航

MyBatis批量插入大量數(shù)據(jù)(1w以上)

更新時間：2022年01月05日 15:32:05 作者：xlecho

MyBatis進行批量插入數(shù)時，一次性插入超過一千條的時候MyBatis開始報錯，本文主要介紹了MyBatis批量插入大量數(shù)據(jù)的解決方法，感興趣的可以了解一下

問題背景:只用MyBatis中foreach進行批量插入數(shù)據(jù)，一次性插入超過一千條的時候MyBatis開始報錯。項目使用技術(shù)：SpringBoot、MyBatis

批量插入碰到的問題：

java.lang.StackOverflowError: null

該問題是由于一次性插入數(shù)據(jù)1w條引起的，具體插入代碼如下：

userDao.batchInsert(list);

<insert id="batchInsert" parameterType="java.util.List">
? ? INSERT INTO USER
? ? <trim prefix="(" suffix=")" suffixOverrides=",">
? ? ? ? ID, AGE, NAME, EMAIL
? ? </trim>
? ? SELECT A.*
? ? FROM
? ? (<foreach collection="list" index="index" item="item" separator="UNION ALL">
? ? SELECT
? ? sys_guid(), #{user.age}, #{user.name}, #{user.email}
? ? FROM dual
</foreach>) A
</insert>

以上的插入代碼其實也是一種批量插入的方式，但是他的靈界點并不高，插入數(shù)據(jù)過多的時候，可能需要我們使用代碼在一次分批。當(dāng)然如果插入數(shù)據(jù)不超過5000的時候可以直接這么使用

插入1w條數(shù)據(jù)，發(fā)現(xiàn)出現(xiàn)錯誤，原因是數(shù)據(jù)量過大，棧內(nèi)存溢出了。mybatis中直接使用foreach插入數(shù)據(jù)，就相當(dāng)于將所有的sql預(yù)先拼接到一起，然后一起提交。這本身就是一種批量插入的處理方案，但是達不到我們要求。主要是插入有上限。如果需要更多的數(shù)據(jù)導(dǎo)入，我們需要更換一種方式來解決這個問題，mybatis中ExecutorType的使用。

mybatis中ExecutorType的使用

Mybatis內(nèi)置的ExecutorType有3種，SIMPLE、REUSE、BATCH; 默認(rèn)的是simple，該模式下它為每個語句的執(zhí)行創(chuàng)建一個新的預(yù)處理語句，單條提交sql；而batch模式重復(fù)使用已經(jīng)預(yù)處理的語句，并且批量執(zhí)行所有更新語句，顯然batch性能將更優(yōu)；但batch模式也有自己的問題，比如在Insert操作時，在事務(wù)沒有提交之前，是沒有辦法獲取到自增的id，這在某型情形下是不符合業(yè)務(wù)要求的；

插入大量數(shù)據(jù)的解決方案，使用ExecutorType

為了能夠高效，并且解決上述問題，我們使用ExecutorType，并分批插入。代碼如下：

//我們使用的是springboot，sqlSessionTemplate是可以自己注入的
@Autowired
private SqlSessionTemplate sqlSessionTemplate;

public void insertExcelData(List<User> list) {
? ? //如果自動提交設(shè)置為true,將無法控制提交的條數(shù)，改為最后統(tǒng)一提交，可能導(dǎo)致內(nèi)存溢出
? ? SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
? ? //不自動提交
? ? try {
? ? ? ? UserDao userDao = session.getMapper(UserDao.class);
? ? ? ? for (int i = 0; i < list.size(); i++) {
? ? ? ? ? ? userDao.insert(list.get(i));
? ? ? ? ? ? if (i % 400 == 0 || i == list.size() - 1) {
? ? ? ? ? ? ? ? //手動每400條提交一次，提交后無法回滾
? ? ? ? ? ? ? ? session.commit();
? ? ? ? ? ? ? ? //清理緩存，防止溢出
? ? ? ? ? ? ? ? session.clearCache();
? ? ? ? ? ? }
? ? ? ? }
? ? } catch (Exception e) {
? ? ? ? //沒有提交的數(shù)據(jù)可以回滾
? ? ? ? session.rollback();
? ? } finally {
? ? ? ? session.close();
? ? }
}

userDao.insert(User user);

<insert id="insert" parameterType="com.echo.UserPo">
? ? insert into USER
? ? (id
? ? <if test="age != null">
? ? ? ? ,age
? ? </if>
? ? <if test="name != null">
? ? ? ? ,name
? ? </if>
? ? <if test="email != null">
? ? ? ? ,email
? ? </if>
? ? )
? ? values (
? ? sys_guid()
? ? <if test="age != null">
? ? ? ? ,#{age}
? ? </if>
? ? <if test="name != null">
? ? ? ? ,#{name}
? ? </if>
? ? <if test="email != null">
? ? ? ? ,#{email}
? ? </if>)
</insert>

這里采用的是單條插入，直接使用for循環(huán)，但是使用ExecutorType.BACTH就相當(dāng)于手動提交。這也是我們需要的效果，所以我們在循環(huán)里面判斷了，是否到了第400筆，如果到了第400筆就直接提交，然后清空緩存，防止溢出。這樣就有效的實現(xiàn)了批量插入，同時保證溢出問題的不出現(xiàn)

到此這篇關(guān)于MyBatis批量插入大量數(shù)據(jù)(1w以上)的文章就介紹到這了,更多相關(guān)MyBatis批量插入內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: