亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Java分批將List數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)的解決過程

 更新時(shí)間:2023年08月24日 08:35:15   作者:Dream_飛翔  
這篇文章主要給大家介紹了關(guān)于Java分批將List數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)的解決過程,文中通過代碼示例介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用java具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

一、項(xiàng)目場(chǎng)景:

在工作中的一個(gè)需求中,需要?jiǎng)?chuàng)建一張新的表,表格的初始數(shù)據(jù)需要從之前的多張表格中聯(lián)查出來并且添加到當(dāng)前表格中。由于在生產(chǎn)環(huán)境中數(shù)據(jù)量級(jí)達(dá)到了百萬(wàn)級(jí)別,因此在插入數(shù)據(jù)到MySQL中時(shí)需要分批次進(jìn)行導(dǎo)入,我寫了三種方法進(jìn)行數(shù)據(jù)的導(dǎo)入,最后采用了第三種方法來進(jìn)行數(shù)據(jù)導(dǎo)入,將實(shí)現(xiàn)過程在此進(jìn)行記錄。

在文章中,我將使用User來作為示例對(duì)象用于演示

二、解決方案:

1. MyBatisPlus原生方法導(dǎo)入

// 獲取到要插入數(shù)據(jù)庫(kù)的集合,數(shù)據(jù)量很大
List<User> list = new ArrayList<>();
// 插入數(shù)據(jù)到MySQL中
userService.saveBatch(list);

2. List分組導(dǎo)入

(1)UserServiceImpl類中導(dǎo)入方法

@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {
	@Autowired
	private UserMapper userMapper;
	@Override
	public void insert() {
    	// 通過一系列操作獲取到要插入的集合,在此使用list代替
    	List<User> list = new ArrayList<>();
    	// 每次插入的數(shù)量
    	int batchSize = 1000;
    	// 計(jì)算需要分多少批插入數(shù)據(jù)庫(kù)
    	int batch = list.size() / batchSize;
    	// 計(jì)算最后一批的大小
    	int lastSize = list.size() % batchSize;
    	// 將篩選出的結(jié)果分批次添加到表中
    	for (int i = batchSize; i <= batch * batchSize; i = i + batchSize) {
        	// 截取本次要添加的數(shù)據(jù)
        	List<User> insertList = list.subList(i - batchSize, i);
        	// 添加本批次數(shù)據(jù)到數(shù)據(jù)庫(kù)中
        	userMapper.batchInsert(insertList);
    	}
    	// 最后一批元素的大小是否為0
    	if (lastSize != 0) {
        	// 如果元素有剩余則將所有元素作為一個(gè)子列表一次性插入
        	List<User> lastList = list.subList(batchSize * batch, list.size());
        	// 添加集合到數(shù)據(jù)庫(kù)中
        	userMapper.batchInsert(lastList);
    	}
	}
}

代碼解析:

先將列表分成每個(gè)1000個(gè)元素一批的子列表,然后使用自定義的 batchInsert() 方法對(duì)子列表進(jìn)行批量插入操作。如果列表大小不是 1000 的倍數(shù),則將剩余元素全部一次性插入。具體實(shí)現(xiàn)細(xì)節(jié)如下:

  • 首先定義每一批次的插入數(shù)量 batchSize ,算出需要分幾批插入變量 batch ,以及最后一批插入數(shù)量(集合中元素總量如果不是1000倍數(shù)時(shí)最后一批的剩余數(shù)量)的大小 lastSize 。
  • 通過 for 循環(huán),將列表分成每個(gè) 1000 個(gè)元素一批的子列表,隨后使用 subList() 方法來獲取當(dāng)前批次要插入的元素
  • 對(duì)于每一批要插入的子列表,使用自定義的 batchInsert() 方法進(jìn)行批量插入操作。
  • 判斷最后一批的大小 lastSize 是否為 0,如果不為 0,則使用 subList() 方法將剩余所有元素作為一個(gè)子列表進(jìn)行一次性插入。

在這里對(duì)最后一批插入元素時(shí),下標(biāo)為什么要使用 batchSize(每一批次的大?。?* batch(批次數(shù)量) 來作為起始變量進(jìn)行解析:

解析: 使用 batchSize * batch 作為集合的起始位置,是因?yàn)?strong>在 for 循環(huán)中已經(jīng)將前 a 個(gè)元素作為起始位置插入到數(shù)據(jù)庫(kù)中了,因此下一個(gè)起始位置應(yīng)該是 batchSize 的倍數(shù),即 batchSize * batch 。這樣可以避免重復(fù)插入已經(jīng)插入過的元素。

(2)UserMapper數(shù)據(jù)持久化接口

將集合作為參數(shù)傳遞到Mapper層中

/**
 * 用戶數(shù)據(jù)持久化接口
 *
 * @author Dream_飛翔
 * @since 2023/5/16
 */
public interface UserMapper extends BaseMapper<User> {
	/**
     * 添加指定集合內(nèi)的數(shù)據(jù)到數(shù)據(jù)庫(kù)中
     *
     * @param insertList 要添加的內(nèi)容
     * @return 受影響的行數(shù)
     */
    Integer batchInsert(@Param("insertList") List<User> insertList);
}

(3)UserMapper.xml映射文件

<?xml version="1.0" encoding="utf-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd" >
<mapper namespace="com.zrkizzy.data.mapper.UserMapper">
	<!-- 批量添加數(shù)據(jù)到數(shù)據(jù)庫(kù)中 -->
	<insert id="batchInsert">
        INSERT INTO tb_user (id, username, password)
        VALUES
        <foreach collection ="userList" item="user" separator =",">
            (#{user.id}, #{user.username}, #{user.password})
        </foreach>
    </insert>
</mapper>

3. 多線程分批次插入

在第二種方法中,使用了分批次處理的數(shù)據(jù)導(dǎo)入方式,但是在數(shù)據(jù)量特別大的情況下,單線程的壓力還是很大,因此使用多線程是比較好的一種方式。

(1)UserServiceImpl類中導(dǎo)入方法

@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {
	@Autowired
	private UserMapper userMapper;
	@Override
	public void insert() {
    	// 通過一系列操作獲取到要插入的集合,在此使用list代替
    	List<User> list = new ArrayList<>();
        // 獲取虛擬機(jī)可用的最大處理器數(shù)量
        int availableProcessors = Runtime.getRuntime().availableProcessors();
        // 獲取要添加的數(shù)據(jù)集合大小
        int total = list.size();
        // 每次插入的數(shù)量
        int batchSize = 1000;
        // 計(jì)算需要分多少批插入數(shù)據(jù)庫(kù)(向上取整)
        int totalBatch = (total + batchSize - 1) / batchSize;
        // 手動(dòng)創(chuàng)建線程池
        ExecutorService executor = new ThreadPoolExecutor(
                // 線程池核心線程數(shù)量
                availableProcessors,
                // 線程池最大數(shù)量
                availableProcessors + 1000,
                // 空閑線程存活時(shí)間
                1000,
                // 時(shí)間單位
                TimeUnit.MILLISECONDS,
                // 線程池所使用的緩沖隊(duì)列
                new ArrayBlockingQueue<>(100),
                // 線程池對(duì)拒絕任務(wù)的處理策略
                new ThreadPoolExecutor.CallerRunsPolicy());
        // 將篩選出的結(jié)果分批次添加到表中
        for (int batchIndex = 0; batchIndex < totalBatch; batchIndex++) {
            // 當(dāng)前插入批次的起始索引
            int startIndex = batchIndex * batchSize;
            // 當(dāng)前插入批次的結(jié)束索引
            int endIndex = Math.min((batchIndex + 1) * batchSize, total);
            // 截取本次要添加的數(shù)據(jù)
            List<LuckyDrawHistory> insertList = list.subList(startIndex, endIndex);
            // 將每個(gè)批次的插入邏輯封裝成一個(gè)Runnable對(duì)象
            Runnable task = () -> {
                // 添加本批次數(shù)據(jù)到數(shù)據(jù)庫(kù)中
                userMapper.batchInsert(insertList);
            };
            // 提交添加任務(wù)
            executor.submit(task);
        }
        // 關(guān)閉線程池釋放資源
        executor.shutdown();
    }
}

總結(jié) 

到此這篇關(guān)于Java分批將List數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)的文章就介紹到這了,更多相關(guān)Java List數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Spring P標(biāo)簽的使用詳解

    Spring P標(biāo)簽的使用詳解

    這篇文章主要介紹了Spring P標(biāo)簽的使用詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-08-08
  • mybatis-plus動(dòng)態(tài)數(shù)據(jù)源讀寫分離方式

    mybatis-plus動(dòng)態(tài)數(shù)據(jù)源讀寫分離方式

    在分布式項(xiàng)目開發(fā)中,動(dòng)態(tài)數(shù)據(jù)源的配置與使用至關(guān)重要,通過創(chuàng)建DynamicDatasourceService,實(shí)現(xiàn)數(shù)據(jù)源的動(dòng)態(tài)添加與調(diào)用,有效管理主從庫(kù)操作,減輕數(shù)據(jù)庫(kù)壓力,此外,通過配置類與@DS注解,實(shí)現(xiàn)了靈活的分庫(kù)查詢功能,為高效處理數(shù)據(jù)提供了強(qiáng)有力的支持
    2024-10-10
  • IDEA如何搭建Struts2項(xiàng)目

    IDEA如何搭建Struts2項(xiàng)目

    這篇文章主要介紹了IDEA如何搭建Struts2項(xiàng)目,文中通過圖文介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2018-02-02
  • SpringBoot超詳細(xì)講解自動(dòng)配置原理

    SpringBoot超詳細(xì)講解自動(dòng)配置原理

    在進(jìn)行項(xiàng)目編寫前,我們還需要知道一個(gè)東西,就是SpringBoot對(duì)我們的SpringMVC還做了哪些配置,包括如何擴(kuò)展,如何定制,只有把這些都搞清楚了,我們?cè)谥笫褂貌艜?huì)更加得心應(yīng)手
    2022-06-06
  • Spring Boot 使用WebAsyncTask異步返回結(jié)果

    Spring Boot 使用WebAsyncTask異步返回結(jié)果

    這篇文章主要介紹了Spring Boot 使用WebAsyncTask異步返回結(jié)果的相關(guān)資料,需要的朋友可以參考下
    2018-02-02
  • Java實(shí)現(xiàn)學(xué)生管理系統(tǒng)(控制臺(tái)版本)

    Java實(shí)現(xiàn)學(xué)生管理系統(tǒng)(控制臺(tái)版本)

    這篇文章主要為大家詳細(xì)介紹了如何利用Java語(yǔ)言實(shí)現(xiàn)控制臺(tái)版本的學(xué)生管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2022-06-06
  • Java 守護(hù)線程_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理

    Java 守護(hù)線程_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理

    Java語(yǔ)言機(jī)制是構(gòu)建在JVM的基礎(chǔ)之上的,意思是Java平臺(tái)把操作系統(tǒng)的底層給屏蔽起來,所以它可以在它自己的虛擬的平臺(tái)里面構(gòu)造出對(duì)自己有利的機(jī)制,而語(yǔ)言或者說平臺(tái)的設(shè)計(jì)者多多少少是收到Unix思想的影響,而守護(hù)線程機(jī)制又是對(duì)JVM這樣的平臺(tái)湊合,于是守護(hù)線程應(yīng)運(yùn)而生
    2017-05-05
  • IDEA新建JAVA項(xiàng)目簡(jiǎn)單圖文教程

    IDEA新建JAVA項(xiàng)目簡(jiǎn)單圖文教程

    這篇文章主要給大家介紹了關(guān)于IDEA新建JAVA項(xiàng)目的相關(guān)資料,IDEA是現(xiàn)在java中最為常用的編譯器,所以如何使用IDEA來創(chuàng)建java項(xiàng)目呢,這里給大家總結(jié)下,需要的朋友可以參考下
    2023-08-08
  • IDEA 使用 SpotBugs 找出你代碼中的bug問題

    IDEA 使用 SpotBugs 找出你代碼中的bug問題

    這篇文章主要介紹了IDEA 使用 SpotBugs 找出你代碼中的bug問題,重點(diǎn)給大家介紹SpotBugs 在 idea 中的安裝和使用,感興趣的朋友跟隨小編一起看看吧
    2021-07-07
  • 詳解springboot+aop+Lua分布式限流的最佳實(shí)踐

    詳解springboot+aop+Lua分布式限流的最佳實(shí)踐

    這篇文章主要介紹了詳解springboot+aop+Lua分布式限流的最佳實(shí)踐,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-06-06

最新評(píng)論