快捷導(dǎo)航

Java中驗(yàn)證 Mybatis 數(shù)據(jù)分片可以減輕GC壓力的操作方法

更新時(shí)間：2024年12月05日 11:34:18 作者：Ch.yang

這篇文章主要介紹了Java中驗(yàn)證 Mybatis 數(shù)據(jù)分片可以減輕GC壓力的操作方法,本文使用 Spock（可集成Spring Boot項(xiàng)目）編寫(xiě)測(cè)試用例,基于 Groovy (JVM語(yǔ)言),感興趣的朋友跟隨小編一起看看吧

前言

本文使用 Spock（可集成Spring Boot項(xiàng)目）編寫(xiě)測(cè)試用例，基于 Groovy (JVM語(yǔ)言)
用例的目標(biāo)為 Mybatis 的查詢api
用例數(shù)據(jù)量10W 行
用例倉(cāng)庫(kù)地址

1. 配置用例堆內(nèi)存大小

-Xmx100m，配置堆內(nèi)存大小，讓溢出情況更快出現(xiàn)

2. 單次全量查造成 GC overhead limit exceeded

“GC overhead limit exceeded”是Java虛擬機(jī)（JVM）在運(yùn)行時(shí)拋出的一個(gè)錯(cuò)誤消息，它指示JVM花費(fèi)了太多時(shí)間進(jìn)行垃圾回收（GC），但回收的堆內(nèi)存卻很少
以下用例的意思是，期待拋出異常，并打印異常信息。

3. 分片查詢減輕GC壓力

使用 Guava 的工具分片查詢同一批數(shù)據(jù)，異常消失。

4. Spock 語(yǔ)法積累

4.1 測(cè)試用例的鉤子函數(shù)

Spock 相關(guān)的鉤子函數(shù)造數(shù)
setup 方法——用例執(zhí)行前調(diào)用cleanup 方法——用例執(zhí)行后調(diào)用

@SpringBootTest(classes = KetchupApplication.class)
class GcSpec extends Specification {
    @Resource
    FileOutputRecordMapper mapper
	/**
     * 十萬(wàn)條數(shù)據(jù)庫(kù)查詢
     */
    Long startId = 1;
    Long endId = 100000;	
    /**
     * 生成十萬(wàn)條數(shù)據(jù)，測(cè)試用例執(zhí)行完后刪除
     */
    def setup() {
        def allIds = (startId..endId).toList()
        Lists.partition(allIds, 1000).forEach { subIds ->
            def sub = subIds.collect(it -> createPO(it))
            mapper.batchInsertWithId(sub);
        }
    }
    def cleanup() {
        mapper.deleteByIdRang(startId, endId)
    }
}

4.2 given when then expect 的用法

以下是已知的三種用例寫(xiě)法

    def "分片查詢" () {
    	given:
        when:
        then:
    }

    def "分片查詢" () {
        when:
        then:
    }

    def "分片查詢" () {
    	given:
        expect:
    }

5. Groovy 語(yǔ)法積累

5.1 Rang 數(shù)據(jù)結(jié)構(gòu) rang 聲明

def rang = (startId .. endId)

普通的 list 聲明 ()

def list = [1,2,3]

rang 轉(zhuǎn) list

// 生成一個(gè)list，內(nèi)部的元素是從1 到 100000的數(shù)值類型
def allIds = (1 .. 100000).toList()

5.2 List.collect

// 以下的 collect 寫(xiě)法比Java簡(jiǎn)潔很多
def sub = subIds.collect(it -> createPO(it))
// 等價(jià)于 Java 的寫(xiě)法
List<FileOutputRecordPO> poList = subIds.stream().map(it -> createPO(it)).collect(Collectors.toList())

6. Guava 工具類積累

Lists.partition(allIds, 1000).forEach...

本文的集合分片工具來(lái)自：

        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>30.1-jre</version>
        </dependency>

后記

大數(shù)據(jù)量的查詢時(shí)，避免用一個(gè)大List<>裝大量數(shù)據(jù)，必要時(shí)將數(shù)據(jù)分片，減輕GC壓力。
大數(shù)據(jù)的不同任務(wù)，盡量串行化執(zhí)行，避免出現(xiàn)GC毛刺。

到此這篇關(guān)于Java中驗(yàn)證 Mybatis 數(shù)據(jù)分片可以減輕GC壓力的文章就介紹到這了,更多相關(guān) Mybatis 數(shù)據(jù)分片減輕GC壓力內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: