關(guān)于線程池異步線程中再次獲取線程池資源的問(wèn)題
問(wèn)題描述
在線上發(fā)生的一次問(wèn)題,在場(chǎng)景中有這樣一個(gè)業(yè)務(wù),需要異步執(zhí)行一個(gè)主任務(wù),主任務(wù)中又包含著N個(gè)子任務(wù),為了整個(gè)主任務(wù)能夠快速處理,又將子任務(wù)按照數(shù)量獲取線程資源異步處理,即異步線程A中再異步調(diào)用A1,A2,A3. A可能同時(shí)存在多個(gè).
實(shí)際場(chǎng)景中,由于系統(tǒng)線程池分配數(shù)量較小,且一段時(shí)間內(nèi)先后啟動(dòng)了多個(gè)主任務(wù),耗時(shí)的主任務(wù)中又用子任務(wù)取申請(qǐng)線程導(dǎo)致線程池資源耗盡
問(wèn)題原因
1. 主任務(wù)是從線程池中獲取的線程資源,同時(shí)主任務(wù)比較耗時(shí)?
2. 每個(gè)主任務(wù)中包含的N的子任務(wù),會(huì)再申請(qǐng)線程,處理完畢釋放回線程池
3. 啟動(dòng)了多個(gè)主任務(wù)時(shí),每個(gè)主任務(wù)在未結(jié)束之前,都會(huì)占用自身一個(gè)線程不會(huì)釋放,消耗一個(gè)線程池資源
4. 后期頻繁啟動(dòng)主任務(wù),可能使數(shù)量=線程池線程數(shù),此時(shí)子任務(wù)無(wú)法再?gòu)木€程池獲得資源,就進(jìn)入隊(duì)列等待
5. 最終結(jié)果就造成了每個(gè)主任務(wù)都占用線程,但主任務(wù)內(nèi)的子任務(wù)無(wú)法獲取線程,線程池癱瘓不可用
問(wèn)題復(fù)現(xiàn)
package test; import lombok.extern.slf4j.Slf4j; import org.apache.commons.lang3.RandomUtils; import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor; import java.util.concurrent.CountDownLatch; import java.util.concurrent.ThreadPoolExecutor; import java.util.concurrent.TimeUnit; /** * @title 線程池異步線程中再次獲取線程池資源的問(wèn)題 * @author Xingbz * @description * 記; * * 究其原因在于: * * @createDate 2020-7-17 */ @Slf4j public class TestWork { private static final ThreadPoolTaskExecutor EXECUTOR; static { EXECUTOR = myExecutor(); } /** 初始化線程池 */ public static ThreadPoolTaskExecutor myExecutor() { ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor(); // 核心線程數(shù) executor.setCorePoolSize(5); // 最大線程數(shù) executor.setMaxPoolSize(20); // 排隊(duì)任務(wù)隊(duì)列 executor.setQueueCapacity(100); // 線程名稱(chēng)前綴 executor.setThreadNamePrefix("異步線程-"); // 隊(duì)列滿后拒絕策略 executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy()); // 線程最大回收時(shí)間 executor.setKeepAliveSeconds(100); // 初始化線程 executor.initialize(); return executor; } /** 模擬測(cè)試 */ public static void main(String[] args) throws Exception { // 主任務(wù)數(shù)量 int mainJobNum = 20; CountDownLatch mainDownLatch = new CountDownLatch(mainJobNum); for (int i = 0; i < mainJobNum; i++) { // 主任務(wù)編號(hào), 方便區(qū)分 int index = i + 1; // 模擬每1秒開(kāi)始一個(gè)主任務(wù) TimeUnit.SECONDS.sleep(1); EXECUTOR.submit(() -> { try { log.debug("\t執(zhí)行主任務(wù)" + index); // 每個(gè)主任務(wù)隨機(jī)包含N個(gè)子任務(wù), 再異步調(diào)用線程池資源處理 int subJobNum = RandomUtils.nextInt(2, 3); subJobWorkAsync(subJobNum, index); } finally { mainDownLatch.countDown(); } }); } mainDownLatch.await(); EXECUTOR.shutdown(); log.info("完成所有任務(wù) > > >"); } /** 異步執(zhí)行子任務(wù) */ private static void subJobWorkAsync(int subJobNum, int index) { CountDownLatch subDownLatch = new CountDownLatch(subJobNum); for (int j = 0; j < subJobNum; j++) { EXECUTOR.submit(() -> { try { log.warn("\t\t\t執(zhí)行一個(gè)" + index + "的子任務(wù)"); // 每個(gè)子任務(wù)模擬耗時(shí) TimeUnit.SECONDS.sleep(3); } catch (InterruptedException e) { e.printStackTrace(); } finally { subDownLatch.countDown(); } }); } try { subDownLatch.await(); } catch (InterruptedException e) { e.printStackTrace(); } } }
執(zhí)行代碼,結(jié)果如下:
可以看到,線程池很快就被主任務(wù)耗盡, 導(dǎo)致子任務(wù)無(wú)法執(zhí)行.
解決方案
1. 異步線程中不能再獲取異步線程
既然主方法是異步執(zhí)行了,那么其中的子任務(wù)也相對(duì)不那么要求時(shí)間.此處是我為了業(yè)務(wù)給另外一個(gè)業(yè)務(wù)復(fù)用導(dǎo)致了線程再調(diào)線程
2. 如果異步中確實(shí)需要再獲取異步線程,需要使用新的線程池. 不能再使用自身的線程池
這是當(dāng)前我們的解決方案,在系統(tǒng)中又單獨(dú)構(gòu)建了一個(gè)線程池負(fù)責(zé)子任務(wù)的業(yè)務(wù)
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Java實(shí)現(xiàn)簡(jiǎn)單計(jì)算器小程序
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)簡(jiǎn)單計(jì)算器小程序,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-07-07Java.SE數(shù)組的一些常見(jiàn)練習(xí)題
數(shù)組可以看成是相同類(lèi)型元素的一個(gè)集合,在內(nèi)存中是一段連續(xù)的空間,這篇文章主要給大家介紹了關(guān)于Java.SE數(shù)組的一些常見(jiàn)練習(xí)題,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-02-02Java并發(fā)編程中的ReentrantLock類(lèi)詳解
這篇文章主要介紹了Java并發(fā)編程中的ReentrantLock類(lèi)詳解,ReentrantLock是juc.locks包中的一個(gè)獨(dú)占式可重入鎖,相比synchronized,它可以創(chuàng)建多個(gè)條件等待隊(duì)列,還支持公平/非公平鎖、可中斷、超時(shí)、輪詢(xún)等特性,需要的朋友可以參考下2023-12-12Java反射之通過(guò)反射獲取一個(gè)對(duì)象的方法信息(實(shí)例代碼)
下面小編就為大家?guī)?lái)一篇Java反射之通過(guò)反射獲取一個(gè)對(duì)象的方法信息(實(shí)例代碼)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-10-10Spring整合mybatis、springMVC總結(jié)
這篇文章主要為大家詳細(xì)介紹了Java整合Mybatis,SpringMVC,文中有詳細(xì)的代碼示例,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2023-05-05SpringBoot整合微信登錄功能的實(shí)現(xiàn)方案
今天通過(guò)本文給大家分享微信登錄與SpringBoot整合過(guò)程,微信掃描登錄實(shí)現(xiàn)代碼知道掃描后點(diǎn)擊登錄的全部過(guò)程,本文給大家介紹的非常詳細(xì),需要的朋友可以參考下2021-10-10java實(shí)現(xiàn)將ftp和http的文件直接傳送到hdfs
前面幾篇文章,我們已經(jīng)做了很好的鋪墊了,幾個(gè)要用到的工具我們都做了出來(lái),本文就是將他們集合起來(lái),說(shuō)下具體的用法,小伙伴們可以參考下。2015-03-03