詳解java如何處理各種批量數(shù)據(jù)入庫

更新時間：2023年11月16日 15:58:48 作者：胡蘿卜★

這篇文章主要為大家詳細介紹了java如何使用BlockingQueue處理各種批量數(shù)據(jù)入庫,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下

這里我推薦大家使用BlockingQueue，該隊列為阻塞隊列

將數(shù)據(jù)先寫入隊列中，然后開啟多個消費線程慢慢消費入庫。從隊列中消費數(shù)據(jù)有兩種方式：

單條消費
批量消費

一、案例：人臉識別設(shè)備—開門記錄（批量消費）

1.創(chuàng)建隊列

@Component
public class RequestQueue<T> {
   
	/**
	* 獲取開門記錄隊列
	*/
    BlockingQueue<JSONObject> blockingQueue = new ArrayBlockingQueue<>(1000000,true);
    
     
    /**
     * 獲取請求隊列數(shù)據(jù)
     */
    public BlockingQueue<JSONObject> getBlockingQueue(){
        return blockingQueue;
    }
   
    
    
    /**
     * 保存數(shù)據(jù)進入隊列
     */
    public void putJsonDataQueue(JSONObject jsonObject){
        try {
            getBlockingQueue().put(jsonObject);

        }catch (Exception e){
            e.printStackTrace();
        }

    }
    
}

2.創(chuàng)建消費隊列任務(wù)

@Component
public class DoorOpeningRecordTask extends Thread{
    @Autowired
    private RequestQueue requestQueue;

    @Autowired
    private DoorOpeningRecordService doorOpeningRecordService;

    @Override
    public void run(){
        while(true){
            try {
                //取出信息列表
                List<JSONObject> list = new ArrayList<>();
                //參數(shù)列表： 獲取隊列  數(shù)據(jù)  批量處理一百條  500毫秒
                Queues.drain(requestQueue.getBlockingQueue(), list, 100, 500, TimeUnit.MILLISECONDS);
                //對數(shù)據(jù)進行保存
                doorOpeningRecordService.save(list);

            }catch (Exception e){
                e.printStackTrace();
            }

        }

    }


}

3.監(jiān)聽隊列信息

@Component
public class QueueListener {
    
    @Autowired
    private DoorOpeningRecordTask doorOpeningRecordTask;

    /**
     * 初始化時啟動監(jiān)聽請求隊列
     */
    @PostConstruct
    public void init() {
        doorOpeningRecordTask.start();
    }

    /**
     * 銷毀容器時停止監(jiān)聽任務(wù)
     */
    @PreDestroy
    public void destory() {
       
        doorOpeningRecordTask.interrupt();
    }

}

到此這篇關(guān)于詳解java如何處理各種批量數(shù)據(jù)入庫的文章就介紹到這了,更多相關(guān)java處理數(shù)據(jù)入庫內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: