SpringBoot3和ShardingSphere5框架實(shí)現(xiàn)數(shù)據(jù)分庫分表
一、簡介
分庫分表的設(shè)計(jì)和實(shí)現(xiàn)方式,在之前的內(nèi)容中總結(jié)過很多,本文基于 SpringBoot3
和 ShardingSphere5
框架實(shí)現(xiàn)數(shù)據(jù)分庫分表的能力;
不得不提 ShardingSphere5
文檔中描述的兩個基本概念:
垂直分片
按照業(yè)務(wù)拆分的方式稱為垂直分片,又稱為縱向拆分,它的核心理念是專庫專用。在拆分之前,一個數(shù)據(jù)庫由多個數(shù)據(jù)表構(gòu)成,每個表對應(yīng)著不同的業(yè)務(wù)。而拆分之后,則是按照業(yè)務(wù)將表進(jìn)行歸類,分布到不同的數(shù)據(jù)庫中,從而將壓力分散至不同的數(shù)據(jù)庫。
水平分片
水平分片又稱為橫向拆分。 相對于垂直分片,它不再將數(shù)據(jù)根據(jù)業(yè)務(wù)邏輯分類,而是通過某個字段(或某幾個字段),根據(jù)某種規(guī)則將數(shù)據(jù)分散至多個庫或表中,每個分片僅包含數(shù)據(jù)的一部分。
下面從案例實(shí)踐中,看看 ShardingSphere5
框架是如何實(shí)現(xiàn)分庫分表的原理;
二、工程搭建
1、工程結(jié)構(gòu)
2、依賴管理
這里只看兩個核心組件的依賴: shardingsphere-jdbc
組件是 5.2.1
版本, mybatis
組件是 3.5.13
版本,在依賴管理中還涉及MySQL和分頁等,并且需要添加很多排除配置,具體見源碼;
<!-- Mybatis組件 --> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>${mybatis.version}</version> </dependency> <!-- ShardingSphere分庫分表 --> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId> <version>${shardingsphere.version}</version> </dependency>
三、配置詳解
1、配置文件
此處只展示分庫分表的相關(guān)配值,默認(rèn)數(shù)據(jù)源使用 db_master
庫,注意 tb_order
庫表路由的策略和分片算法的關(guān)聯(lián)關(guān)系,其他工程配置詳見源碼倉庫;
spring: # 分庫分表配置 shardingsphere: datasource: # 默認(rèn)數(shù)據(jù)源 sharding: default-data-source-name: db_master names: db_master,db_0,db_1 db_master: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/shard_db username: root password: 123456 db_0: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/shard_db_0 username: root password: 123456 db_1: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/shard_db_1 username: root password: 123456 rules: sharding: tables: # tb_order邏輯 tb_order: actual-data-nodes: db_${0..1}.tb_order_${0..2} # tb_order庫路由 database-strategy: standard: sharding-column: order_id sharding-algorithm-name: database_inline # tb_order表路由 table-strategy: standard: sharding-column: order_id sharding-algorithm-name: table_inline sharding-algorithms: # tb_order庫路由算法 database_inline: type: INLINE props: algorithm-expression: db_${order_id % 2} # tb_order表路由算法 table_inline: type: INLINE props: algorithm-expression: tb_order_${order_id % 3} props: sql-show: true sql-comment-parse-enabled: true
2、配置原理
在配置中需要管理三個數(shù)據(jù)源, shard_db
默認(rèn)庫,在操作不涉及需要路由的表時默認(rèn)使用該數(shù)據(jù)源, shard_db_0
和 shard_db_1
是 tb_order
邏輯表的路由庫;
邏輯表 tb_order
整體使用兩個數(shù)據(jù)庫,每個庫建3張結(jié)構(gòu)相同相同的表,在操作 tb_order
數(shù)據(jù)時,會根據(jù) order_id
字段值定位數(shù)據(jù)所屬的分片節(jié)點(diǎn);
庫路由 db_${0..1}
采用 db_${order_id%2}
的算法; 表路由 tb_order_${0..2}
采用 tb_order_${order_id%3}
的算法;
四、測試案例
1、主庫操作
基于Mybatis持久層框架,實(shí)現(xiàn)對 shard_db
默認(rèn)庫的數(shù)據(jù)操作,注意控制臺的日志打印,可以看到一系列解析邏輯以及庫表節(jié)點(diǎn)的定位,分頁查詢使用PageHelper組件即可;
public class MasterTest { @Autowired private BuyerMapper buyerMapper ; @Autowired private SellerMapper sellerMapper ; @Test public void testBuyerQuery (){ // 主鍵查詢 Buyer buyer = buyerMapper.selectByPrimaryKey(1) ; System.out.println(buyer.getId()+";"+buyer.getBuyerName()); } @Test public void testBuyerInsert (){ // 新增數(shù)據(jù) Buyer buyer = new Buyer() ; buyer.setBuyerName("買家Three"); System.out.println(buyerMapper.insert(buyer)); } @Test public void testBuyerUpdate (){ // 更新數(shù)據(jù) Buyer buyer = buyerMapper.selectByPrimaryKey(3) ; if (buyer != null){ buyer.setBuyerName("Three買家"); System.out.println(buyerMapper.updateByPrimaryKey(buyer)); } } @Test public void testSellerPage (){ // 1、設(shè)置分頁和查詢條件 PageHelper.startPage(2,2) ; SellerExample sellerExample = new SellerExample() ; sellerExample.setOrderByClause("id asc"); // 2、查詢數(shù)據(jù) List<Seller> sellerList = sellerMapper.selectByExample(sellerExample) ; // 3、構(gòu)建分頁實(shí)體對象 PageInfo<Seller> pageInfo = new PageInfo<>(sellerList) ; System.out.println(pageInfo); } }
2、分庫操作
在對 tb_order
表執(zhí)行增刪改查時,會根據(jù) order_id
的字段值計(jì)算庫表的路由節(jié)點(diǎn),注意分頁時會查詢所有的分庫和分表,然后匯總查詢的結(jié)果;
public class ShardTest { @Autowired private OrderMapper orderMapper ; /** * 寫入100條數(shù)據(jù) */ @Test public void testOrderInsert (){ for (int i=1 ; i<= 100 ; i++){ Order order = new Order(i,i%3+1,i%3+1) ; // orderMapper.insert(order) ; } } @Test public void testOrderQuery (){ Order order = orderMapper.selectByPrimaryKey(5) ; System.out.println(order); } @Test public void testOrderUpdate (){ Order order = orderMapper.selectByPrimaryKey(100) ; if (order != null){ // 原數(shù)據(jù):買家和賣家ID都是2 order.setBuyerId(1); order.setSellerId(3); orderMapper.updateByPrimaryKey(order) ; } } @Test public void testOrderPage (){ // 1、設(shè)置分頁和查詢條件 PageHelper.startPage(1,10) ; OrderExample orderExample = new OrderExample() ; orderExample.createCriteria().andBuyerIdEqualTo(2).andSellerIdEqualTo(2); orderExample.setOrderByClause("order_id desc"); // 2、查詢數(shù)據(jù) List<Order> orderList = orderMapper.selectByExample(orderExample) ; // 3、構(gòu)建分頁實(shí)體對象 PageInfo<Order> pageInfo = new PageInfo<>(orderList) ; System.out.println(pageInfo); } }
3、綜合查詢
編寫一個訂單詳情查詢接口,同時使用三個庫構(gòu)建數(shù)據(jù)結(jié)構(gòu);如果是基于列表數(shù)據(jù)的檢索,比較常規(guī)做法的是構(gòu)建ES索引結(jié)構(gòu),如果沒有搜索的需求,可以在訂單表分頁查詢后去拼接其他結(jié)構(gòu);
@RestController public class OrderController { @Resource private BuyerMapper buyerMapper ; @Resource private SellerMapper sellerMapper ; @Resource private OrderMapper orderMapper ; /** * 查詢訂單詳情 */ @GetMapping("/order/info/{orderId}") public Map<String,Object> orderInfo (@PathVariable Integer orderId){ Map<String,Object> orderMap = new HashMap<>() ; Order order = orderMapper.selectByPrimaryKey(orderId) ; if (order != null){ orderMap.put("order",order) ; orderMap.put("buyer",buyerMapper.selectByPrimaryKey(order.getBuyerId())) ; orderMap.put("seller",sellerMapper.selectByPrimaryKey(order.getSellerId())) ; } return orderMap ; } }
查看SQL語句
db_master ::: select id, buyer_name from tb_buyer where id = ? ::: [1] db_master ::: select id, seller_name from tb_seller where id = ? ::: [3] db_0 ::: select order_id, seller_id, buyer_id from tb_order_1 where order_id = ? ::: [100]
五、參考源碼
文檔倉庫: https://gitee.com/cicadasmile/butte-java-note 源碼倉庫: https://gitee.com/cicadasmile/butte-spring-parent
到此這篇關(guān)于SpringBoot3和ShardingSphere5框架實(shí)現(xiàn)數(shù)據(jù)分庫分表的文章就介紹到這了,更多相關(guān)SpringBoot3數(shù)據(jù)分庫分表內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- SpringBoot+Mybatis-plus+shardingsphere實(shí)現(xiàn)分庫分表的方案
- SpringBoot?整合?ShardingSphere4.1.1實(shí)現(xiàn)分庫分表功能
- springboot如何使用yml文件方式配置shardingsphere
- SpringBoot整合ShardingSphere5.x實(shí)現(xiàn)數(shù)據(jù)加解密功能(最新推薦)
- SpringBoot+ShardingSphereJDBC實(shí)現(xiàn)讀寫分離詳情
- SpringBoot如何配置數(shù)據(jù)庫主從shardingsphere
相關(guān)文章
Java多線程局域網(wǎng)聊天室的實(shí)現(xiàn)
在學(xué)習(xí)了一個學(xué)期的java以后,搞了一個多線程的聊天室,熟悉了一下服務(wù)器和客戶機(jī)的操作。感興趣的小伙伴們可以參考一下2021-06-06Socket與ServerSocket類構(gòu)造方法與API
今天小編為大家整理了Socket與ServerSocket類構(gòu)造方法與API,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值。需要的朋友可以收藏下,方便下次瀏覽觀看2021-12-12Spring?Retry實(shí)現(xiàn)重試機(jī)制的示例詳解
這篇文章主要為大家詳細(xì)介紹了Spring-Retry的用法以及實(shí)現(xiàn)原理是怎么樣的,文中的示例代碼講解詳細(xì),具有一定的參考價(jià)值,需要的可以了解一下2023-07-07SpringBoot實(shí)現(xiàn)異步消息處理的代碼示例
在現(xiàn)代應(yīng)用程序中,異步消息處理是一項(xiàng)至關(guān)重要的任務(wù)。它可以提高應(yīng)用程序的性能、可伸縮性和可靠性,同時也可以提供更好的用戶體驗(yàn),本文將介紹如何使用Spring Boot實(shí)現(xiàn)異步消息處理,并提供相應(yīng)的代碼示例2023-06-06