ShardingSphere jdbc集成多數(shù)據(jù)源的實現(xiàn)步驟
最近有個項目的幾張表,數(shù)量級在千萬以上,技術(shù)棧是SpringBoot+Mybatis-plus+MySQL。如果使用單表,在進(jìn)行查詢操作,非常耗時,經(jīng)過一番調(diào)研,決定使用分表中間件:ShardingSphere。
ShardingSphere今年4月份成為了 Apache 軟件基金會的頂級項目,目前支持?jǐn)?shù)據(jù)分片、讀寫分離、多數(shù)據(jù)副本、數(shù)據(jù)加密、影子庫壓測等功能,同時兼容多種數(shù)據(jù)庫,通過可插拔架構(gòu),理想情況下,可以做到對業(yè)務(wù)代碼無感知。
ShardingSphere下有兩款成熟的產(chǎn)品:sharding jdbc和sharding proxy
- sharding jdbc:可理解為增強(qiáng)版的 JDBC 驅(qū)動;
- sharding proxy:透明化的數(shù)據(jù)庫代理端,可以看做是一個虛擬的數(shù)據(jù)庫服務(wù)。
集成sharding jdbc
僅是集成sharding jdbc還是很簡單的,為了更好的理解,這里以訂單表為例。
1. 引入依賴
<properties>
<sharding-sphere.version>4.1.0</sharding-sphere.version>
</properties>
<!-- 分庫分表:https://mvnrepository.com/artifact/org.apache.shardingsphere/sharding-jdbc-spring-boot-starter -->
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>${sharding-sphere.version}</version>
</dependency>
2. 配置分表規(guī)則
spring:
shardingsphere:
datasource:
names: sharding-order-system
sharding-order-system:
type: com.alibaba.druid.pool.DruidDataSource
driverClassName: com.mysql.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/order_system?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true
username: root
password: root
props:
# 日志顯示SQL
sql.show: true
sharding:
tables:
# 訂單表 分表:20
order:
# 真實表 order_0
actualDataNodes: sharding-order-system.order_$->{0..19}
# 分庫策略
databaseStrategy:
none:
# 分表策略
tableStrategy:
inline:
shardingColumn: order_key
# 分片算法行表達(dá)式,需符合groovy語法 '& Integer.MAX_VALUE' 位運(yùn)算使hash值為正數(shù)
algorithmExpression: order_$->{(order_key.hashCode() & Integer.MAX_VALUE) % 20}
問題
上面雖然完成了對訂單表(order)的分表,但是sharding jdbc對一些語法不支持,官方的文檔里說的比較籠統(tǒng),如下圖:

像insert into ... select這些語法是不支持的,**而且對于沒有涉及到分表的語句,也有同樣的限制。**例如,項目里有個SQL:insert into user_temp select * from user;在集成了sharding jdbc后,即使user表沒有配置分表,執(zhí)行該SQL也會報錯。
官方的問答中提到,使用多數(shù)據(jù)源分別處理分片和不分片的情況,對分表的SQL使用sharding jdbc數(shù)據(jù)源,對不涉及到分表的SQL,使用普通數(shù)據(jù)源。

集成多數(shù)據(jù)源
我們項目中使用到了baomidou團(tuán)隊開源的mybatis-plus,其團(tuán)隊還開源了一個多數(shù)據(jù)源的組件:dynamic-datasource-spring-boot-starter,集成后,使用@DS注解就可以切換數(shù)據(jù)源,非常方便。
1. 引入依賴
<!-- https://mvnrepository.com/artifact/com.baomidou/dynamic-datasource-spring-boot-starter --> <dependency> <groupId>com.baomidou</groupId> <artifactId>dynamic-datasource-spring-boot-starter</artifactId> <version>3.1.1</version> </dependency>
2. 多數(shù)據(jù)源配置
核心思路是將sharding jdbc數(shù)據(jù)源,加入到多數(shù)據(jù)源中。
/**
* 動態(tài)數(shù)據(jù)源配置:
*
* 使用{@link com.baomidou.dynamic.datasource.annotation.DS}注解,切換數(shù)據(jù)源
*
* <code>@DS(DataSourceConfiguration.SHARDING_DATA_SOURCE_NAME)</code>
*
* @author songyinyin
* @date 2020/7/27 15:19
*/
@Configuration
@AutoConfigureBefore({DynamicDataSourceAutoConfiguration.class,
SpringBootConfiguration.class})
public class DataSourceConfiguration {
/**
* 分表數(shù)據(jù)源名稱
*/
private static final String SHARDING_DATA_SOURCE_NAME = "gits_sharding";
/**
* 動態(tài)數(shù)據(jù)源配置項
*/
@Autowired
private DynamicDataSourceProperties properties;
/**
* shardingjdbc有四種數(shù)據(jù)源,需要根據(jù)業(yè)務(wù)注入不同的數(shù)據(jù)源
*
* <p>1. 未使用分片, 脫敏的名稱(默認(rèn)): shardingDataSource;
* <p>2. 主從數(shù)據(jù)源: masterSlaveDataSource;
* <p>3. 脫敏數(shù)據(jù)源:encryptDataSource;
* <p>4. 影子數(shù)據(jù)源:shadowDataSource
*
*/
@Lazy
@Resource(name = "shardingDataSource")
AbstractDataSourceAdapter shardingDataSource;
@Bean
public DynamicDataSourceProvider dynamicDataSourceProvider() {
Map<String, DataSourceProperty> datasourceMap = properties.getDatasource();
return new AbstractDataSourceProvider() {
@Override
public Map<String, DataSource> loadDataSources() {
Map<String, DataSource> dataSourceMap = createDataSourceMap(datasourceMap);
// 將 shardingjdbc 管理的數(shù)據(jù)源也交給動態(tài)數(shù)據(jù)源管理
dataSourceMap.put(SHARDING_DATA_SOURCE_NAME, shardingDataSource);
return dataSourceMap;
}
};
}
/**
* 將動態(tài)數(shù)據(jù)源設(shè)置為首選的
* 當(dāng)spring存在多個數(shù)據(jù)源時, 自動注入的是首選的對象
* 設(shè)置為主要的數(shù)據(jù)源之后,就可以支持shardingjdbc原生的配置方式了
*
* @return
*/
@Primary
@Bean
public DataSource dataSource(DynamicDataSourceProvider dynamicDataSourceProvider) {
DynamicRoutingDataSource dataSource = new DynamicRoutingDataSource();
dataSource.setPrimary(properties.getPrimary());
dataSource.setStrict(properties.getStrict());
dataSource.setStrategy(properties.getStrategy());
dataSource.setProvider(dynamicDataSourceProvider);
dataSource.setP6spy(properties.getP6spy());
dataSource.setSeata(properties.getSeata());
return dataSource;
}
}
sharding jdbc有四種數(shù)據(jù)源:
- 未使用分片, 脫敏的名稱(默認(rèn)):shardingDataSource;
- 主從數(shù)據(jù)源: masterSlaveDataSource;
- 脫敏數(shù)據(jù)源:encryptDataSource;
- 影子數(shù)據(jù)源:shadowDataSource
需要需要根據(jù)不同的場景,注入不同的數(shù)據(jù)源,本文以分表舉例,所以將shardingDataSource放到了多數(shù)據(jù)源(dataSourceMap)中。
3. 增加多數(shù)據(jù)源配置
在第2步,我們指定了shardingsphere數(shù)據(jù)源的名稱為:gits_sharding
spring:
datasource:
# 動態(tài)數(shù)據(jù)源配置
dynamic:
datasource:
master:
type: com.alibaba.druid.pool.DruidDataSource
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/gits?useUnicode=true&characterEncoding=utf-8&useSSL=false&rewriteBatchedStatements=true
username: root
password: root
# 指定默認(rèn)數(shù)據(jù)源名稱
primary: master
# 分表配置
shardingsphere:
datasource:
names: sharding-order-system
sharding-order-system:
type: com.alibaba.druid.pool.DruidDataSource
driverClassName: com.mysql.jdbc.Driver
url: jdbc:mysql://172.20.20.19:3306/order_system?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true
username: root
password: root
props:
# 日志顯示SQL
sql.show: true
sharding:
tables:
# 訂單表 分表:20
order:
# 真實表 order_0
actualDataNodes: sharding-order-system.order_$->{0..19}
# 分庫策略
databaseStrategy:
none:
# 分表策略
tableStrategy:
inline:
shardingColumn: order_key
# 分片算法行表達(dá)式,需符合groovy語法 '& Integer.MAX_VALUE' 位運(yùn)算使hash值為正數(shù)
algorithmExpression: order_$->{(order_key.hashCode() & Integer.MAX_VALUE) % 20}
這里將默認(rèn)數(shù)據(jù)源指定為了普通數(shù)據(jù)源。
4. 使用
在需要分表的service方法上加上@DS("gits_sharding"),即可切換為sharding jdbc數(shù)據(jù)源。
@Service
@Slf4j
public class OrderServiceImpl extends OrderService {
@Override
@DS("gits_sharding")
public List<Order> getOrderByUser(OrderQueryDTO dto) throws Exception {
// 省略若干業(yè)務(wù)代碼
...
}
}
總結(jié)
sharding jdbc雖然是Apache的頂級項目,但也不是對有所SQL兼容,使用多數(shù)據(jù)源 + sharding jdbc則能跳過很多sharding jdbc的不足。
到此這篇關(guān)于ShardingSphere jdbc集成多數(shù)據(jù)源的實現(xiàn)步驟的文章就介紹到這了,更多相關(guān)ShardingSphere jdbc多數(shù)據(jù)源內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
mybatis 如何返回list<String>類型數(shù)據(jù)
這篇文章主要介紹了mybatis 如何返回list<String>類型數(shù)據(jù)方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-10-10
MybatisPlus保存、讀取MySQL中的json字段失敗問題及解決
這篇文章主要介紹了MybatisPlus保存、讀取MySQL中的json字段失敗問題及解決方案,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-07-07
SpringBoot項目中org.junit.jupiter.api.Test報錯問題及解決
這篇文章主要介紹了SpringBoot項目中org.junit.jupiter.api.Test報錯問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-11-11
mybatis-plus配置控制臺打印完整帶參數(shù)SQL語句的實現(xiàn)
這篇文章主要介紹了mybatis-plus配置控制臺打印完整帶參數(shù)SQL語句,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
Java web.xml之contextConfigLocation作用案例詳解
這篇文章主要介紹了Java web.xml之contextConfigLocation作用案例詳解,本篇文章通過簡要的案例,講解了該項技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-08-08

