spring boot配置讀寫分離的完整實(shí)現(xiàn)步驟
前言
開發(fā)中常用到主從數(shù)據(jù)庫(kù)來(lái)提高系統(tǒng)的性能。怎么樣才能方便的實(shí)現(xiàn)主從讀寫分離呢?近日工作任務(wù)較輕,有空學(xué)習(xí)學(xué)習(xí)技術(shù),遂來(lái)研究如果實(shí)現(xiàn)讀寫分離。這里用博客記錄下過(guò)程,一方面可備日后查看,同時(shí)也能分享給大家(網(wǎng)上的資料真的大都是抄來(lái)抄去,,還不帶格式的,看的真心難受)。
下面話不多說(shuō)了,來(lái)一起看看詳細(xì)的介紹吧。
1、背景
一個(gè)項(xiàng)目中數(shù)據(jù)庫(kù)最基礎(chǔ)同時(shí)也是最主流的是單機(jī)數(shù)據(jù)庫(kù),讀寫都在一個(gè)庫(kù)中。當(dāng)用戶逐漸增多,單機(jī)數(shù)據(jù)庫(kù)無(wú)法滿足性能要求時(shí),就會(huì)進(jìn)行讀寫分離改造(適用于讀多寫少),寫操作一個(gè)庫(kù),讀操作多個(gè)庫(kù),通常會(huì)做一個(gè)數(shù)據(jù)庫(kù)集群,開啟主從備份,一主多從,以提高讀取性能。當(dāng)用戶更多讀寫分離也無(wú)法滿足時(shí),就需要分布式數(shù)據(jù)庫(kù)了(可能以后會(huì)學(xué)習(xí)怎么弄)。
正常情況下讀寫分離的實(shí)現(xiàn),首先要做一個(gè)一主多從的數(shù)據(jù)庫(kù)集群,同時(shí)還需要進(jìn)行數(shù)據(jù)同步。這一篇記錄如何用mysql搭建一個(gè)一主多次的配置,下一篇記錄代碼層面如何實(shí)現(xiàn)讀寫分離。
2、搭建一主多從數(shù)據(jù)庫(kù)集群
主從備份需要多臺(tái)虛擬機(jī),我是用wmware完整克隆多個(gè)實(shí)例,注意直接克隆的虛擬機(jī)會(huì)導(dǎo)致每個(gè)數(shù)據(jù)庫(kù)的uuid相同,需要修改為不同的uuid。修改方法參考這個(gè):點(diǎn)擊跳轉(zhuǎn)。
主庫(kù)配置
主數(shù)據(jù)庫(kù)(master)中新建一個(gè)用戶用于從數(shù)據(jù)庫(kù)(slave)讀取主數(shù)據(jù)庫(kù)二進(jìn)制日志,sql語(yǔ)句如下:
mysql> CREATE USER 'repl'@'%' IDENTIFIED BY '123456';#創(chuàng)建用戶 mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';#分配權(quán)限 mysql>flush privileges; #刷新權(quán)限
同時(shí)修改mysql配置文件開啟二進(jìn)制日志,新增部分如下:
[mysqld] server-id=1 log-bin=master-bin log-bin-index=master-bin.index
然后重啟數(shù)據(jù)庫(kù),使用show master status;
語(yǔ)句查看主庫(kù)狀態(tài),如下所示:
從庫(kù)配置
同樣先新增幾行配置:
[mysqld] server-id=2 relay-log-index=slave-relay-bin.index relay-log=slave-relay-bin
然后重啟數(shù)據(jù)庫(kù),使用如下語(yǔ)句連接主庫(kù):
CHANGE MASTER TO MASTER_HOST='192.168.226.5', MASTER_USER='root', MASTER_PASSWORD='123456', MASTER_LOG_FILE='master-bin.000003', MASTER_LOG_POS=154;
接著運(yùn)行start slave;
開啟備份,正常情況如下圖所示:Slave_IO_Running和Slave_SQL_Running都為yes。
可以用這個(gè)步驟開啟多個(gè)從庫(kù)。
默認(rèn)情況下備份是主庫(kù)的全部操作都會(huì)備份到從庫(kù),實(shí)際可能需要忽略某些庫(kù),可以在主庫(kù)中增加如下配置:
# 不同步哪些數(shù)據(jù)庫(kù) binlog-ignore-db = mysql binlog-ignore-db = test binlog-ignore-db = information_schema # 只同步哪些數(shù)據(jù)庫(kù),除此之外,其他不同步 binlog-do-db = game
3、代碼層面進(jìn)行讀寫分離
代碼環(huán)境是springboot+mybatis+druib連接池。想要讀寫分離就需要配置多個(gè)數(shù)據(jù)源,在進(jìn)行寫操作是選擇寫的數(shù)據(jù)源,讀操作時(shí)選擇讀的數(shù)據(jù)源。其中有兩個(gè)關(guān)鍵點(diǎn):
- 如何切換數(shù)據(jù)源
- 如何根據(jù)不同的方法選擇正確的數(shù)據(jù)源
1)、如何切換數(shù)據(jù)源
通常用springboot時(shí)都是使用它的默認(rèn)配置,只需要在配置文件中定義好連接屬性就行了,但是現(xiàn)在我們需要自己來(lái)配置了,spring是支持多數(shù)據(jù)源的,多個(gè)datasource放在一個(gè)HashMapTargetDataSource中,通過(guò)dertermineCurrentLookupKey獲取key來(lái)覺定要使用哪個(gè)數(shù)據(jù)源。因此我們的目標(biāo)就很明確了,建立多個(gè)datasource放到TargetDataSource中,同時(shí)重寫dertermineCurrentLookupKey方法來(lái)決定使用哪個(gè)key。
2)、如何選擇數(shù)據(jù)源
事務(wù)一般是注解在Service層的,因此在開始這個(gè)service方法調(diào)用時(shí)要確定數(shù)據(jù)源,有什么通用方法能夠在開始執(zhí)行一個(gè)方法前做操作呢?相信你已經(jīng)想到了那就是切面 。怎么切有兩種辦法:
- 注解式,定義一個(gè)只讀注解,被該數(shù)據(jù)標(biāo)注的方法使用讀庫(kù)
- 方法名,根據(jù)方法名寫切點(diǎn),比如getXXX用讀庫(kù),setXXX用寫庫(kù)
3)、代碼編寫
a、編寫配置文件,配置兩個(gè)數(shù)據(jù)源信息
只有必填信息,其他都有默認(rèn)設(shè)置
mysql: datasource: #讀庫(kù)數(shù)目 num: 1 type-aliases-package: com.example.dxfl.dao mapper-locations: classpath:/mapper/*.xml config-location: classpath:/mybatis-config.xml write: url: jdbc:mysql://192.168.226.5:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true username: root password: 123456 driver-class-name: com.mysql.jdbc.Driver read: url: jdbc:mysql://192.168.226.6:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true username: root password: 123456 driver-class-name: com.mysql.jdbc.Driver
b、編寫DbContextHolder類
這個(gè)類用來(lái)設(shè)置數(shù)據(jù)庫(kù)類別,其中有一個(gè)ThreadLocal用來(lái)保存每個(gè)線程的是使用讀庫(kù),還是寫庫(kù)。代碼如下:
/** * Description 這里切換讀/寫模式 * 原理是利用ThreadLocal保存當(dāng)前線程是否處于讀模式(通過(guò)開始READ_ONLY注解在開始操作前設(shè)置模式為讀模式, * 操作結(jié)束后清除該數(shù)據(jù),避免內(nèi)存泄漏,同時(shí)也為了后續(xù)在該線程進(jìn)行寫操作時(shí)任然為讀模式 * @author fxb * @date 2018-08-31 */ public class DbContextHolder { private static Logger log = LoggerFactory.getLogger(DbContextHolder.class); public static final String WRITE = "write"; public static final String READ = "read"; private static ThreadLocal<String> contextHolder= new ThreadLocal<>(); public static void setDbType(String dbType) { if (dbType == null) { log.error("dbType為空"); throw new NullPointerException(); } log.info("設(shè)置dbType為:{}",dbType); contextHolder.set(dbType); } public static String getDbType() { return contextHolder.get() == null ? WRITE : contextHolder.get(); } public static void clearDbType() { contextHolder.remove(); } }
c、重寫determineCurrentLookupKey方法
spring在開始進(jìn)行數(shù)據(jù)庫(kù)操作時(shí)會(huì)通過(guò)這個(gè)方法來(lái)決定使用哪個(gè)數(shù)據(jù)庫(kù),因此我們?cè)谶@里調(diào)用上面DbContextHolder類的getDbType()
方法獲取當(dāng)前操作類別,同時(shí)可進(jìn)行讀庫(kù)的負(fù)載均衡,代碼如下:
public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource { @Value("${mysql.datasource.num}") private int num; private final Logger log = LoggerFactory.getLogger(this.getClass()); @Override protected Object determineCurrentLookupKey() { String typeKey = DbContextHolder.getDbType(); if (typeKey == DbContextHolder.WRITE) { log.info("使用了寫庫(kù)"); return typeKey; } //使用隨機(jī)數(shù)決定使用哪個(gè)讀庫(kù) int sum = NumberUtil.getRandom(1, num); log.info("使用了讀庫(kù){}", sum); return DbContextHolder.READ + sum; } }
d、編寫配置類
由于要進(jìn)行讀寫分離,不能再用springboot的默認(rèn)配置,我們需要手動(dòng)來(lái)進(jìn)行配置。首先生成數(shù)據(jù)源,使用@ConfigurProperties自動(dòng)生成數(shù)據(jù)源:
/** * 寫數(shù)據(jù)源 * * @Primary 標(biāo)志這個(gè) Bean 如果在多個(gè)同類 Bean 候選時(shí),該 Bean 優(yōu)先被考慮。 * 多數(shù)據(jù)源配置的時(shí)候注意,必須要有一個(gè)主數(shù)據(jù)源,用 @Primary 標(biāo)志該 Bean */ @Primary @Bean @ConfigurationProperties(prefix = "mysql.datasource.write") public DataSource writeDataSource() { return new DruidDataSource(); }
讀數(shù)據(jù)源類似,注意有多少個(gè)讀庫(kù)就要設(shè)置多少個(gè)讀數(shù)據(jù)源,Bean名為read+序號(hào)。
然后設(shè)置數(shù)據(jù)源,使用的是我們之前寫的MyAbstractRoutingDataSource類
/** * 設(shè)置數(shù)據(jù)源路由,通過(guò)該類中的determineCurrentLookupKey決定使用哪個(gè)數(shù)據(jù)源 */ @Bean public AbstractRoutingDataSource routingDataSource() { MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource(); Map<Object, Object> targetDataSources = new HashMap<>(2); targetDataSources.put(DbContextHolder.WRITE, writeDataSource()); targetDataSources.put(DbContextHolder.READ+"1", read1()); proxy.setDefaultTargetDataSource(writeDataSource()); proxy.setTargetDataSources(targetDataSources); return proxy; }
接著需要設(shè)置sqlSessionFactory
/** * 多數(shù)據(jù)源需要自己設(shè)置sqlSessionFactory */ @Bean public SqlSessionFactory sqlSessionFactory() throws Exception { SqlSessionFactoryBean bean = new SqlSessionFactoryBean(); bean.setDataSource(routingDataSource()); ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver(); // 實(shí)體類對(duì)應(yīng)的位置 bean.setTypeAliasesPackage(typeAliasesPackage); // mybatis的XML的配置 bean.setMapperLocations(resolver.getResources(mapperLocation)); bean.setConfigLocation(resolver.getResource(configLocation)); return bean.getObject(); }
最后還得配置下事務(wù),否則事務(wù)不生效
/** * 設(shè)置事務(wù),事務(wù)需要知道當(dāng)前使用的是哪個(gè)數(shù)據(jù)源才能進(jìn)行事務(wù)處理 */ @Bean public DataSourceTransactionManager dataSourceTransactionManager() { return new DataSourceTransactionManager(routingDataSource()); }
4)、選擇數(shù)據(jù)源
多數(shù)據(jù)源配置好了,但是代碼層面如何選擇選擇數(shù)據(jù)源呢?這里介紹兩種辦法:
a、注解式
首先定義一個(gè)只讀注解,被這個(gè)注解方法使用讀庫(kù),其他使用寫庫(kù),如果項(xiàng)目是中途改造成讀寫分離可使用這個(gè)方法,無(wú)需修改業(yè)務(wù)代碼,只要在只讀的service方法上加一個(gè)注解即可。
@Target({ElementType.METHOD,ElementType.TYPE}) @Retention(RetentionPolicy.RUNTIME) public @interface ReadOnly { }
然后寫一個(gè)切面來(lái)切換數(shù)據(jù)使用哪種數(shù)據(jù)源,重寫getOrder保證本切面優(yōu)先級(jí)高于事務(wù)切面優(yōu)先級(jí),在啟動(dòng)類加上@EnableTransactionManagement(order = 10)
,為了代碼如下:
@Aspect @Component public class ReadOnlyInterceptor implements Ordered { private static final Logger log= LoggerFactory.getLogger(ReadOnlyInterceptor.class); @Around("@annotation(readOnly)") public Object setRead(ProceedingJoinPoint joinPoint,ReadOnly readOnly) throws Throwable{ try{ DbContextHolder.setDbType(DbContextHolder.READ); return joinPoint.proceed(); }finally { //清楚DbType一方面為了避免內(nèi)存泄漏,更重要的是避免對(duì)后續(xù)在本線程上執(zhí)行的操作產(chǎn)生影響 DbContextHolder.clearDbType(); log.info("清除threadLocal"); } } @Override public int getOrder() { return 0; } }
b、方法名式
這種方法不許要注解,但是需要事務(wù)名稱按一定規(guī)則編寫,然后通過(guò)切面來(lái)設(shè)置數(shù)據(jù)庫(kù)類別,比如setXXX
設(shè)置為寫、getXXX
設(shè)置為讀,代碼我就不寫了,應(yīng)該都知道怎么寫。
4、測(cè)試
編寫好代碼來(lái)試試結(jié)果如何,下面是運(yùn)行截圖:
斷斷續(xù)續(xù)寫了好幾天終于是寫完了,,,如果有幫助到你,,歡迎star哦,,這里是完整代碼地址:點(diǎn)擊跳轉(zhuǎn)
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問(wèn)大家可以留言交流,謝謝大家對(duì)腳本之家的支持。
- 使用springboot aop來(lái)實(shí)現(xiàn)讀寫分離和事物配置
- SpringBoot自定義注解使用讀寫分離Mysql數(shù)據(jù)庫(kù)的實(shí)例教程
- SpringBoot整合MyCat實(shí)現(xiàn)讀寫分離的方法
- Springboot + Mysql8實(shí)現(xiàn)讀寫分離功能
- spring boot + mybatis如何實(shí)現(xiàn)數(shù)據(jù)庫(kù)的讀寫分離
- springboot基于Mybatis mysql實(shí)現(xiàn)讀寫分離
- 詳解Spring Boot中整合Sharding-JDBC讀寫分離示例
- SpringBoot集成Spring Data JPA及讀寫分離
- Spring boot實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀寫分離的方法
- Spring Boot 結(jié)合 aop 實(shí)現(xiàn)讀寫分離
相關(guān)文章
Springboot啟動(dòng)同時(shí)創(chuàng)建數(shù)據(jù)庫(kù)和表實(shí)現(xiàn)方法
這篇文章主要介紹了Springboot啟動(dòng)同時(shí)創(chuàng)建數(shù)據(jù)庫(kù)和表,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧2023-01-01Spring Boot web項(xiàng)目的TDD流程
TDD(Test-driven development) 測(cè)試驅(qū)動(dòng)開發(fā),簡(jiǎn)單點(diǎn)說(shuō)就是編寫測(cè)試,再編寫代碼。這是首要一條,不可動(dòng)搖的一條,先寫代碼后寫測(cè)試的都是假TDD。2021-05-05SpringBoot中的ApplicationListener事件監(jiān)聽器使用詳解
這篇文章主要介紹了SpringBoot中的ApplicationListener事件監(jiān)聽器使用詳解,ApplicationListener是應(yīng)用程序的事件監(jiān)聽器,繼承自java.util.EventListener標(biāo)準(zhǔn)接口,采用觀察者設(shè)計(jì)模式,需要的朋友可以參考下2023-11-11SpringCloud使用Zookeeper作為注冊(cè)中心
這篇文章主要介紹了SpringCloud如何使用Zookeeper作為注冊(cè)中心,幫助大家更好的理解和學(xué)習(xí)使用Zookeeper,感興趣的朋友可以了解下2021-04-04關(guān)于nacos無(wú)法正常下線問(wèn)題記錄
這篇文章主要介紹了關(guān)于nacos無(wú)法正常下線問(wèn)題記錄,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07