caffeine_redis自定義二級緩存
背景
最近產(chǎn)品下發(fā)一個(gè)需求:考慮在程序中加緩存,剛開始以為只是 Redis 緩存,后面才直到是本地緩存(Caffeine) + Redis。
在 SpringBoot2.x 后默認(rèn)的緩存就是 Caffeine,所以本地緩存也選擇了 Caffeine。
ps:我們的數(shù)據(jù)不是從程序中插入或者更新,是每天會有數(shù)據(jù)專門同步。
問題
基于提出的需求,我認(rèn)為主要有以下兩個(gè)問題:
- 因?yàn)橛斜镜鼐彺?,如何保證數(shù)據(jù)一致性。當(dāng)一個(gè)節(jié)點(diǎn)數(shù)據(jù)改變,其他節(jié)點(diǎn)的數(shù)據(jù)如何失效?
- 數(shù)據(jù)不對,需要重新同步,緩存如何失效?
流程圖
接下來就是配合產(chǎn)品和其他開發(fā)人員畫出流程圖,如下:
- 使用一張配置表,記錄是否需要緩存,是否開啟緩存,來達(dá)到通知時(shí)候緩存失效的情況。
- 因?yàn)轫?xiàng)目要求一般,即使消息丟失,也不會存在太大的影響,所以最終選擇了 redis 里面的訂閱、發(fā)布功能,實(shí)現(xiàn)通知其他節(jié)點(diǎn)失效本地緩存。
開發(fā)
上面問題清楚了,流程圖也清楚了。那就準(zhǔn)備開始寫 bug 了。整體思路是自定義注解實(shí)現(xiàn)切面,盡量降低對業(yè)務(wù)代碼的耦合度。
CacheConfig
主要是結(jié)合業(yè)務(wù)定義一個(gè) CacheManager,代碼里面的解釋都有。因?yàn)檫@個(gè)是直接占用程序內(nèi)存的,所有得特別注意最大可緩存條數(shù),別把內(nèi)存肝爆了。當(dāng)然也不能太小了,因?yàn)檫€要考慮命中率的問題。所以這就得結(jié)合實(shí)際得業(yè)務(wù)來確定最終的大小。
@Bean(name = JKDDCX) @Primary public CacheManager cacheManager() { CaffeineCacheManager cacheManager = new CaffeineCacheManager(); cacheManager.setCaffeine(Caffeine.newBuilder() // 設(shè)置最后一次寫入或訪問后經(jīng)過固定時(shí)間過期 .expireAfterAccess(EXPIRE, TIME_UNIT) //設(shè)置本地緩存寫入后過期時(shí)間 .expireAfterWrite(EXPIRE, TIME_UNIT) // 初始的緩存空間大小 .initialCapacity(500) // 緩存的最大條數(shù) .maximumSize(1000));// 使用人數(shù) * 5 (每個(gè)人不同的入?yún)?5 條)\ return cacheManager; }
@CaffeineCache
自定義注解,把可以用到的參數(shù)都能加上。
@Target({ ElementType.METHOD ,ElementType.TYPE}) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface CaffeineCache { public String moudleId() default ""; //用于在數(shù)據(jù)庫中配置參數(shù) public String methodId() default ""; public String cachaName() default ""; //動(dòng)態(tài)切換實(shí)際的 CacheManager public String cacheManager() default ""; }
CacheMessageListener
緩存監(jiān)聽器,主要是保證多節(jié)點(diǎn)數(shù)據(jù)一致性的問題。當(dāng)一個(gè)節(jié)點(diǎn)緩存更新,通知其他的節(jié)點(diǎn)相應(yīng)處理。主要技術(shù)是 Redis 的發(fā)布、訂閱功能,實(shí)現(xiàn) MessageListener 接口。
當(dāng)然下面還有個(gè)細(xì)節(jié)就是一般生產(chǎn)環(huán)境是禁用 Redis#keys 命令的,所以得換個(gè)方式掃描對應(yīng)的 key。
public class CacheMessageListener implements MessageListener { @Override public void onMessage(Message message, byte[] pattern) { CacheMessage cacheMessage = (CacheMessage) redisTemplate.getValueSerializer().deserialize(message.getBody()); logger.info("收到redis清除緩存消息, 開始清除本地緩存, the cacheName is {}, the key is {}", cacheMessage.getCacheName(), cacheMessage.getKey()); // redisCaffeineCacheManager.clearLocal(cacheMessage.getCacheName(), cacheMessage.getKey()); /** * 如果是一個(gè)類上使用了 注解 @CaffeineCache ,那么所有接口都會緩存。 * 下面的邏輯是:除了當(dāng)前模塊的接口訪問的入?yún)?key,其他的 redis 緩存都會被清除 * (比如此模塊的表更新了,但是當(dāng)前調(diào)用此接口只是緩存了當(dāng)前這個(gè)入?yún)⒌膔edis,其他的數(shù)據(jù)刪除) */ String prefixKey = RedisConstant.WXYMG_DATA_CACHE + cacheMessage.getCacheName(); Set<String> keys = redisTemplate.execute((RedisCallback<Set<String>>) connection -> { Set<String> keysTmp = new HashSet<>(); Cursor<byte[]> cursor = connection.scan(new ScanOptions.ScanOptionsBuilder(). match(prefixKey + "*"). count(50).build()); while (cursor.hasNext()) { keysTmp.add(new String(cursor.next())); } return keysTmp; }); Iterator iterator = keys.iterator(); while (iterator.hasNext()) { if (iterator.next().toString().equals(cacheMessage.getKey())) { iterator.remove(); } } redisTemplate.delete(keys); cacheConfig.cacheManager().getCache(cacheMessage.getCacheName()).clear(); //cacheName 下的都刪除 } }
CaffeineCacheAspect
然后就是切面的邏輯處理,里面的內(nèi)容和 流程圖 一模一樣,只是使用代碼實(shí)現(xiàn)了需求。
其中:下面的代碼是 Redis 發(fā)布消息。
redisTemplate.convertAndSend(CacheConfig.TOPIC, new CacheMessage(caffeineCache.cachaName(), redisKey));
CacheMessage
這是在 Redis 發(fā)布消息的時(shí)候一個(gè)消息體,也是自定義的,可以加更多的參數(shù)屬性
public class CacheMessage implements Serializable { private static final long serialVersionUID = -1L; private String cacheName; private Object key; public CacheMessage(String cacheName, Object key) { super(); this.cacheName = cacheName; this.key = key; } }
總結(jié)
- Redis 天然適合分布式緩存,但是本地緩存還得考慮數(shù)據(jù)一致性的問題,這里使用的是 Redis 的發(fā)布、訂閱功能
- Caffeine 的簡單學(xué)習(xí)了解使用
- 結(jié)合自定義注解,使用低耦合的二級緩存
到此這篇關(guān)于caffeine_redis自定義二級緩存的文章就介紹到這了,更多相關(guān)caffeine_redis二級緩存內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
WINDOWS中REDIS主從配置實(shí)現(xiàn)代碼解析
這篇文章主要介紹了WINDOWS中REDIS主從配置實(shí)現(xiàn)代碼解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08redis實(shí)現(xiàn)延遲任務(wù)的項(xiàng)目實(shí)踐
本文主要介紹了redis實(shí)現(xiàn)延遲任務(wù)的項(xiàng)目實(shí)踐,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07