Java和Redis實現(xiàn)熱搜功能
更新時間:2024年01月28日 16:05:55 作者:孤蓬&聽雨
這篇文章主要介紹了Java和Redis實現(xiàn)熱搜功能,在存儲和傳輸用戶搜索數(shù)據(jù)時,考慮到數(shù)據(jù)的機密性和隱私保護,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友參考下吧
1. 前言
我們有一個簡單的需求:
- 搜索欄展示當前登陸的個人用戶的搜索歷史記錄,刪除個人歷史記錄。
- 用戶在搜索欄輸入某字符,則將該字符記錄下來 以zset格式存儲的redis中,記錄該字符被搜索的個數(shù)以及當前的時間戳 (用了DFA算法)。
- 每當用戶查詢了已在redis存在了的字符時,則直接累加個數(shù), 用來獲取平臺上最熱查詢的十條數(shù)據(jù)。(可以自己寫接口或者直接在redis中添加一些預備好的關鍵詞)。
- 做不雅文字的過濾功能。
2. 實現(xiàn)
2.1 引入依賴
<dependencies> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.7.0</version> <!-- 使用你需要的版本 --> </dependency> </dependencies>
2.2 實現(xiàn)代碼
import redis.clients.jedis.Jedis; import redis.clients.jedis.Tuple; import java.util.Set; import java.util.HashSet; import java.util.List; import java.util.ArrayList; import java.util.stream.Collectors; import java.util.stream.IntStream; public class HotSearch { private static final String REDIS_HOST = "localhost"; private static final int REDIS_PORT = 6379; private static final String HISTORY_SET = "history"; private static final String ZSET_PREFIX = "zset:"; private static final int TOP_TEN = 10; private static final String BAD_WORDS = "bad"; // 替換為需要過濾的關鍵詞 private static final String FILTERED_WORD = "***"; // 替換為過濾后的關鍵詞 private static final int BAD_WORD_THRESHOLD = 100; // 替換為過濾的閾值,超過則認為是不雅文字 private static final List<String> BAD_WORD_LIST = IntStream.range(0, BAD_WORDS.length()).mapToObj(i -> BAD_WORDS.substring(i, i + 1)).collect(Collectors.toList()); // 將BAD_WORDS轉為List,方便后續(xù)操作 public static void main(String[] args) { Jedis jedis = new Jedis(REDIS_HOST, REDIS_PORT); String userId = "user1"; // 當前登陸的個人用戶ID,需要根據(jù)實際情況獲取 String searchWord = "test"; // 需要搜索的字符 hotSearch(jedis, userId, searchWord); } public static void hotSearch(Jedis jedis, String userId, String searchWord) { // 獲取當前用戶的搜索歷史記錄 Set<String> history = jedis.smembers(HISTORY_SET + ":" + userId); if (history == null) history = new HashSet<>(); history.add(searchWord); // 將新搜索詞加入歷史記錄 jedis.sadd(HISTORY_SET + ":" + userId, history); // 將歷史記錄存入redis中 history.remove(searchWord); // 去掉新搜索詞,只保留舊的歷史記錄 // 將搜索詞加入zset中,記錄該字符被搜索的個數(shù)以及當前的時間戳 jedis.zadd(ZSET_PREFIX + userId, getScore(searchWord), searchWord); System.out.println("Added " + searchWord + " to hot search with score " + getScore(searchWord)); // 過濾不雅文字,如果是不雅文字則替換為***,并累加不雅文字的搜索次數(shù) if (BAD_WORD_LIST.contains(searchWord)) { if (jedis.zscore(ZSET_PREFIX + userId, FILTERED_WORD) == null) { // 如果該詞在zset中不存在,則加入并設置得分 jedis.zadd(ZSET_PREFIX + userId, BAD_WORD_THRESHOLD, FILTERED_WORD); // 設置得分為BAD_WORD_THRESHOLD,表示這是一個不雅文字 jedis.incrBy(HISTORY_SET + ":bad", 1); // 累加不雅文字的搜索次數(shù),存儲在bad歷史的集合中,方便后續(xù)統(tǒng)計和過濾處理 } else { // 如果該詞在zset中已存在,則只累加搜索次數(shù),并更新得分(得分+1) jedis.zincrby(ZSET_PREFIX + userId, 1, FILTERED_WORD); // 得分為當前得分+1,表示這是一個不雅文字的再次搜索 jedis.incrBy(HISTORY_SET + ":bad", 1); // 累加不雅文字的搜索次數(shù),存儲在bad歷史的集合中,方便后續(xù)統(tǒng)計和過濾處理 } System.out.println("The word " + searchWord + " is filtered and replaced with " + FILTERED_WORD); // 輸出過濾后的結果 } else { // 如果不是不雅文字,則正常加入熱搜列表并設置得分 jedis.zadd(ZSET_PREFIX + userId, getScore(searchWord), searchWord); // 正常加入熱搜列表并設置得分 System.out.println("Added normal word " + searchWord + " to hot search with score " + getScore(searchWord)); // 輸出正常加入熱搜列表的結果 } // 獲取平臺上最熱搜索的十條數(shù)據(jù) Set<Tuple> hotData = jedis.zrevrangeWithScores(ZSET_PREFIX + userId, 0, TOP_TEN - 1); List<String> hotWords = hotData.stream().map(Tuple::getElement).collect(Collectors.toList()); List<Integer> hotScores = hotData.stream().map(Tuple::getScore).collect(Collectors.toList()); System.out.println("Top " + TOP_TEN + " hot searches are: " + hotWords + " with scores: " + hotScores); } // 用于計算得分的方法,這里采用了最簡單的得分方式,只考慮了搜索頻率和時間戳,實際情況可能需要更復雜的算法 private static int getScore(String word) { return 1; } }
2.3 實現(xiàn)原理
- 安全性:
- 確保Redis服務器的安全性。這包括使用強密碼、配置防火墻規(guī)則、使用SSL連接等。不要將敏感數(shù)據(jù)暴露給不必要的用戶或應用程序。
- 在存儲和傳輸用戶搜索數(shù)據(jù)時,考慮到數(shù)據(jù)的機密性和隱私保護。根據(jù)當?shù)氐碾[私法律和政策,可能需要采取額外的措施來保護用戶數(shù)據(jù)。
- 性能監(jiān)控和調優(yōu):
- 監(jiān)控Redis的性能指標,如內存使用情況、連接數(shù)、查詢速度等。根據(jù)實際負載情況,可能需要調整Redis的配置參數(shù)或增加硬件資源。
- 定期檢查代碼的性能,確保在大量請求下能夠保持穩(wěn)定的性能。對于瓶頸部分,可能需要優(yōu)化算法或調整數(shù)據(jù)結構。
- 異常處理:
- 添加適當?shù)漠惓L幚磉壿?,以處理Redis連接失敗、查詢錯誤等情況。確保應用程序能夠優(yōu)雅地處理這些異常,并為用戶提供適當?shù)腻e誤消息。
- 對于可能出現(xiàn)的Redis故障或維護時段,考慮實現(xiàn)一種回退機制或通知系統(tǒng),以便及時通知相關人員并采取措施。
- 數(shù)據(jù)一致性和備份:
- 確保Redis中的數(shù)據(jù)與應用程序中的其他數(shù)據(jù)源保持一致。在寫入數(shù)據(jù)時,要確保冪等性以避免數(shù)據(jù)沖突。
- 定期備份Redis中的數(shù)據(jù),以防數(shù)據(jù)丟失。考慮使用快照或追加日志的方式來備份數(shù)據(jù)。
- 擴展性和高可用性:
- 如果應用程序需要處理大量的搜索請求,考慮使用Redis集群來分擔負載和提高可用性。確保集群配置正確,并能夠自動處理節(jié)點故障轉移。
- 在設計系統(tǒng)時,考慮到未來的擴展需求。使用可擴展的數(shù)據(jù)結構或算法,以便在需要時輕松地增加功能和優(yōu)化性能。
- 日志和監(jiān)控:
- 配置適當?shù)娜罩居涗浵到y(tǒng),記錄Redis的操作和關鍵事件。這有助于故障排查和性能分析。
- 使用監(jiān)控工具來實時跟蹤Redis的性能指標和應用程序的健康狀況。這樣可以在問題發(fā)生時迅速采取行動。
- 測試和驗證:
- 在將代碼部署到生產環(huán)境之前,進行充分的測試和驗證。確保代碼的功能正確、性能良好,并且沒有安全漏洞。
- 考慮使用集成測試、單元測試和負載測試來評估代碼的健壯性和穩(wěn)定性。確保代碼能夠承受實際工作負載和各種邊界條件。
- 代碼維護和文檔:
- 為代碼添加適當?shù)淖⑨尯臀臋n,以幫助其他開發(fā)人員理解其工作原理和維護方式。這也有助于未來的代碼審查和維護工作。
- 保持代碼的清潔和可維護性,遵循最佳實踐和編碼規(guī)范。定期重構代碼以消除冗余和提高可讀性。
到此這篇關于Java和Redis實現(xiàn)熱搜功能的文章就介紹到這了,更多相關Redis熱搜內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Java?CompletableFuture實現(xiàn)多線程異步編排
這篇文章主要為大家介紹了Java?CompletableFuture實現(xiàn)多線程異步編排,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-09-09詳解Java高并發(fā)編程之AtomicReference
此篇文章主要介紹了AtomicReference的出現(xiàn)背景,AtomicReference的使用場景,以及介紹了AtomicReference的源碼,重點方法的源碼分析2021-06-06java8如何根據(jù)某一屬性條件快速篩選list中的集合
這篇文章主要介紹了java8如何根據(jù)某一屬性條件快速篩選list中的集合,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-01-01如何使用spring ResponseEntity處理http響應
這篇文章主要介紹了如何使用spring ResponseEntity處理http響應的操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-07-07java中JSONArray互相轉換List的實現(xiàn)
本文主要介紹了java中JSONArray互相轉換List的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2022-07-07