redis?bitmap數(shù)據(jù)結構之java對等操作詳解
在之前的文章中，我們有說過bitmap，bitmap在很多場景可以應用，比如黑白名單，快速判定，登錄情況等等。總之，bitmap是以其高性能出名。其基本原理是一位存儲一個標識，其他衍生知道咱就不說了，而redis就是以這種原生格式存儲的。
實際上，redis是基于string的數(shù)據(jù)結構實現(xiàn)了bitmap的功能。
1. redis基本的bitmap操作命令
最基本的，redis的bitmap有設置和讀取兩個值，即 setbit/getbit, 非常容易理解，即設置某個標識為1，那么取值判定的時候，就可以得到true.
127.0.0.1:6379> setbit bm1 222 1 (integer) 0 127.0.0.1:6379> getbit bm1 222 (integer) 1
這很容易理解，也是最基本的。當然，它還提供其他的一些操作：BITCOUNT 做數(shù)據(jù)量統(tǒng)計, BITOP 做bitmap的交并差運算... 我們也不必過多討論它。
2. java中的原生bitmap
可以說redis的bitmap實現(xiàn)相當之簡單，所以java也就順便實現(xiàn)了一個bitmap的版本：BitSet .
@Test
public void testJavaBitmap() {
BitSet bitmap = new BitSet();
bitmap.set(88);
// exist = true
boolean exist = bitmap.get(88);
BitSet bitmap2 = new BitSet();
bitmap2.set(99);
// bitmap中將包含 [88, 99]
bitmap.or(bitmap2);
}java中的bitmap實現(xiàn)，也是按位存儲，但是是基于long的存儲。
/*
* BitSets are packed into arrays of "words." Currently a word is
* a long, which consists of 64 bits, requiring 6 address bits.
* The choice of word size is determined purely by performance concerns.
*/
private final static int ADDRESS_BITS_PER_WORD = 6;
/**
* Sets the bit at the specified index to {@code true}.
*
* @param bitIndex a bit index
* @throws IndexOutOfBoundsException if the specified index is negative
* @since JDK1.0
*/
public void set(int bitIndex) {
if (bitIndex < 0)
throw new IndexOutOfBoundsException("bitIndex < 0: " + bitIndex);
int wordIndex = wordIndex(bitIndex);
expandTo(wordIndex);
words[wordIndex] |= (1L << bitIndex); // Restores invariants
checkInvariants();
}
/**
* Given a bit index, return word index containing it.
*/
private static int wordIndex(int bitIndex) {
return bitIndex >> ADDRESS_BITS_PER_WORD;
}所以，我們可以得出一個淺顯的結論，bitmap很簡單，一點都不神秘。但是，大道至簡，它高性能，它自然還是有好處的，咱們該用還得用。顯然，java版本的bitmap雖然很很好用，但是它只是應用級別的，只能在進程內使用，有太多的其他問題沒考慮，所以咱們還得要依賴于redis的bitmap.
問題：如果我有很多的數(shù)字標識想要寫入redis中，然后再進行讀取判定，該怎么辦呢？
很簡單的，我們可以一個個地調用 setbit 命令，依次寫入redis中。這自然能解決問題，但是明顯會帶來很多的網絡io。
其次，我們可以使用pipeline調用setbit進行批量寫入。這當然是一種優(yōu)化方案，只是仍然不是最優(yōu)。
那有沒有什么更好的辦法呢？
3. java和redis的bitmap互操作
對于批量的操作，redis是基于string實現(xiàn)，而java是基于bitset實現(xiàn)。其功能都基本差不多，判定、寫入、交并差運算。那么，除了一個個按照各自語法進行添加外，有沒有可能進行數(shù)據(jù)結構上的對等呢？
這個思路是很自然的，因為我們已經完全理解了各自的實現(xiàn)原理，為什么不呢？直接將BitSet轉換為byte[]寫入redis，直接將redis的bitmap當作string讀出來不就可以了嗎？
事實真是如此嗎？實際上有點差別，原因是一個是大端存儲，一個是小端存儲。
比如：比如對于存儲byte值: 00000010 , redis中會解釋為偏移為6的值為1, 而在java中則會解析為數(shù)字2存在于bitmap中。也就是說兩個的判定結果是不一樣的，一個是6，一個是2。如果把java中的值給調換一下，變成 01000000，那么就和redis是一樣的了。
而從redis中轉變到java中，則需要將每個byte位做一逆向操作判定，具體實現(xiàn)如下：
@Test
public void testSetBitmapData2Redis() {
//創(chuàng)建一個連接
Jedis jedis = new Jedis("localhost", 6379);
// 正向設置redis bitmap
String testBitmapKey = "mybitmap1";
jedis.set(testBitmapKey.getBytes(),
genRedisBitmap(2, 55, 133, 65537, 10_0000));
Assert.assertEquals("bitmap取值不正確", true,
jedis.getbit(testBitmapKey, 2L));
Assert.assertEquals("bitmap取值不正確", true,
jedis.getbit(testBitmapKey, 133L));
Assert.assertEquals("bitmap取值不正確", true,
jedis.getbit(testBitmapKey, 65537L));
Assert.assertEquals("bitmap取值不正確", true,
jedis.getbit(testBitmapKey, 10_0000L));
Assert.assertEquals("bitmap取值不正確", false,
jedis.getbit(testBitmapKey, 3L));
//在redis中獲取name值
byte[] redisBitmapData = jedis.get("mybitmap1".getBytes());
BitSet bitSet = convertRedisBitmapToJava(redisBitmapData);
Assert.assertTrue("redisBitmap反解不正確", bitSet.get(2));
Assert.assertTrue("redisBitmap反解不正確", bitSet.get(133));
Assert.assertTrue("redisBitmap反解不正確", bitSet.get(65537));
Assert.assertTrue("redisBitmap反解不正確", bitSet.get(10_0000));
Assert.assertFalse("redisBitmap反解不正確", bitSet.get(332));
jedis.close();
}
// 將redis的bitmap轉換為java 的bitset
private BitSet convertRedisBitmapToJava(byte[] redisBitmapData) {
int len = redisBitmapData.length;
BitSet bitSet = new BitSet();
// 每個 byte 8位, 所以整個bitmap 的長度為 len * 8
for (int i = 0; i < len * 8; i++) {
byte currentSegment = redisBitmapData[i / 8];
if(currentSegment == 0) {
continue;
}
if((currentSegment & (1 << (7 - (i % 8) ) ) ) != 0 ) {
bitSet.set(i);
}
}
return bitSet;
}
// 生成redis的bitmap數(shù)據(jù)
private byte[] genRedisBitmap(int... items) {
BitSet bitSet = new BitSet();
// 2 55 133
for (int k : items) {
bitSet.set(k);
}
byte[] targetBitmap = bitSet.toByteArray();
convertJavaToRedisBitmap(targetBitmap);
return targetBitmap;
}
// 將java中的字節(jié)數(shù)組轉換為redis的bitmap數(shù)據(jù)形式
private void convertJavaToRedisBitmap(byte[] bytes) {
int len = bytes.length;
for (int i = 0; i < len; i++) {
byte b1 = bytes[i];
if(b1 == 0) {
continue;
}
byte transByte = 0;
for (byte j = 0; j < 8; j++) {
transByte |= (b1 & (1 << j)) >> j << (7 -j);
}
bytes[i] = transByte;
}
}經驗證，將8位的byte進行位置反轉，能夠完美匹配兩種數(shù)據(jù)結構。
如此一來，就可以輕松將整個bitmap進行初始化設置到redis中，從而在redis的bitmap中，使用 getbit 進行高效判定了。
不要害怕今日的苦，你要相信明天，更苦！
到此這篇關于redis bitmap數(shù)據(jù)結構之java對等操作的文章就介紹到這了,更多相關redis bitmap數(shù)據(jù)結構內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
本文主要介紹了redis?手機驗證碼實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-11-11
如何監(jiān)聽Redis中Key值的變化(SpringBoot整合)
測試過程中我們有一部分常量值放入redis,共大部分應用調用,但在測試過程中經常有人會清空redis,回歸測試,下面這篇文章主要給大家介紹了關于如何監(jiān)聽Redis中Key值變化的相關資料,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了Redis配置文件詳解,本文詳細完整的用中文解釋了Redis配置文件中各種參數(shù)的作用和功能,需要的朋友可以參考下2015-04-04
本文主要介紹了Redis模糊查詢的幾種實現(xiàn)方法,包括兩種方法KEYS , SCAN,具有一定的參考價值,感興趣的可以了解一下2024-02-02
這篇文章主要介紹了通過kubesphere部署redis的方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
Redis提供了兩種主要的持久化方式：RDB和AOF,RDB通過定時快照的方式保存數(shù)據(jù)狀態(tài),而AOF記錄每個寫操作以便于重啟時重放,兩者可以結合使用,且在重啟時AOF文件會被優(yōu)先用于數(shù)據(jù)恢復,RDB快照具有速度快、節(jié)省磁盤空間的優(yōu)點,但可能會丟失最近的數(shù)據(jù)2024-10-10
redis底層數(shù)據(jù)結構之skiplist實現(xiàn)示例
這篇文章主要為大家介紹了redis底層數(shù)據(jù)結構之skiplist實現(xiàn)示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-12-12
這篇文章主要介紹了Django使用Redis進行緩存詳細流程,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-08-08
這篇文章主要介紹了Centos7.3安裝Redis4.0.6詳細教程圖解，本文圖文并茂給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2018-10-10
Redis+Caffeine實現(xiàn)分布式二級緩存組件實戰(zhàn)教程
這篇文章主要介紹了Redis+Caffeine實現(xiàn)分布式二級緩存組件實戰(zhàn)教程,介紹了分布式二級緩存的優(yōu)勢，使用組件的方法，通過示例代碼給大家介紹的非常詳細，需要的朋友可以參考下2022-08-08