LZ77壓縮算法原理的理解
LZ77壓縮算法原理的理解
數(shù)據(jù)壓縮是一個(gè)減小數(shù)據(jù)存儲(chǔ)空間的過程,目前被應(yīng)用在軟件工程的各個(gè)地方,了解其一些原理,方便我們更好的甄選壓縮方案。
壓縮方案有很多種,常見的就是有損和無(wú)損壓縮?;舴蚵幋a和LZ77(Lempel-Ziv-1977)都是無(wú)損壓縮,其中霍夫曼是采用最小冗余編碼的算法進(jìn)行壓縮,而LZ77是采用字典的方式進(jìn)行壓縮。關(guān)于霍夫曼編碼的算法,網(wǎng)上有很多對(duì)其詳細(xì)的講解,我們本篇幅不在細(xì)說,主要圖解一下LZ77壓縮算法的方式,看看其有哪些優(yōu)缺點(diǎn)。
信息熵
數(shù)據(jù)為何是可以壓縮的,因?yàn)閿?shù)據(jù)都會(huì)表現(xiàn)出一定的特性,稱為熵。絕大多數(shù)的數(shù)據(jù)所表現(xiàn)出來的容量往往大于其熵所建議的最佳容量。比如所有的數(shù)據(jù)都會(huì)有一定的冗余性,我們可以把冗余的數(shù)據(jù)采用更少的位對(duì)頻繁出現(xiàn)的字符進(jìn)行標(biāo)記,也可以基于數(shù)據(jù)的一些特性基于字典編碼,代替重復(fù)多余的短語(yǔ)。
LZ77算法原理
LZ77壓縮算法采用字典的方式進(jìn)行壓縮,是一個(gè)簡(jiǎn)單但十分高效的數(shù)據(jù)壓縮算法。其方式就是把數(shù)據(jù)中一些可以組織成短語(yǔ)(最長(zhǎng)字符)的字符加入字典,然后再有相同字符出現(xiàn)采用標(biāo)記來代替字典中的短語(yǔ),如此通過標(biāo)記代替多數(shù)重復(fù)出現(xiàn)的方式以進(jìn)行壓縮。要理解這種算法,我們先了解3個(gè)關(guān)鍵詞:短語(yǔ)字典,滑動(dòng)窗口和向前緩沖區(qū)。
關(guān)鍵詞:
1.前向緩沖區(qū)
每次讀取數(shù)據(jù)的時(shí)候,先把一部分?jǐn)?shù)據(jù)預(yù)載入前向緩沖區(qū)。為移入滑動(dòng)窗口做準(zhǔn)備
2.滑動(dòng)窗口
一旦數(shù)據(jù)通過緩沖區(qū),那么它將移動(dòng)到滑動(dòng)窗口中,并變成字典的一部分。
3.短語(yǔ)字典
從字符序列S1...Sn,組成n個(gè)短語(yǔ)。比如字符(A,B,D) ,可以組合的短語(yǔ)為{(A),(A,B),(A,B,D),(B),(B,D),(D)},如果這些字符在滑動(dòng)窗口里面,就可以記為當(dāng)前的短語(yǔ)字典,因?yàn)榛瑒?dòng)窗口不斷的向前滑動(dòng),所以短語(yǔ)字典也是不斷的變化。
LZ77的主要算法邏輯就是,先通過前向緩沖區(qū)預(yù)讀數(shù)據(jù),然后再向滑動(dòng)窗口移入(滑動(dòng)窗口有一定的長(zhǎng)度),不斷的尋找能與字典中短語(yǔ)匹配的最長(zhǎng)短語(yǔ),然后通過標(biāo)記符標(biāo)記。我們還以字符ABD為例子,看如下圖:
目前從前向緩沖區(qū)中可以和滑動(dòng)窗口中可以匹配的最長(zhǎng)短語(yǔ)就是(A,B),然后向前移動(dòng)的時(shí)候再次遇到(A,B)的時(shí)候采用標(biāo)記符代替。
壓縮
當(dāng)壓縮數(shù)據(jù)的時(shí)候,前向緩沖區(qū)與移動(dòng)窗口之間在做短語(yǔ)匹配的是后會(huì)存在2種情況:
- 找不到匹配時(shí):將未匹配的符號(hào)編碼成符號(hào)標(biāo)記(多數(shù)都是字符本身)
- 找到匹配時(shí):將其最長(zhǎng)的匹配編碼成短語(yǔ)標(biāo)記。
- 短語(yǔ)標(biāo)記包含三部分信息:(滑動(dòng)窗口中的偏移量(從匹配開始的地方計(jì)算)、匹配中的符號(hào)個(gè)數(shù)、匹配結(jié)束后的前向緩沖區(qū)中的第一個(gè)符號(hào))。
一旦把n個(gè)符號(hào)編碼并生成響應(yīng)的標(biāo)記,就將這n個(gè)符號(hào)從滑動(dòng)窗口的一端移出,并用前向緩沖區(qū)中同樣數(shù)量的符號(hào)來代替它們,如此,滑動(dòng)窗口中始終有最新的短語(yǔ)。
我們采用圖例來看:
1、開始
2、滑動(dòng)窗口中沒有數(shù)據(jù),所以沒有匹配到短語(yǔ),將字符A標(biāo)記為A
3、滑動(dòng)窗口中有A,沒有從緩沖區(qū)中字符(BABC)中匹配到短語(yǔ),依然把B標(biāo)記為B
4、緩沖區(qū)字符(ABCB)在滑動(dòng)窗口的位移6位置找到AB,成功匹配到短語(yǔ)AB,將AB編碼為(6,2,C)
5、緩沖區(qū)字符(BABA)在滑動(dòng)窗口位移4的位置匹配到短語(yǔ)BAB,將BAB編碼為(4,3,A)
6、緩沖區(qū)字符(BCAD)在滑動(dòng)窗口位移2的位置匹配到短語(yǔ)BC,將BC編碼為(2,2,A)
7、緩沖區(qū)字符D,在滑動(dòng)窗口中沒有找到匹配短語(yǔ),標(biāo)記為D
8、緩沖區(qū)中沒有數(shù)據(jù)進(jìn)入了,結(jié)束
解壓
解壓類似于壓縮的逆向過程,通過解碼標(biāo)記和保持滑動(dòng)窗口中的符號(hào)來更新解壓數(shù)據(jù)。
當(dāng)解碼字符標(biāo)記:將標(biāo)記編碼成字符拷貝到滑動(dòng)窗口中
解碼短語(yǔ)標(biāo)記:在滑動(dòng)窗口中查找響應(yīng)偏移量,同時(shí)找到指定長(zhǎng)短的短語(yǔ)進(jìn)行替換。
我們還是采用圖例來看下:
1、開始
2、符號(hào)標(biāo)記A解碼
3、符號(hào)標(biāo)記B解碼
4、短語(yǔ)標(biāo)記(6,2,C)解碼
5、短語(yǔ)標(biāo)記(4,3,A)解碼
6、短語(yǔ)標(biāo)記(2,2,A)解碼
7、符號(hào)標(biāo)記D解碼
優(yōu)缺點(diǎn)
大多數(shù)情況下LZ77壓縮算法的壓縮比相當(dāng)高,當(dāng)然了也和你選擇滑動(dòng)窗口大小,以及前向緩沖區(qū)大小,以及數(shù)據(jù)熵有關(guān)系。其壓縮過程是比較耗時(shí)的,因?yàn)橐ㄙM(fèi)很多時(shí)間尋找滑動(dòng)窗口中的短語(yǔ)匹配,不過解壓過程會(huì)很快,因?yàn)槊總€(gè)標(biāo)記都明確告知在哪個(gè)位置可以讀取了。
以上就是LZ77壓縮算法原理的理解,如有疑問請(qǐng)留言或者到本站社區(qū)交流討論,感謝閱讀,希望能幫助到大家,謝謝大家對(duì)本站的支持!
相關(guān)文章
C++利用鏈表實(shí)現(xiàn)圖書信息管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了C++利用鏈表實(shí)現(xiàn)圖書信息管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-11-11C語(yǔ)言實(shí)現(xiàn)通訊錄系統(tǒng)程序
這篇文章主要為大家詳細(xì)介紹了C語(yǔ)言實(shí)現(xiàn)通訊錄系統(tǒng)程序,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-06-06C/C++中棧(stack)&堆(heap)詳解及其作用介紹
這篇文章主要介紹了C/C++中棧(stack)&堆(heap)詳解及其作用,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-09-09C++實(shí)現(xiàn)漢諾塔算法經(jīng)典實(shí)例
這篇文章主要介紹了C++實(shí)現(xiàn)漢諾塔算法經(jīng)典實(shí)例,代碼簡(jiǎn)潔高效,對(duì)于學(xué)習(xí)算法的朋友有一定的借鑒價(jià)值,需要的朋友可以參考下2014-07-07基于C++中常見內(nèi)存錯(cuò)誤的總結(jié)
本篇文章是對(duì)C++中常見的內(nèi)存錯(cuò)誤進(jìn)行了總結(jié)介紹。需要的朋友參考下2013-05-05C語(yǔ)言通過深度優(yōu)先搜索來解電梯問題和N皇后問題的示例
深度優(yōu)先搜索即是對(duì)一個(gè)新發(fā)現(xiàn)的節(jié)點(diǎn)上如果還關(guān)聯(lián)未探測(cè)到的邊,就沿此邊探測(cè)下去,直到發(fā)現(xiàn)從原點(diǎn)可達(dá)的所有點(diǎn)為止,這里我們就來展示C語(yǔ)言通過深度優(yōu)先搜索來解電梯問題和N皇后問題的示例2016-06-06