快捷導(dǎo)航

Mysql分片,大數(shù)據(jù)量時(shí)擴(kuò)容解決方案

更新時(shí)間：2024年06月01日 15:21:03 作者：FYHannnnnn

這篇文章主要介紹了Mysql分片,大數(shù)據(jù)量時(shí)擴(kuò)容解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

分片概念

分片（Sharding）就是用來(lái)確定數(shù)據(jù)在多臺(tái)存儲(chǔ)設(shè)備上分布的技術(shù)。

Shard這個(gè)詞的意思是“碎片”，如果將一個(gè)數(shù)據(jù)庫(kù)當(dāng)作一塊大玻璃，將這塊玻璃打碎，那么每一小塊都稱(chēng)為數(shù)據(jù)庫(kù)的碎片（Database Sharding）。

將一個(gè)數(shù)據(jù)庫(kù)打碎成多個(gè)的過(guò)程就叫做分片，分片是屬于橫向擴(kuò)展方案。

分片與分表的區(qū)別

分片：表示分配過(guò)程，是一個(gè)邏輯上概念，表示如何實(shí)現(xiàn)。

分庫(kù)分表：表示分配結(jié)果，是一個(gè)物理上概念，表示最終實(shí)現(xiàn)的結(jié)果

分片策略

基于范圍分片

根據(jù)特定的字段進(jìn)行拆分，比如ID0-100到 Cluster A節(jié)點(diǎn)中，100-200的到Cluster B節(jié)點(diǎn)中...

優(yōu)點(diǎn)：新的數(shù)據(jù)可以落在新的存儲(chǔ)節(jié)點(diǎn)上，如果集群擴(kuò)容，數(shù)據(jù)無(wú)需遷移。
缺點(diǎn)：熱點(diǎn)數(shù)據(jù)分部不均勻則會(huì)導(dǎo)致機(jī)器負(fù)荷程度的不均勻，會(huì)浪費(fèi)資源也會(huì)導(dǎo)致部分機(jī)器過(guò)載。

哈希取模分片（離散分片）

根據(jù)Hash算法取模對(duì)應(yīng)一些機(jī)器編號(hào)進(jìn)行入庫(kù)。

優(yōu)點(diǎn)：數(shù)據(jù)分配比較均勻，不容易出現(xiàn)冷熱不均，負(fù)荷不均的情況。
缺點(diǎn)：比較均勻，但是在擴(kuò)容時(shí)會(huì)產(chǎn)生大量的數(shù)據(jù)遷移（因?yàn)镠ash算法取模要整體重新計(jì)算），比如從n臺(tái)設(shè)備擴(kuò)容到n+1，絕大部分?jǐn)?shù)據(jù)需要重新分配和遷移。

一致性哈希分片

相比較傳統(tǒng)的Hash算法，通過(guò)環(huán)的方式在添加節(jié)點(diǎn)（擴(kuò)容）或者刪除節(jié)點(diǎn)時(shí)，只對(duì)增加節(jié)點(diǎn)的單個(gè)環(huán)上進(jìn)行添加，則無(wú)須進(jìn)行大面積的數(shù)據(jù)遷移。

在數(shù)據(jù)庫(kù)容量有限的情況下，分片，分庫(kù)，分表也會(huì)達(dá)到瓶頸，而這時(shí)候的擴(kuò)容方式則需要去橫向增加節(jié)點(diǎn)擴(kuò)容處理。

一，初期方案（停機(jī)擴(kuò)容）

停機(jī)擴(kuò)容，關(guān)閉服務(wù)不符合現(xiàn)階段高可用的價(jià)值觀，并且如果有問(wèn)題沒(méi)有及時(shí)測(cè)試出來(lái)啟動(dòng)了服務(wù)，運(yùn)行后發(fā)現(xiàn)問(wèn)題，數(shù)據(jù)會(huì)丟失一部分，難以回滾。

該方案雖然簡(jiǎn)單但只適合小型網(wǎng)站或者對(duì)高可用要求不高的程序，或是測(cè)試上線階段。