Mysql數(shù)據(jù)庫自增id、uuid與雪花id詳解
概念介紹
三種主鍵
自增id :1 2 3 4 5……
uuid :UUID是Universally Unique Identifier的縮寫,它是在一定的范圍內(nèi)(從特定的名字空間到全球)唯一的機器生成的標識符。通用唯一標識符的意思,可以以業(yè)務實際user id為主鍵 比如QQ號 手機號等
雪花id :相比UUID無序生成的id而言,雪花算法是有序的(有時間參數(shù)),而且都是由數(shù)字組成。雪花id最大為64位,符合java中l(wèi)ong的長度64位。適用于大規(guī)模分布式
聚簇索引與非聚簇索引
自增id
自增的主鍵的值是順序的,所以Innodb把每一條記錄都存儲在一條記錄的后面。當達到頁面的最大填充因子時候(innodb默認的最大填充因子是頁大小的15/16,會留出1/16的空間留作以后的 修改):
①下一條記錄就會寫入新的頁中,一旦數(shù)據(jù)按照這種順序的方式加載,主鍵頁就會近乎于順序地記錄填滿,提升了頁面的最大填充率,不會有頁的浪費
②新插入的行一定會在原有的最大數(shù)據(jù)行下一行,mysql定位和尋址很快,不會為計算新行的位置而做出額外的消耗
③減少了頁分裂和碎片的產(chǎn)生
優(yōu)點:
1.自增,趨勢自增,可作為聚集索引,提升查詢效率
2.節(jié)省磁盤空間。500W數(shù)據(jù),UUID占5.4G,自增ID占2.5G.
3.查詢,寫入效率高:查詢略優(yōu)。在數(shù)據(jù)量大時候 高于uuid插入速度
缺點:
1.導入舊數(shù)據(jù)時,可能會ID重復,導致導入失敗。
2.分布式架構(gòu),多個Mysql實例可能會導致ID重復。
3.容易被外界攻破,知道業(yè)務實際情況。且例如:顯示公告內(nèi)容index?id=3這樣就很容易被人篡改為index?id=2.就可以調(diào)到第二條的內(nèi)容。
4對于高并發(fā)的負載,innodb在按主鍵進行插入的時候會造成明顯的鎖爭用,主鍵的上界會成為爭搶的熱點,因為所有的插入都發(fā)生在這里,并發(fā)插入會導致間隙鎖競爭。Auto_Increment鎖機制會造成自增鎖的搶奪,有一定的性能損失
uuid
缺點看上面
雪花id與應用
面試官: 小伙子,你低著頭笑什么吶。開始面試了,你知道訂單ID是怎么生成的嗎?
我: 還能咋生成?用數(shù)據(jù)庫主鍵自增唄。
面試官: 這樣不行啊。數(shù)據(jù)庫主鍵順序自增,每天有多少訂單量被競爭對手看的一清二楚,商業(yè)機密都暴露了。況且單機MySQL只能支持幾百量級的并發(fā),我們公司每天千萬訂單量,hold不住啊。
我: 嗯,那就用用數(shù)據(jù)庫集群,自增ID起始值按機器編號,步長等于機器數(shù)量。
比如有兩臺機器,第一臺機器生成的ID是1、3、5、7,第二臺機器生成的ID是2、4、6、8。性能不行就加機器,這并發(fā)量der一下就上去了。
面試官:小伙子,你想得倒是挺好。你有沒有想過實現(xiàn)百萬級的并發(fā),大概就需要2000臺機器,你這還只是用來生成訂單ID,公司再有錢也經(jīng)不起這么造。
我: 既然MySQL的并發(fā)量不行,我們是不是可以提前從MySQL獲取一批自增ID,加載到本地內(nèi)存中,然后從內(nèi)存中并發(fā)取,這并發(fā)性能豈不是杠杠滴。
面試官: 你還挺上道,這種叫號段模式。并發(fā)量是上去了,但是自增ID還是不能作為訂單ID的。
我: 用Java自帶UUID怎么樣?
import java.util.UUID; /** * @author yideng * @apiNote UUID示例 */ public class UUIDTest { public static void main(String[] args) { String orderId = UUID.randomUUID().toString().replace("-", ""); System.out.println(orderId); } } 輸出結(jié)果: 58e93ecab9c64295b15f7f4661edcbc1
面試官: 也不行。32位字符串會占用更大的空間,無序的字符串作數(shù)據(jù)庫主鍵,每次插入數(shù)據(jù)庫的時候,MySQL為了維護B+樹結(jié)構(gòu),需要頻繁調(diào)整節(jié)點順序,影響性能。況且字符串太長,也沒有任何業(yè)務含義,pass。
小伙子,你可能是沒參與過電商系統(tǒng),我先跟說一下生成訂單ID要滿足哪些條件:
全局唯一:如果訂單ID重復了,肯定要完蛋。 高性能:要做到高并發(fā)、低延遲。生成訂單ID都成為瓶頸了,那還得了。
高可用:至少要做到4個9,別動不動就宕機了。 易用性:如果為了滿足上述要求,搞了幾百臺服務器,復雜且難以維護,也不行。
數(shù)值且有序遞增:數(shù)值占用的空間更小,有序遞增能保證插入MySQL的時候更高性能。
嵌入業(yè)務含義:如果訂單ID里面能嵌入業(yè)務含義,就能通過訂單ID知道是哪個業(yè)務線生成的,便于排查問題。
我: 我聽說圈內(nèi)有一種流傳已久的分布式、高性能、高可用的訂單ID生成算法—雪花算法,完全能滿足你的上述要求。雪花算法生成ID是Long類型,長度64位。
第 1 位: 符號位,暫時不用。
第 2~42 位: 共41位,時間戳,單位是毫秒,可以支撐大約69年
第 43~52 位: 共10位,機器ID,最多可容納1024臺機器
第 53~64 位: 共12位,序列號,是自增值,表示同一毫秒內(nèi)產(chǎn)生的ID,單臺機器每毫秒最多可生成4096個訂單ID
接入非常簡單,不需要搭建服務集群,。代碼邏輯非常簡單,,同一毫秒內(nèi),訂單ID的序列號自增。同步鎖只作用于本機,機器之間互不影響,每毫秒可以生成四百萬個訂單ID,非常強悍。
生成規(guī)則不是固定的,可以根據(jù)自身的業(yè)務需求調(diào)整。如果你不需要那么大的并發(fā)量,可以把機器標識位拆出一部分,當作業(yè)務標識位,標識是哪個業(yè)務線生成的訂單ID。
面試官: 小伙子,有點東西,深藏不漏啊。再問個更難的問題,你覺得雪花算法還有改進的空間嗎?
你真是打破砂鍋問到底,不把我問趴下不結(jié)束。幸虧來之前我瞥了一眼一燈的文章。
我: 有的,雪花算法嚴重依賴系統(tǒng)時鐘。如果時鐘回撥,就會生成重復ID。
面試官: 有什么解決辦法嗎?
我: 有問題就會有答案。比如美團的Leaf(美團自研一種分布式ID生成系統(tǒng)),為了解決時鐘回撥,引入了zookeeper,原理也很簡單,就是比較當前系統(tǒng)時間跟生成節(jié)點的時間。
有的對并發(fā)要求更高的系統(tǒng),比如雙十一秒殺,每毫秒4百萬并發(fā)還不能滿足要求,就可以使用雪花算法和號段模式相結(jié)合,比如百度的UidGenerator、滴滴的TinyId。想想也是,號段模式的預先生成ID肯定是高性能分布式訂單ID的最終解決方案。
參考資料:http://chabaoo.cn/article/276649.htm
總結(jié)
1、舊系統(tǒng)或者單部署系統(tǒng),一般都采用自增主鍵,主要是便捷性考慮。優(yōu)缺點如下:
優(yōu)點:自增長字段往往用integer bigint類型,最多占8個字節(jié)。索引與外鍵 所占用的空間連帶減少,增刪改查 效率高。業(yè)務變化,不影響,不需要更新主鍵。
缺點:無法轉(zhuǎn)移數(shù)據(jù)庫,比如把表中的一批數(shù)據(jù) 轉(zhuǎn)移 或 附帶到 另一個表中,那么由于是自增長字段,那么會導致無法轉(zhuǎn)移,因為另外一個表可能已經(jīng)存在部分數(shù)據(jù),會造成主鍵沖突。自增長字段的缺陷。業(yè)務數(shù)據(jù)的完整性,無法保證。
2、對于高并發(fā)業(yè)務型數(shù)據(jù)表,尤其是分布式部署架構(gòu),一般建議盡量使用業(yè)務主鍵,主要是考慮到查詢效率、安全性以及分表分庫等的情況,優(yōu)缺點如下:
優(yōu)點:可以轉(zhuǎn)移數(shù)據(jù)庫,最大化節(jié)省了空間,因為并沒有多增加一個非業(yè)務字段做主鍵??梢员WC業(yè)務邏輯的完整性。避免產(chǎn)生垃圾數(shù)據(jù),銀行就是用業(yè)務字段做主鍵的,雖然效率低,但是安全。
缺點:如果業(yè)務發(fā)生改變,有可能需要修改主鍵,舉例:國家A表用身份證號做主鍵,然后其他很多表中的身份證號這列都是來自身份證表A中的主鍵(即外鍵),那么如果身份證號升級,比如從1代升級到2代,那么連帶的表的外鍵 的索引 通通都得發(fā)生變化,效率極低 因為會連帶更新一串用到這個外鍵的表,可見用業(yè)務字段做主鍵的話,要保證主鍵不經(jīng)常變化。
到此這篇關(guān)于Mysql數(shù)據(jù)庫自增id、uuid與雪花id的文章就介紹到這了,更多相關(guān)Mysql自增id、uuid與雪花id內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
MySQL部署時提示Table mysql.plugin doesn’t exist的解決方法
這篇文章主要介紹了MySQL部署時Table mysql.plugin doesn't exist的解決方法,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-06-06MySQL:reading initial communication packet問題解決方法
網(wǎng)站訪問出現(xiàn)如題錯誤,經(jīng)過檢查my.cnf,發(fā)現(xiàn)innodb_buffer_pool_size = 2048M 設置過大,調(diào)整為innodb_buffer_pool_size = 1024M即可,網(wǎng)上也有該問題的其他解決方法,但都不能解決我的問題2012-07-07