簡單了解Google的主力數(shù)據(jù)存儲系統(tǒng)Bigtable

BigTable是Google設(shè)計(jì)的分布式數(shù)據(jù)存儲系統(tǒng),用來處理海量的數(shù)據(jù)的一種非關(guān)系型的數(shù)據(jù)庫。
BigTable是非關(guān)系型數(shù)據(jù)庫,是一個稀疏的、分布式的、持久化存儲的多維度排序Map。Bigtable的設(shè)計(jì)目的是快速且可靠地處理PB級別的數(shù)據(jù),并且能夠部署到上千臺機(jī)器上。
Bigtable已經(jīng)實(shí)現(xiàn)了以下的幾個目標(biāo):適用性廣泛、可擴(kuò)展、高性能和高可用性。
Bigtable已經(jīng)在超過60個Google的產(chǎn)品和項(xiàng)目上得到了應(yīng)用,包括 Google Analytics、GoogleFinance、Orkut、Personalized Search、Writely和GoogleEarth。這些產(chǎn)品對Bigtable提出了迥異的需求,有的需要高吞吐量的批處理,有的則需要及時響應(yīng)數(shù)據(jù)給最終用戶。它們使用的Bigtable集群的配置也有很大的差異,有的集群只有幾臺服務(wù)器,而有的則需要上千臺服務(wù)器、存儲幾百TB的數(shù)據(jù)。
在很多方面,Bigtable和數(shù)據(jù)庫很類似:它使用了很多數(shù)據(jù)庫的實(shí)現(xiàn)策略。并行數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫已經(jīng)具備可擴(kuò)展性和高性能,但是Bigtable提供了一個和這些系統(tǒng)完全不同的接口。
Bigtable不支持完整的關(guān)系數(shù)據(jù)模型;與之相反,Bigtable為客戶提供了簡單的數(shù)據(jù)模型,利用這個模型,客戶可以動態(tài)控制數(shù)據(jù)的分布和格式(alex注:也就是對BigTable而言,數(shù)據(jù)是沒有格式的,用數(shù)據(jù)庫領(lǐng)域的術(shù)語說,就是數(shù)據(jù)沒有Schema,用戶自己去定義Schema),用戶也可以自己推測(alex注:reasonabout)底層存儲數(shù)據(jù)的位置相關(guān)性(alex注:位置相關(guān)性可以這樣理解,比如樹狀結(jié)構(gòu),具有相同前綴的數(shù)據(jù)的存放位置接近。在讀取的時候,可以把這些數(shù)據(jù)一次讀取出來)。數(shù)據(jù)的下標(biāo)是行和列的名字,名字可以是任意的字符串。
Bigtable將存儲的數(shù)據(jù)都視為字符串,但是Bigtable本身不去解析這些字符串,客戶程序通常會在把各種結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)串行化到這些字符串里。通過仔細(xì)選擇數(shù)據(jù)的模式,客戶可以控制數(shù)據(jù)的位置相關(guān)性。最后,可以通過BigTable的模式參數(shù)來控制數(shù)據(jù)是存放在內(nèi)存中還是硬盤上。
特點(diǎn):
1、適合大規(guī)模海量數(shù)據(jù),PB級數(shù)據(jù);
2、分布式、并發(fā)數(shù)據(jù)處理,效率極高;
3、易于擴(kuò)展,支持動態(tài)伸縮;
4、適用于廉價設(shè)備;
5、適合于讀操作,不適合寫操作。
6、不適用于傳統(tǒng)關(guān)系型數(shù)據(jù)庫;
應(yīng)用:
BigTable為谷歌旗下的搜索、地圖、財經(jīng)、打印、以及社交網(wǎng)站Orkut、視頻共享網(wǎng)站YouTube和博客網(wǎng)站Blogger等業(yè)務(wù)提供技術(shù)支持。
Cloud Bigtable
此外,Google也為用戶提供Bigtable云數(shù)據(jù)庫——他們的自有數(shù)據(jù)庫,在其搜索、Gmail、地圖或YouTube等服務(wù)中使用已超過十年時間。Bigtable不像Google的其它產(chǎn)品一樣開源,因此這一新的云服務(wù)只能通過開源接口Apache HBase 1.0.1 API訪問。
谷歌承諾,Cloud Bigtable的延遲時間將限制在幾毫秒(個位數(shù)),每美元性能是HBase、Cassandra等類似數(shù)據(jù)庫的兩倍。由于Cloud Bigtable支持HBase的應(yīng)用程序接口,所以它能夠與分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop生態(tài)系統(tǒng)中的現(xiàn)有應(yīng)用相整合,但也支持谷歌的云數(shù)據(jù)分析工具Cloud Dataflow。
Bigtable云的特性如下:
1.可擴(kuò)展至成百上千個PB
2.高可用性
3.可復(fù)制
4.數(shù)據(jù)以加密形式傳輸和存儲
5.全托管
6.與Hadoop生態(tài)系統(tǒng)集成
適用于金融、物聯(lián)網(wǎng)、時序和市場等領(lǐng)域的數(shù)據(jù)
Google稱Bigtable憑借“個位數(shù)毫秒級延遲以及兩倍于其它非托管NoSQL產(chǎn)品的性價比”提供“無與倫比的性能”。數(shù)據(jù)如下圖所示,該圖由Google發(fā)布,目前還沒有被某個獨(dú)立衡量基準(zhǔn)驗(yàn)證核實(shí)過。
相關(guān)文章
- 站點(diǎn)出于隱私的考慮不希望百度保留快照,網(wǎng)上也在不停地討論如何禁止百度保留快照的方法,那么,到底該如何禁止百度保留快照呢?本文將提供noarchive代碼禁止百度保留快照2015-12-30
- 網(wǎng)站的運(yùn)營,發(fā)展到今天,網(wǎng)站通用部分的功能,很多已經(jīng)有了非常成熟的產(chǎn)品插件可以使用,比起獨(dú)立開發(fā)的耗時、維護(hù),以及還有產(chǎn)品不成熟的風(fēng)險,這些網(wǎng)站的功能插件確實(shí)非2015-12-21
移動建站再現(xiàn)大招 只需要在網(wǎng)站加入一行代碼就能把PC網(wǎng)站搬到手機(jī)上
只需要在網(wǎng)站加入一行代碼,在幾個小時之內(nèi)就能擁有一個精美的手機(jī)網(wǎng)站?!這是搜狐快站最新推出的快適配即可實(shí)現(xiàn)的神奇功能。下面我們來看看它是如何使用的2014-10-24- 在CSS建站中,無論其代碼長度還是文件大小都會影響到網(wǎng)頁的正確展示盒速度。那么如何來進(jìn)行CSS的優(yōu)化和驗(yàn)證呢?如果你的css水平不能夠達(dá)到自檢的程度,那么今天就和筆者一2014-10-11
SEO優(yōu)化之HTML代碼優(yōu)化最重要的5個標(biāo)簽
眾所周知,HTML代碼一直是搜索引擎抓取的重點(diǎn)。搜索引擎會將HTML中的某些元素標(biāo)簽作為影響網(wǎng)頁排名的重要依據(jù)2014-04-15SEO優(yōu)化的發(fā)展趨勢和4點(diǎn)新思路
隨著360搜索引擎的出現(xiàn),在短短一年內(nèi)360占有的份額達(dá)到了10%以上,百度為了在眾多搜索引擎中占有不敗之位,在不斷的改革中。那么針對seo未來發(fā)展之路該走向何方2014-03-16cnzz統(tǒng)計(jì)代碼引起的Bad Request - Request Too Long的原因分析
用Chrome打開某些博客文章時,會出現(xiàn)Bad Request - Request Too Long. HTTP Error 400. The size of the request headers is too long.的錯誤頁面2014-01-24為什么谷歌要執(zhí)行嚴(yán)格的代碼編寫規(guī)范
我們在谷歌所做事情中另外一個讓我感到異常有效、有用的制度是嚴(yán)格的編碼規(guī)范2013-09-28- 百度在搜索結(jié)果中偏愛自己的產(chǎn)品是無用質(zhì)疑的,所以,越來越多的站長決定給網(wǎng)站頁面加上百度分享代碼2013-09-24
Web開發(fā):關(guān)于16進(jìn)制顏色代碼你又知道多少
RGB:RGB色彩模式是工業(yè)界的一種顏色標(biāo)準(zhǔn),是通過對紅(R)、綠(G)、藍(lán)(B)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的,RGB即是代表紅、綠、藍(lán)三個通道2013-08-23