1、 hdfs架構(gòu)

在本系列文章三中出現(xiàn)了與hdfs相關(guān)的數(shù)個服務(wù)。

如果在hadoop配置時寫的配置文件不同，啟動的服務(wù)也有所區(qū)別

按照本系列文章二中的配置，會啟動以下服務(wù)：namenode、journalnode、datanode、zkfc。其關(guān)系如圖：

從圖中可以看出namenode是絕對的中心節(jié)點，所有的節(jié)點都會和它進行交互。圖中namenode有兩臺，一臺為active，另一臺為standby。其中active是正常提供namenode服務(wù)，standby不對外提供服務(wù)，它負(fù)責(zé)及時同步active的數(shù)據(jù)，并在active故障的時候轉(zhuǎn)換為active繼續(xù)提供服務(wù)。

namenode的下方是三臺datanode。

datanode負(fù)責(zé)存儲集群中的數(shù)據(jù)，并向namenode匯報其存儲數(shù)據(jù)的情況。

namenode左右兩邊的是兩個zkfc。

它負(fù)責(zé)的是namenode的故障轉(zhuǎn)移，在active的namenode故障的時候，由zkfc將standby的namenode轉(zhuǎn)換為active。zkfc上方連接的是zookeeper，它對namenode的故障轉(zhuǎn)移是依靠zookeeper來實現(xiàn)的。

namenode的上方是三臺journalnode集群。

journalnode負(fù)責(zé)存儲namenode的日志文件，由active的namenode向journalnode寫入，standby的namenode不會向journalnode寫日志，standby主要會從其中讀取日志文件。

注意，這里的日志文件不是普通的運行日志，而是namenode的操作日志。例如，客戶端向hdfs上傳了一個文件，這時namenode會執(zhí)行一系列操作來完成這次上傳，而這些操作連同操作方式與操作內(nèi)容一起寫到操作日志中(journalnode中)，通過這些操作日志可以還原這次上傳操作。

2、 namenode介紹

namenode作為hdfs的核心，它主要的作用是管理文件的元數(shù)據(jù)

元數(shù)據(jù)主要包括三類：文件的命名空間、文件與塊的對應(yīng)關(guān)系、塊的存儲位置。

文件與塊的對應(yīng)關(guān)系中的塊

是由于hdfs在存儲文件的時候并不是將整個文件將存儲在某一臺datanode上，而是將文件按照指定的大小切割成一定數(shù)量的塊。

namenode負(fù)責(zé)管理hdfs的元數(shù)據(jù)

這意味著所有與hdfs相關(guān)的操作都需要與namenode進行交互。這樣namenode的速度就不能太慢，所以namenode將元數(shù)據(jù)存儲在內(nèi)存中。但是數(shù)據(jù)不能只存儲在內(nèi)存中，所以這時需要將數(shù)據(jù)持久化到硬盤中。

namenode的數(shù)據(jù)持久化，采用了一種日志加快照的方式

日志即上文提到的操作日志，快照即將內(nèi)存中的數(shù)據(jù)狀態(tài)直接序列化到硬盤。在安裝集群的時候會先格式化namenode，這時便會創(chuàng)建一個快照文件，名為fsimage。然后在namenode運行的時候它會將操作日志寫入到fsimage文件所在的文件夾中。這里根據(jù)配置的不同寫入的路徑有所不同。如果使用本系列文章二中的配置，這個日志文件還會被寫到j(luò)ournalnode中。

最后還會有一個程序讀取這個快照文件和日志文件

將數(shù)據(jù)恢復(fù)到最新的狀態(tài)，然后再更新原來的快照文件。下一次再讀取快照和日志文件的時候就只讀最新的文件。這里的程序會根據(jù)配置的不同有所區(qū)別，按照本系列文章二中的配置來說，是standby的namenode。這里為什么不直接使用active的namenode執(zhí)行更新fsimage文件，而是使用standby的namenode先讀取active的日志，然后再重演一遍操作日志恢復(fù)數(shù)據(jù)再由standby的namenode更新fsimage文件。這是因為更新fsimage操作很費時間，由active的namenode執(zhí)行會導(dǎo)致整個集群不可用。

以上就是Hadoop源碼分析五hdfs架構(gòu)原理剖析的詳細(xì)內(nèi)容，本系列下一篇文章傳送門Hadoop源碼分析六啟動文件namenode原理詳解更多關(guān)于Hadoop源碼分析的資料請持續(xù)關(guān)注腳本之家更新！

最新評論