hadoop入門之namenode工作特點介紹
我要評論namenode始終在內(nèi)存中保存metedata（整個文件系統(tǒng)的目錄結(jié)構(gòu)，每個目錄有哪些文件，每個文件有哪些分塊及每個分塊保存在哪個DataNode上），用于處理“讀請求”（不需要修改內(nèi)容）
到有“寫請求”到來時，namenode會首先對metedata修改的內(nèi)容寫editlog到磁盤（每一次改變都會同步到磁盤。），成功返回后，才會修改內(nèi)存，并且向客戶端返回。客戶端在寫數(shù)據(jù)到每個datanode中。namenode在將metadata寫到editlog的時候會同步到磁盤。
Hadoop會維護(hù)一個fsimage文件，也就是namenode中metedata的鏡像，但是fsimage不會隨時與namenode內(nèi)存中的metedata保持一致（因為非常大），而是每隔一段時間通過合并editlog來更新內(nèi)容。Secondary namenode就是用來更新fsimage的
secondary namenode的工作流程
1.Secondary通知primary切換editlog（目的合并editlog）
2.Secondary從primary獲得fsimage和editlog（通過http）
3.Secondary將fsimage載入內(nèi)存，然后開始合并editlog
4.Secondary將新的fsimage發(fā)回給primary
5.Primary用新的fsimage替換舊的fsimage
什么時候checkpiont?
fs.checkpoint.period 指定兩次checkpoint的最大時間間隔，默認(rèn)3600秒。
fs.checkpoint.size 規(guī)定edits文件的最大值，一旦超過這個值則強(qiáng)制checkpoint，不管是否到達(dá)最大時間間隔。默認(rèn)大小是64M。
相關(guān)文章
- 本文主要介紹了hadoop的hdfs基本操作命令使用方法，大家參考使用吧2014-02-16
hadoop入門之設(shè)置datanode的心跳時間的方法
本文主要介紹了hadoop設(shè)置datanode的心跳時間的方法，大家參考使用吧2014-02-16hadoop入門之hadoop集群驗證任務(wù)存放在不同的節(jié)點上
本文主要介紹了hadoop集群驗證任務(wù)存放在不同的節(jié)點上的方法，大家參考使用吧2014-02-16hadoop入門之統(tǒng)計單詞在文件中出現(xiàn)的個數(shù)示例
本文主要介紹了hadoop統(tǒng)計單詞在文件中出現(xiàn)的個數(shù)的示例，大家參考使用吧2014-02-16- 本文主要介紹了hadoop驗證hdfs是否能夠正常運行的方法，大家參考使用吧2014-02-16
hadoop入門之通過頁面驗證hadoop是否安裝成功的方法
本文主要介紹了通過頁面驗證hadoop是否安裝成功的方法，大家參考使用吧2014-02-16- 本文本主要介紹在win7上搭建hadoop開發(fā)環(huán)境，大家參考使用吧2013-12-31
Hadoop權(quán)威指南（中文版） ((美) Tom White ) pdf掃描版
本書從hadoop的緣起開始，由淺入深，結(jié)合理論和實踐，全方位地介紹hado叩這一高性能處理海量數(shù)據(jù)集的理想工具2013-11-27
這篇教程從用戶的角度出發(fā)，全面介紹了Hadoop Map Reduce框架的各個方面，涉及到Hadoop的安裝、概述、輸入與輸出、相關(guān)的例子和用戶界面等2013-08-07
Hadoop分布式文件系統(tǒng)使用指南 中文pdf版
一本Hadoop教程，講述Hadoop分布式文件系統(tǒng)的使用，WEB接口、Shell命令、Secondary Namenode、Rebalancer、機(jī)架感知、安全模式、Fack、升級和回滾、文件權(quán)限和安全性、可擴(kuò)2013-08-07
