Linux中的EXT系列文件系統(tǒng)格式詳解
Linux文件系統(tǒng)
常見(jiàn)的硬盤如上圖所示,每個(gè)盤片分多個(gè)磁道,每個(gè)磁道分多個(gè)扇區(qū),每個(gè)扇區(qū)512字節(jié),是硬盤的最小存儲(chǔ)單元,但是在操作系統(tǒng)層面會(huì)將多個(gè)扇區(qū)組成塊(block),是操作系統(tǒng)存儲(chǔ)數(shù)據(jù)的最小單元,通常是8個(gè)扇區(qū)組成4K字節(jié)的塊。
對(duì)于Linux文件系統(tǒng),需要考慮以下幾點(diǎn):
- 文件系統(tǒng)需要有嚴(yán)格的組織形式,使文件能夠以塊為單位存儲(chǔ)
- 文件系統(tǒng)需要有索引區(qū),方便查找一個(gè)文件分成的多個(gè)塊存在了什么位置
- 如果有文件近期經(jīng)常被讀寫,需要有緩存層
- 文件應(yīng)該用文件夾的形式組織起來(lái)方便管理和查詢
- Linux內(nèi)核要在自己的內(nèi)存里維護(hù)一套數(shù)據(jù)結(jié)構(gòu),保持哪些文件被哪些進(jìn)程打開和使用
Linux里面一切皆文件,都有以下幾種文件(從ls -l結(jié)果的第一位標(biāo)識(shí)位可以看出來(lái)):
- - 表示普通文件
- d 表示文件夾
- c 表示字符設(shè)備文件
- b 表示塊設(shè)備文件
- s 表示套接字socket文件
- l 表示軟鏈接
Inode和塊存儲(chǔ)
下面就以EXT系列格式為例來(lái)看一下文件是如果存在硬盤上的。首先文件會(huì)被分成一個(gè)個(gè)的塊,分散得存在硬盤上,就需要一個(gè)索引結(jié)構(gòu)來(lái)幫助我們找到這些塊以及記錄文件的一些元信息,這就是inode,其中i代表index。inode數(shù)據(jù)結(jié)構(gòu)如下:
struct ext4_inode { __le16 i_mode; /* File mode */ __le16 i_uid; /* Low 16 bits of Owner Uid */ __le32 i_size_lo; /* Size in bytes */ __le32 i_atime; /* Access time */ __le32 i_ctime; /* Inode Change time */ __le32 i_mtime; /* Modification time */ __le32 i_dtime; /* Deletion Time */ __le16 i_gid; /* Low 16 bits of Group Id */ __le16 i_links_count; /* Links count */ __le32 i_blocks_lo; /* Blocks count */ __le32 i_flags; /* File flags */ union { struct { __le32 l_i_version; } linux1; struct { __u32 h_i_translator; } hurd1; struct { __u32 m_i_reserved1; } masix1; } osd1; /* OS dependent 1 */ __le32 i_block[EXT4_N_BLOCKS];/* Pointers to blocks */ __le32 i_generation; /* File version (for NFS) */ __le32 i_file_acl_lo; /* File ACL */ __le32 i_size_high; __le32 i_obso_faddr; /* Obsoleted fragment address */ union { struct { __le16 l_i_blocks_high; /* were l_i_reserved1 */ __le16 l_i_file_acl_high; __le16 l_i_uid_high; /* these 2 fields */ __le16 l_i_gid_high; /* were reserved2[0] */ __le16 l_i_checksum_lo;/* crc32c(uuid+inum+inode) LE */ __le16 l_i_reserved; } linux2; struct { __le16 h_i_reserved1; /* Obsoleted fragment number/size which are removed in ext4 */ __u16 h_i_mode_high; __u16 h_i_uid_high; __u16 h_i_gid_high; __u32 h_i_author; } hurd2; struct { __le16 h_i_reserved1; /* Obsoleted fragment number/size which are removed in ext4 */ __le16 m_i_file_acl_high; __u32 m_i_reserved2[2]; } masix2; } osd2; /* OS dependent 2 */ __le16 i_extra_isize; __le16 i_checksum_hi; /* crc32c(uuid+inum+inode) BE */ __le32 i_ctime_extra; /* extra Change time (nsec << 2 | epoch) */ __le32 i_mtime_extra; /* extra Modification time(nsec << 2 | epoch) */ __le32 i_atime_extra; /* extra Access time (nsec << 2 | epoch) */ __le32 i_crtime; /* File Creation time */ __le32 i_crtime_extra; /* extra FileCreationtime (nsec << 2 | epoch) */ __le32 i_version_hi; /* high 32 bits for 64-bit version */ __le32 i_projid; /* Project ID */ };
其中__le32 i_block[EXT4_N_BLOCKS]存儲(chǔ)了到數(shù)據(jù)塊的引用,EXT4_N_BLOCKS定義如下:
#define EXT4_NDIR_BLOCKS 12 #define EXT4_IND_BLOCK EXT4_NDIR_BLOCKS #define EXT4_DIND_BLOCK (EXT4_IND_BLOCK + 1) #define EXT4_TIND_BLOCK (EXT4_DIND_BLOCK + 1) #define EXT4_N_BLOCKS (EXT4_TIND_BLOCK + 1)
在ext2和ext3中i_block前12項(xiàng)存儲(chǔ)了直接到數(shù)據(jù)塊的引用,第13項(xiàng)存儲(chǔ)的是到間接塊的引用,在間接塊里存儲(chǔ)著數(shù)據(jù)塊的位置,以此類推,第14項(xiàng)里存儲(chǔ)著二次間接快的位置,第15項(xiàng)里存儲(chǔ)著三次間接塊的位置,如下圖所示:
不難看出,對(duì)于大文件,需要多次讀取硬盤才能找到相應(yīng)的塊,在ext4中就提出了Extents Tree來(lái)解決這一問(wèn)題,其核心思想就是把連續(xù)的塊用開始位置加塊的個(gè)數(shù)來(lái)表示,不再是一個(gè)一個(gè)去記錄每一個(gè)塊的位置,這樣就能節(jié)約存儲(chǔ)空間。首先,它將i_block中原來(lái)415=60字節(jié)的空間換成了一個(gè)extent header(ext4_extent_header)加4個(gè)extent entry(ext4_extent),因?yàn)閑xt4_extent_header和ext4_extent都是占用了12字節(jié)。ee_len中的第一個(gè)bit用來(lái)判斷是否初始化,所以它還能存儲(chǔ)最大32K個(gè)數(shù),所以一個(gè)extent entry里最大可以存32K4K=128M的數(shù)據(jù),如果一個(gè)文件大于4128M=512M或者這個(gè)文件被分散到多于4個(gè)不連續(xù)的塊中存儲(chǔ),我們就需要擴(kuò)展inode中的i_block結(jié)構(gòu)。它的extent entry就要從ext4_extent被換成ext4_extent_idx結(jié)構(gòu)體,它所指向的是一個(gè)塊,有4K字節(jié),除去header占用的12字節(jié),還能存340個(gè)ext4_extent,最大可以存340128M=42.5G的數(shù)據(jù)??梢钥闯鲞@種索引結(jié)構(gòu)在文件用連續(xù)的塊存儲(chǔ)時(shí)非常高效。
struct ext4_extent_header { __le16 eh_magic; /* ext4 extents標(biāo)識(shí):0xF30A */ __le16 eh_entries; /* 當(dāng)前層級(jí)中有效節(jié)點(diǎn)的數(shù)目 */ __le16 eh_max; /* 當(dāng)前層級(jí)中最大節(jié)點(diǎn)的數(shù)目 */ __le16 eh_depth; /* 當(dāng)前層級(jí)在樹中的深度,0為葉子節(jié)點(diǎn),即數(shù)據(jù)節(jié)點(diǎn),>0代表索引節(jié)點(diǎn) */ __le32 eh_generation; } struct ext4_extent { __le32 ee_block; /* extent的起始block邏輯序號(hào) */ __le16 ee_len; /* extent包含的block個(gè)數(shù) */ __le16 ee_start_hi; /*extent起始block的物理地址的高16位 */ __le32 ee_start_lo; /*extent起始block的物理地址的低32位 */ };//數(shù)據(jù)節(jié)點(diǎn)中的extent_body格式 struct ext4_extent_idx { __le32 ei_block; /* 索引所覆蓋的文件范圍的起始block的邏輯序號(hào) */ __le32 ei_leaf_lo; /* 存放下一級(jí)extents的block的物理地址的低32位 */ __le16 ei_leaf_hi; /* 存放下一級(jí)extents的block的物理地址的高16位 */ __u16 ei_unused; };//索引節(jié)點(diǎn)中的extent_body格式
舉一個(gè)/var/log/messages文件的例子如下圖所示:
inode位圖和塊位圖
硬盤上會(huì)有專門存放塊數(shù)據(jù)的區(qū)域也會(huì)有存放inode的區(qū)域,但是當(dāng)我們要新建一個(gè)文件時(shí),就需要知道哪個(gè)inode區(qū)域和哪個(gè)塊是空的,這就需要分別用一個(gè)塊來(lái)存儲(chǔ)inode位圖和一個(gè)塊來(lái)存儲(chǔ)塊位圖,每一個(gè)bit為1表示占用,為0表示未占用。但是一個(gè)塊最多有4K*8=32K個(gè)位,也就最多能表示32K個(gè)塊的狀態(tài),所以需要讓這些塊組成一個(gè)塊組,來(lái)搭出更大的系統(tǒng)。
硬鏈接和軟鏈接
硬鏈接與原文件共用一個(gè)inode,且inode不能跨文件系統(tǒng),所以硬鏈接也不能跨文件系統(tǒng)。
軟鏈接有自己inode,只是打開文件時(shí)是指向另外一個(gè)文件,所以可以跨文件系統(tǒng)且當(dāng)原文件被刪除后仍存在。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。
相關(guān)文章
linux搭建FastDFS文件服務(wù)器的實(shí)現(xiàn)步驟
本文主要介紹在linux服務(wù)器如何搭建FastDFS文件服務(wù)器。文中通過(guò)圖文示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-08-08linux系統(tǒng)Ansible自動(dòng)化運(yùn)維部署方法
在本篇文章里小編給大家整理了關(guān)于linux系統(tǒng)Ansible自動(dòng)化運(yùn)維部署方法以及知識(shí)點(diǎn)總結(jié),需要的朋友們參考下。2019-06-06LNMP系列教程之 SSL安裝WordPress博客(程序下載與安裝)
在之前的文章中,老左已經(jīng)在VPS中添加了站點(diǎn),然后我們就需要傳程序建站。我們可以利用WinSCP工具直接向我們的對(duì)應(yīng)的站點(diǎn)目錄中傳程序,然后添加數(shù)據(jù)庫(kù)安裝網(wǎng)站2012-09-09萬(wàn)網(wǎng)獨(dú)享主機(jī)Apache為Ecshop商城添加404頁(yè)面的方法詳解
基本都是做看客的角色,自己基本都沒(méi)寫過(guò)文章,不過(guò)昨天的經(jīng)歷確實(shí)讓我有想法了,因?yàn)樵诰W(wǎng)絡(luò)上面看了很多文章,每篇寫的都相對(duì)較片面,對(duì)于我這個(gè)Linux新手來(lái)說(shuō)不免有點(diǎn)分不清東南西北,一不小心就浪費(fèi)了半天時(shí)間。2011-03-03