Docker?文件系統(tǒng)-AUFS?原理介紹
前言:
我們知道,Docker
主要是基于 Namespace
、cgroups
和聯(lián)合文件系統(tǒng)這三大核心技術(shù)實現(xiàn)的。前面的課時我詳細(xì)講解了 Namespace 和 cgroups 的相關(guān)原理,那么你知道聯(lián)合文件系統(tǒng)是什么嗎?它的原理又是什么呢?
首先我們來了解一下什么是聯(lián)合文件系統(tǒng)。
什么是聯(lián)合文件系統(tǒng)
聯(lián)合文件系統(tǒng)(Union File System,Unionfs)是一種分層的輕量級文件系統(tǒng),它可以把多個目錄內(nèi)容聯(lián)合掛載到同一目錄下,從而形成一個單一的文件系統(tǒng),這種特性可以讓使用者像是使用一個目錄一樣使用聯(lián)合文件系統(tǒng)。
那聯(lián)合文件系統(tǒng)對于 Docker 是一個怎樣的存在呢?它可以說是 Docker 鏡像和容器的基礎(chǔ),因為它可以使 Docker 可以把鏡像做成分層的結(jié)構(gòu),從而使得鏡像的每一層可以被共享。例如兩個業(yè)務(wù)鏡像都是基于 CentOS 7 鏡像構(gòu)建的,那么這兩個業(yè)務(wù)鏡像在物理機(jī)上只需要存儲一次 CentOS 7 這個基礎(chǔ)鏡像即可,從而節(jié)省大量存儲空間。
說到這兒,你有沒有發(fā)現(xiàn),聯(lián)合文件系統(tǒng)只是一個概念,真正實現(xiàn)聯(lián)合文件系統(tǒng)才是關(guān)鍵,那如何實現(xiàn)呢?其實實現(xiàn)方案有很多,Docker 中最常用的聯(lián)合文件系統(tǒng)有三種:AUFS、Devicemapper 和 OverlayFS。
今天我主要講解 Docker 中最常用的聯(lián)合文件系統(tǒng)里的 AUFS,為什么呢?因為 AUFS 是 Docker 最早使用的文件系統(tǒng)驅(qū)動,多用于 Ubuntu 和 Debian 系統(tǒng)中。在 Docker 早期,OverlayFS 和 Devicemapper 相對不夠成熟,AUFS 是最早也是最穩(wěn)定的文件系統(tǒng)驅(qū)動。 Devicemapper 和 OverlayFS 聯(lián)合文件系統(tǒng)。
接下來,我們就看看如何配置 Docker 的 AUFS 模式。
如何配置 Docker 的 AUFS 模式
AUFS 目前并未被合并到 Linux 內(nèi)核主線,因此只有 Ubuntu 和 Debian 等少數(shù)操作系統(tǒng)支持 AUFS。
我們可以使用以下命令查看你的系統(tǒng)是否支持 AUFS:
$ grep aufs /proc/filesystems nodev aufs
執(zhí)行以上命令后,如果輸出結(jié)果包含??aufs?
?,則代表當(dāng)前操作系統(tǒng)支持 AUFS。AUFS 推薦在 Ubuntu 或 Debian 操作系統(tǒng)下使用,如果你想要在 CentOS 等操作系統(tǒng)下使用 AUFS,需要單獨安裝 AUFS 模塊(生產(chǎn)環(huán)境不推薦在 CentOS 下使用 AUFS,如果你想在 CentOS 下安裝 AUFS 用于研究和測試,可以參考這個? ?鏈接??),安裝完成后使用上述命令輸出結(jié)果中有??aufs?
?即可。
當(dāng)確認(rèn)完操作系統(tǒng)支持 AUFS 后,你就可以配置 Docker 的啟動參數(shù)了。
先在 /etc/docker 下新建 daemon.json 文件,并寫入以下內(nèi)容:
{ "storage-driver": "aufs" }
然后使用以下命令重啟 Docker:
$ sudo systemctl restart docker
Docker 重啟以后使用??docker info?
?命令即可查看配置是否生效:
$ sudo docker info Client: Debug Mode: false Server: Containers: 0 Running: 0 Paused: 0 Stopped: 0 Images: 1 Server Version: 19.03.12 Storage Driver: aufs Root Dir: /var/lib/docker/aufs Backing Filesystem: extfs Dirs: 1 Dirperm1 Supported: true
可以看到 Storage Driver
已經(jīng)變?yōu)?aufs,證明配置已經(jīng)生效,配置生效后就可以使用 AUFS 為 Docker 提供聯(lián)合文件系統(tǒng)了。
配置好 Docker 的 AUFS 聯(lián)合文件系統(tǒng)后,你一定很好奇 AUFS 到底是如何工作的呢?下面我?guī)阍敿?xì)學(xué)習(xí)一下 AUFS 的工作原理。
AUFS 工作原理
AUFS 是如何存儲文件的?
AUFS 是聯(lián)合文件系統(tǒng),意味著它在主機(jī)上使用多層目錄存儲,每一個目錄在 AUFS 中都叫作分支,而在 Docker 中則稱之為層(layer),但最終呈現(xiàn)給用戶的則是一個普通單層的文件系統(tǒng),我們把多層以單一層的方式呈現(xiàn)出來的過程叫作聯(lián)合掛載。
如上圖,每一個鏡像層和容器層都是 /var/lib/docker 下的一個子目錄,鏡像層和容器層都在 aufs/diff 目錄下,每一層的目錄名稱是鏡像或容器的 ID 值,聯(lián)合掛載點在 aufs/mnt 目錄下,mnt 目錄是真正的容器工作目錄。
下面我們針對 aufs 文件夾下的各目錄結(jié)構(gòu),在創(chuàng)建容器前后的變化做詳細(xì)講述。
當(dāng)一個鏡像未生成容器時,AUFS 的存儲結(jié)構(gòu)如下。
- diff 文件夾:存儲鏡像內(nèi)容,每一層都存儲在以鏡像層 ID 命名的子文件夾中。
- layers 文件夾:存儲鏡像層關(guān)系的元數(shù)據(jù),在 diff 文件夾下的每個鏡像層在這里都會有一個文件,文件的內(nèi)容為該層鏡像的父級鏡像的 ID。
- mnt 文件夾:聯(lián)合掛載點目錄,未生成容器時,該目錄為空。
當(dāng)一個鏡像已經(jīng)生成容器時,AUFS 存儲結(jié)構(gòu)會發(fā)生如下變化。
- diff 文件夾:當(dāng)容器運行時,會在 diff 目錄下生成容器層。
- layers 文件夾:增加容器層相關(guān)的元數(shù)據(jù)。
- mnt 文件夾:容器的聯(lián)合掛載點,這和容器中看到的文件內(nèi)容一致。
以上便是 AUFS 的工作原理,那你知道容器的在工作過程中是如何使用 AUFS 的嗎?
AUFS 是如何工作的?
AUFS 的工作過程中對文件的操作分為讀取文件和修改文件。下面我們分別來看下 AUFS 對于不同的文件操作是如何工作的。
1. 讀取文件
當(dāng)我們在容器中讀取文件時,可能會有以下場景。
- 文件在容器層中存在時:當(dāng)文件存在于容器層時,直接從容器層讀取。
- 當(dāng)文件在容器層中不存在時:當(dāng)容器運行時需要讀取某個文件,如果容器層中不存在時,則從鏡像層查找該文件,然后讀取文件內(nèi)容。
- 文件既存在于鏡像層,又存在于容器層:當(dāng)我們讀取的文件既存在于鏡像層,又存在于容器層時,將會從容器層讀取該文件。
修改文件或目錄
AUFS 對文件的修改采用的是寫時復(fù)制的工作機(jī)制,這種工作機(jī)制可以最大程度節(jié)省存儲空間。
具體的文件操作機(jī)制如下。
- 第一次修改文件:當(dāng)我們第一次在容器中修改某個文件時,AUFS 會觸發(fā)寫時復(fù)制操作,AUFS 首先從鏡像層復(fù)制文件到容器層,然后再執(zhí)行對應(yīng)的修改操作。
AUFS 寫時復(fù)制的操作將會復(fù)制整個文件,如果文件過大,將會大大降低文件系統(tǒng)的性能,因此當(dāng)我們有大量文件需要被修改時,AUFS 可能會出現(xiàn)明顯的延遲。好在,寫時復(fù)制操作只在第一次修改文件時觸發(fā),對日常使用沒有太大影響。
- 刪除文件或目錄:當(dāng)文件或目錄被刪除時,AUFS 并不會真正從鏡像中刪除它,因為鏡像層是只讀的,AUFS 會創(chuàng)建一個特殊的文件或文件夾,這種特殊的文件或文件夾會阻止容器的訪問。
下面我們通過一個實例來演示一下 AUFS 。
AUFS 演示
準(zhǔn)備演示目錄和文件
首先我們在 /tmp 目錄下創(chuàng)建 aufs 目錄:
$ cd /tmp /tmp$ mkdir aufs
準(zhǔn)備掛載點目錄:
/tmp$ cd aufs /tmp/aufs$ mkdir mnt
接下來準(zhǔn)備容器層內(nèi)容:
## 創(chuàng)建鏡像層目錄 /tmp/aufs$ mkdir container1 ## 在鏡像層目錄下準(zhǔn)備一個文件 /tmp/aufs$ echo Hello, Container layer! > container1/container1.txt
最后準(zhǔn)備鏡像層內(nèi)容:
## 創(chuàng)建兩個鏡像層目錄 /tmp/aufs$ mkdir image1 && mkdir image2 ## 分別寫入數(shù)據(jù) /tmp/aufs$ echo Hello, Image layer1! > image1/image1.txt /tmp/aufs$ echo Hello, Image layer2! > image2/image2.txt
準(zhǔn)備好的目錄和文件結(jié)構(gòu)如下:
/tmp/aufs$ tree . . |-- container1 | `-- container1.txt |-- image1 | `-- image1.txt |-- image2 | `-- image2.txt `-- mnt 4 directories, 3 files
創(chuàng)建 AUFS 聯(lián)合文件系統(tǒng)
使用 mount 命令可以創(chuàng)建 AUFS 類型的文件系統(tǒng),命令如下:
/tmp/aufs$ sudo mount -t aufs -o dirs=./container1:./image2:./image1 none ./mnt
mount 命令創(chuàng)建 AUFS 類型文件系統(tǒng)時,這里要注意,dirs 參數(shù)第一個冒號默認(rèn)為讀寫權(quán)限,后面的目錄均為只讀權(quán)限,與 Docker 容器使用 AUFS 的模式一致。
執(zhí)行完上述命令后,mnt 變成了 AUFS 的聯(lián)合掛載目錄,我們可以使用 mount 命令查看一下已經(jīng)創(chuàng)建的 AUFS 文件系統(tǒng):
/tmp/aufs$ mount -t aufs none on /tmp/aufs/mnt type aufs (rw,relatime,si=4174b83d649ffb7c)
我們每創(chuàng)建一個 AUFS 文件系統(tǒng),AUFS 都會為我們生成一個 ID,這個 ID 在 /sys/fs/aufs/ 會創(chuàng)建對應(yīng)的目錄,在這個 ID 的目錄下可以查看文件掛載的權(quán)限。
tmp/aufs$ cat /sys/fs/aufs/si_4174b83d649ffb7c/* /tmp/aufs/container1=rw /tmp/aufs/image2=ro /tmp/aufs/image1=ro 64 65 66
可以看到 container1 目錄的權(quán)限為 rw(代表可讀寫),image1 和 image2 的權(quán)限為 ro(代表只讀)。
為了驗證 mnt 目錄下可以看到 container1、image1 和 image2 目錄下的所有內(nèi)容,我們使用 ls 命令查看一下 mnt 目錄:
/tmp/aufs$ ls -l mnt/ total 12 -rw-rw-r-- 1 ubuntu ubuntu 24 Sep 9 16:55 container1.txt -rw-rw-r-- 1 ubuntu ubuntu 21 Sep 9 16:59 image1.txt -rw-rw-r-- 1 ubuntu ubuntu 21 Sep 9 16:59 image2.txt
可以看到 mnt 目錄下已經(jīng)出現(xiàn)了我們準(zhǔn)備的所有鏡像層和容器層的文件。下面讓我們來驗證一下 AUFS 的寫時復(fù)制。
驗證 AUFS 的寫時復(fù)制
AUFS 的寫時復(fù)制是指在容器中,只有需要修改某個文件時,才會把文件從鏡像層復(fù)制到容器層,下面我們通過修改聯(lián)合掛載目錄 mnt 下的內(nèi)容來驗證下這個過程。
我們使用以下命令修改 mnt 目錄下的 image1.txt 文件:
/tmp/aufs$ echo Hello, Image layer1 changed! > mnt/image1.txt
然后我們查看下 image1/image1.txt 文件內(nèi)容:
/tmp/aufs$ cat image1/image1.txt Hello, Image layer1!
發(fā)現(xiàn)“鏡像層”的 image1.txt 文件并未被修改。
然后我們查看一下"容器層"對應(yīng)的 image1.txt 文件內(nèi)容:
/tmp/aufs$ ls -l container1/ total 8 -rw-rw-r-- 1 ubuntu ubuntu 24 Sep 9 16:55 container1.txt -rw-rw-r-- 1 ubuntu ubuntu 29 Sep 9 17:21 image1.txt ## 查看文件內(nèi)容 /tmp/aufs$ cat container1/image1.txt Hello, Image layer1 changed!
發(fā)現(xiàn) AUFS 在“容器層”自動創(chuàng)建了 image1.txt 文件,并且內(nèi)容為我們剛才寫入的內(nèi)容。
至此,我們完成了 AUFS 寫時復(fù)制的驗證。我們在第一次修改鏡像內(nèi)某個文件時,AUFS 會復(fù)制這個文件到容器層,然后在容器層對該文件進(jìn)行修改操作,這就是 AUFS 最典型的特性寫時復(fù)制。
結(jié)語
相信你知道了聯(lián)合文件系統(tǒng)是一種分層的輕量級文件系統(tǒng),它可以把多個目錄內(nèi)容聯(lián)合掛載到同一目錄下,從而形成一個單一的文件系統(tǒng)。同時也學(xué)會了如何配置 Docker 使用 AUFS ,并且明白了 AUFS 的工作原理。
到此這篇關(guān)于Docker 文件系統(tǒng)-AUFS 原理介紹的文章就介紹到這了,更多相關(guān)Docker 文件系統(tǒng)AUFS內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Docker中Dockerfile之容器中運行MyEclipse搭建的JavaWeb項目
本篇文章主要介紹了Docker中Dockerfile之容器中運行MyEclipse搭建的JavaWeb項目,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-02-02Mac OSX系統(tǒng) Docker啟用Docker遠(yuǎn)程API功能
這篇文章主要介紹了Mac OSX系統(tǒng) Docker啟用Docker遠(yuǎn)程API功能的相關(guān)資料,需要的朋友可以參考下2016-10-10Docker?Compose搭建Wordpress服務(wù)實現(xiàn)詳解
這篇文章主要為大家介紹了Docker?Compose搭建Wordpress服務(wù)實現(xiàn)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-03-03使用docker-compose如何做nginx服務(wù)
這篇文章主要介紹了使用docker-compose如何做nginx服務(wù)問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01docker之MySQL同步數(shù)據(jù)的實現(xiàn)
本文主要介紹了docker之MySQL同步數(shù)據(jù)的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07Docker安裝部署Redis數(shù)據(jù)庫的實現(xiàn)步驟
本文主要介紹了Docker安裝部署Redis數(shù)據(jù)庫的實現(xiàn)步驟,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02