Docker?compose部署minio服務
介紹
最近才知道m(xù)inio這個對象存儲服務中間件,簡直相見恨晚,只怪我見識太短淺(哭泣臉)。
說得通俗易懂點,minio的作用就是用來存儲文件的,比如圖片、視頻、音頻等各種類型的文件。
那么問題來了,java本身就可以直接把文件寫到磁盤里面,為什么還要用minio呢?
- minio有完善的文件管理功能,包括針對文件的上傳,下載,刪除等
- minio有強大的糾刪功能,即便磁盤損壞,在一定程度上時可以避免丟失文件的
- minio有完善的權限管理功能,它可以針對不同的業(yè)務角色,分配不同的操作權限
- 天然的分布式存儲功能
- 高性能;在標準硬件上,對象存儲的讀/寫速度最高可以高達183 GB/s和171 GB/s
- 文檔全面,簡單易用
所以綜上所述,相較于其他的文件存儲方案,minio的競爭力還是很大的。下面附上官網(wǎng)鏈接。
單機版部署
一般為了簡單集成minio client,我們會自己部署一個單機版的先用用?,F(xiàn)在我們開始,講解一下如何快速部署一個單機版minio服務:
version: "3.7" services: minio: ? image: "quay.io/minio/minio:RELEASE.2022-08-02T23-59-16Z" ? ports: ? ? - "9000:9000" ? ? - "9001:9001" ? volumes: ? ? - "./minio/data1:/data1" ? ? - "./minio/data2:/data2" ? command: server --console-address ":9001" http://minio/data{1...2} ? environment: ? ? - MINIO_ROOT_USER=admin ? ? - MINIO_ROOT_PASSWORD=12345678 ? ? ?#- MINIO_ACCESS_KEY=AKIAIOSFODNN7EXAMPLE ? ? ?#- MINIO_SECRET_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY ? healthcheck: ? ? test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] ? ? interval: 30s ? ? timeout: 20s ? ? retries: 3
以上需要注意的幾個點:
- 需要暴露的端口有兩個,一個是API暴露端口9000,一個是服務管理頁面暴露端口9001。啟動成功后,訪問9001端口即可進入管理頁面。
- 單機版部署也可掛載多個磁盤,單個服務掛載超過(等于)4個磁盤,自動啟動糾刪碼模式,可以預防磁盤損壞的情況下,導致文件丟失。
- 最新版本里面已經(jīng)不使用MINIO_ACCESS_KEY和MINIO_SECRET_KEY兩個環(huán)境變量了,改由MINIO_ROOT_USER和MINIO_ROOT_PASSWORD替換。
- 啟動命令中
--console-address
代表指定服務管理頁面暴露的端口,http://minio/data{1...2}
代表指定的minio服務下面掛載的目標磁盤為/data1和/data2,否則磁盤掛載不起作用。API暴露端口可通過參數(shù)--address指定。
糾刪碼模式部署
為了啟動糾刪碼模式,我們需要在部署的服務上掛載至少4塊磁盤:
version: "3.7" services: minio: ? image: "quay.io/minio/minio:RELEASE.2022-08-02T23-59-16Z" ? ports: ? ? - "9000:9000" ? ? - "9001:9001" ? volumes: ? ? - "./minio/data1:/data1" ? ? - "./minio/data2:/data2" ? ? - "./minio/data3:/data3" ? ? - "./minio/data4:/data4" ? command: server --console-address ":9001" http://minio/data{1...4} ? environment: ? ? - MINIO_ROOT_USER=admin ? ? - MINIO_ROOT_PASSWORD=12345678 ? healthcheck: ? ? test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] ? ? interval: 30s ? ? timeout: 20s ? ? retries: 3
在單機模式部署的情況下,調(diào)整為糾刪碼模式,我們需要修改兩個地方:
- 掛載的磁盤增加到四個
- 啟動命令里面補上對應的掛載磁盤
該模式運行其中某個磁盤出現(xiàn)損壞的情況,在磁盤損壞后也能保證文件不會丟失。
分布式部署
在單機上部署糾刪碼模式只能保證磁盤損壞的情況下,文件不丟失;并不能解決單點故障的問題,所以我們下面為了避免單點故障導致服務不可用,把minio服務改成分布式部署。
我們就部署四個機器,每個機器掛載四個磁盤,這樣的話,我們就形成了分布式糾刪碼模式了,這樣的話,我們文件存儲服務的可靠性就大大地增強了。
- 首先準備四臺主機,ip地址分別為192.168.2.231,192.168.2.232,192.168.2.233,192.168.2.234;
- 其次,我們分別在四臺機器上部署一個minio服務實例,參考以下docker-compose.yml:
version: "3.7" services: minio: ? image: "quay.io/minio/minio:RELEASE.2022-08-02T23-59-16Z" ? ports: ? ? - "9000:9000" ? ? - "9001:9001" ? volumes: ? ? - "./minio/data1:/data1" ? ? - "./minio/data2:/data2" ? ? - "./minio/data3:/data3" ? ? - "./minio/data4:/data4" ? command: server --console-address ":9001" http://192.168.2.231:9000/data{1...4} http://192.168.2.232:9000/data{1...4} http://192.168.2.233:9000/data{1...4} http://192.168.2.234:9000/data{1...4} ? environment: ? ? - MINIO_ROOT_USER=admin ? ? - MINIO_ROOT_PASSWORD=12345678 ? healthcheck: ? ? test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] ? ? interval: 30s ? ? timeout: 20s ? ? retries: 3
在啟動命令中,我們需要把集群中所有的服務ip都寫進去,這樣的話,minio分布式服務才能正常通信。
- 部署負載均衡服務nginx
當四臺機器上的服務全部起來后,我們需要提供一個負載均衡服務作為訪問minio分布式服務的統(tǒng)一的入口,首當其沖我們就想到了nginx,所以我們在使用docker compose部署一個nginx服務:
version: '3.7' services: nginx: ? image: nginx:1.19.2-alpine ? hostname: nginx ? volumes: ? ? - ./nginx.conf:/etc/nginx/nginx.conf:ro ? ports: ? ? - "9000:9000" ? ? - "9001:9001"
下面是nginx配置文件:
user nginx; worker_processes auto; error_log /var/log/nginx/error.log warn; pid ? ? ? /var/run/nginx.pid; ? events { ? ?worker_connections 4096; } ? http { ? ?include ? ? ? /etc/nginx/mime.types; ? ?default_type application/octet-stream; ? ? ?log_format ?main ?'$remote_addr - $remote_user [$time_local] "$request" ' ? ? ? ? ? ? ? ? ? ? ?'$status $body_bytes_sent "$http_referer" ' ? ? ? ? ? ? ? ? ? ? ?'"$http_user_agent" "$http_x_forwarded_for"'; ? ? ?access_log /var/log/nginx/access.log main; ? ?sendfile ? ? ? on; ? ?keepalive_timeout 65; ? ? ?# include /etc/nginx/conf.d/*.conf; ? ? ?upstream minio { ? ? ? ?server 192.168.2.231:9000; ? ? ? ?server 192.168.2.232:9000; ? ? ? ?server 192.168.2.233:9000; ? ? ? ?server 192.168.2.234:9000; ? } ? ? ?upstream console { ? ? ? ?ip_hash; ? ? ? ?server 192.168.2.231:9001; ? ? ? ?server 192.168.2.232:9001; ? ? ? ?server 192.168.2.233:9001; ? ? ? ?server 192.168.2.234:9001; ? } ? ?server { ? ? ? ?listen ? ? ? 9000; ? ? ? ?listen [::]:9000; ? ? ? ?server_name localhost; ? ? ? ? ?# To allow special characters in headers ? ? ? ?ignore_invalid_headers off; ? ? ? ?# Allow any size file to be uploaded. ? ? ? ?# Set to a value such as 1000m; to restrict file size to a specific value ? ? ? ?client_max_body_size 0; ? ? ? ?# To disable buffering ? ? ? ?proxy_buffering off; ? ? ? ?proxy_request_buffering off; ? ? ? ? ?location / { ? ? ? ? ? ?proxy_set_header Host $http_host; ? ? ? ? ? ?proxy_set_header X-Real-IP $remote_addr; ? ? ? ? ? ?proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ? ? ? ? ? ?proxy_set_header X-Forwarded-Proto $scheme; ? ? ? ? ? ? ?proxy_connect_timeout 300; ? ? ? ? ? ?# Default is HTTP/1, keepalive is only enabled in HTTP/1.1 ? ? ? ? ? ?proxy_http_version 1.1; ? ? ? ? ? ?proxy_set_header Connection ""; ? ? ? ? ? ?chunked_transfer_encoding off; ? ? ? ? ? ? ?proxy_pass http://minio; ? ? ? } ? }? ? ?server { ? ? ? ?listen ? ? ? 9001; ? ? ? ?listen [::]:9001; ? ? ? ?server_name localhost; ? ? ? ? ?# To allow special characters in headers ? ? ? ?ignore_invalid_headers off; ? ? ? ?# Allow any size file to be uploaded. ? ? ? ?# Set to a value such as 1000m; to restrict file size to a specific value ? ? ? ?client_max_body_size 0; ? ? ? ?# To disable buffering ? ? ? ?proxy_buffering off; ? ? ? ?proxy_request_buffering off; ? ? ? ? ?location / { ? ? ? ? ? ?proxy_set_header Host $http_host; ? ? ? ? ? ?proxy_set_header X-Real-IP $remote_addr; ? ? ? ? ? ?proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ? ? ? ? ? ?proxy_set_header X-Forwarded-Proto $scheme; ? ? ? ? ? ?proxy_set_header X-NginX-Proxy true; ? ? ? ? ? ? ?# This is necessary to pass the correct IP to be hashed ? ? ? ? ? ?real_ip_header X-Real-IP; ? ? ? ? ? ? ?proxy_connect_timeout 300; ? ? ? ? ? ? ? ? ? ? ? ?# To support websocket ? ? ? ? ? ?proxy_http_version 1.1; ? ? ? ? ? ?proxy_set_header Upgrade $http_upgrade; ? ? ? ? ? ?proxy_set_header Connection "upgrade"; ? ? ? ? ? ? ? ? ? ? ? ?chunked_transfer_encoding off; ? ? ? ? ? ? ?proxy_pass http://console; ? ? ? } ? } }
啟動nginx服務,這樣所有的請求都通過nginx負載均衡到minio服務上。
這樣完成了minio服務的三種docker compose部署方式,逐次遞進地講解了每種方式的優(yōu)勢。如果我們只是為了集成minio到我們的應用程序中,只需要搭建一個單機版的服務即可。更多相關Docker compose內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Docker安裝Jenkins-2.249.3-1.1的詳細過程
這篇文章主要介紹了Docker安裝Jenkins-2.249.3-1.1,通過編寫docke安裝腳本來實現(xiàn)安裝目的,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-10-10Docker出現(xiàn)tag顯示none鏡像的處理方案
本文介紹了Docker中出現(xiàn)REPOSITORY和TAG都顯示為<none>的鏡像,即懸掛鏡像的原因,并提供了解決方法,包括查找和刪除懸掛鏡像,以及為它們指定新的標簽2025-02-02基于alpine用dockerfile創(chuàng)建的爬蟲Scrapy鏡像的實現(xiàn)
這篇文章主要介紹了基于alpine用dockerfile創(chuàng)建的爬蟲Scrapy鏡像的實現(xiàn),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-12-12docker-compose部署eureka服務端、客戶端的案例代碼
這篇文章主要介紹了docker-compose部署eureka服務端、客戶端,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-03-03