亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Docker部署Xinference的教程

 更新時(shí)間:2025年03月28日 11:02:38   作者:學(xué)亮編程手記  
這篇文章主要介紹了Docker部署Xinference的教程,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

Docker 鏡像

Xinference 在 Dockerhub 和 阿里云容器鏡像服務(wù) 中上傳了官方鏡像。

準(zhǔn)備工作

  • Xinference 使用 GPU 加速推理,該鏡像需要在有 GPU 顯卡并且安裝 CUDA 的機(jī)器上運(yùn)行。
  • 保證 CUDA 在機(jī)器上正確安裝。可以使用 nvidia-smi 檢查是否正確運(yùn)行。
  • 鏡像中的 CUDA 版本為 12.4 。為了不出現(xiàn)預(yù)期之外的問(wèn)題,請(qǐng)將宿主機(jī)的 CUDA 版本和 NVIDIA Driver 版本分別升級(jí)到 12.4550 以上。

Docker 鏡像

當(dāng)前,可以通過(guò)兩個(gè)渠道拉取 Xinference 的官方鏡像。

1. 在 Dockerhub 的 xprobe/xinference 倉(cāng)庫(kù)里。

2. Dockerhub 中的鏡像會(huì)同步上傳一份到阿里云公共鏡像倉(cāng)庫(kù)中,供訪(fǎng)問(wèn) Dockerhub 有困難的用戶(hù)拉取。

拉取命令:

docker pull registry.cn-hangzhou.aliyuncs.com/xprobe_xinference/xinference:<tag> 

目前可用的標(biāo)簽包括:

  • nightly-main: 這個(gè)鏡像會(huì)每天從 GitHub main 分支更新制作,不保證穩(wěn)定可靠。
  • v<release version>: 這個(gè)鏡像會(huì)在 Xinference 每次發(fā)布的時(shí)候制作,通??梢哉J(rèn)為是穩(wěn)定可靠的。
  • latest: 這個(gè)鏡像會(huì)在 Xinference 發(fā)布時(shí)指向最新的發(fā)布版本
  • 對(duì)于 CPU 版本,增加 -cpu 后綴,如 nightly-main-cpu。

自定義鏡像

如果需要安裝額外的依賴(lài),可以參考 xinference/deploy/docker/Dockerfile 。

請(qǐng)確保使用 Dockerfile 制作鏡像時(shí)在 Xinference 項(xiàng)目的根目錄下。

比如:

git clone https://github.com/xorbitsai/inference.git
cd inference
docker build --progress=plain -t test -f xinference/deploy/docker/Dockerfile .

使用鏡像

你可以使用如下方式在容器內(nèi)啟動(dòng) Xinference,同時(shí)將 9997 端口映射到宿主機(jī)的 9998 端口,并且指定日志級(jí)別為 DEBUG,也可以指定需要的環(huán)境變量。

docker run -e XINFERENCE_MODEL_SRC=modelscope -p 9998:9997 --gpus all xprobe/xinference:v<your_version> xinference-local -H 0.0.0.0 --log-level debug

警告:

  • --gpus 必須指定,正如前文描述,鏡像必須運(yùn)行在有 GPU 的機(jī)器上,否則會(huì)出現(xiàn)錯(cuò)誤。
  • -H 0.0.0.0 也是必須指定的,否則在容器外無(wú)法連接到 Xinference 服務(wù)。
  • 可以指定多個(gè) -e 選項(xiàng)賦值多個(gè)環(huán)境變量。

當(dāng)然,也可以運(yùn)行容器后,進(jìn)入容器內(nèi)手動(dòng)拉起 Xinference。

掛載模型目錄

默認(rèn)情況下,鏡像中不包含任何模型文件,使用過(guò)程中會(huì)在容器內(nèi)下載模型。

如果需要使用已經(jīng)下載好的模型,需要將宿主機(jī)的目錄掛載到容器內(nèi)。

這種情況下,需要在運(yùn)行容器時(shí)指定本地卷,并且為 Xinference 配置環(huán)境變量。

docker run -v </on/your/host>:</on/the/container> -e XINFERENCE_HOME=</on/the/container> -p 9998:9997 --gpus all xprobe/xinference:v<your_version> xinference-local -H 0.0.0.0

上述命令的原理是將主機(jī)上指定的目錄掛載到容器中,并設(shè)置 XINFERENCE_HOME 環(huán)境變量指向容器內(nèi)的該目錄。這樣,所有下載的模型文件將存儲(chǔ)在您在主機(jī)上指定的目錄中。

您無(wú)需擔(dān)心在 Docker 容器停止時(shí)丟失這些文件,下次運(yùn)行容器時(shí),您可以直接使用現(xiàn)有的模型,無(wú)需重復(fù)下載。

如果你在宿主機(jī)使用的默認(rèn)路徑下載的模型,由于 xinference cache 目錄是用的軟鏈的方式存儲(chǔ)模型,需要將原文件所在的目錄也掛載到容器內(nèi)。

例如你使用 huggingface 和 modelscope 作為模型倉(cāng)庫(kù),那么需要將這兩個(gè)對(duì)應(yīng)的目錄掛載到容器內(nèi),一般對(duì)應(yīng)的 cache 目錄分別在 <home_path>/.cache/huggingface 和 <home_path>/.cache/modelscope,使用的命令如下:

docker run \
  -v </your/home/path>/.xinference:/root/.xinference \
  -v </your/home/path>/.cache/huggingface:/root/.cache/huggingface \
  -v </your/home/path>/.cache/modelscope:/root/.cache/modelscope \
  -p 9997:9997 \
  --gpus all \
  xprobe/xinference:v<your_version> \
  xinference-local -H 0.0.0.0

links:

Docker 鏡像 — Xinference

總結(jié)

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • 使用Docker+Nginx部署vue項(xiàng)目詳細(xì)圖文教程

    使用Docker+Nginx部署vue項(xiàng)目詳細(xì)圖文教程

    這篇文章主要給大家介紹了關(guān)于使用Docker+Nginx部署vue項(xiàng)目的相關(guān)資料,文中通過(guò)圖文介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2023-09-09
  • docker?swarm快速部署redis分布式集群的詳細(xì)過(guò)程

    docker?swarm快速部署redis分布式集群的詳細(xì)過(guò)程

    這篇文章主要介紹了docker?swarm快速部署redis分布式集群,只需要通過(guò)docker-compose.yml文件和一個(gè)啟動(dòng)命令就完成redis分布式部署的方式,讓其分別部署在不同機(jī)器上,并實(shí)現(xiàn)集群搭建,需要的朋友可以參考下
    2022-10-10
  • Docker安裝RabbitMQ AMQP協(xié)議及重要角色

    Docker安裝RabbitMQ AMQP協(xié)議及重要角色

    這篇文章主要為大家介紹了Docker安裝RabbitMQ AMQP協(xié)議和主要角色詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-05-05
  • docker搭建memcached的詳細(xì)步驟

    docker搭建memcached的詳細(xì)步驟

    Memcached?是一個(gè)通用的分布式內(nèi)存緩存系統(tǒng),它通常用于通過(guò)在?RAM?中緩存數(shù)據(jù)和對(duì)象來(lái)加速動(dòng)態(tài)數(shù)據(jù)庫(kù)驅(qū)動(dòng)的網(wǎng)站,以減少必須讀取外部數(shù)據(jù)源(例如數(shù)據(jù)庫(kù)或?API)的次數(shù),這篇文章主要介紹了docker搭建memcache,需要的朋友可以參考下
    2022-07-07
  • Docker部署前后端分離項(xiàng)目的三種方式小結(jié)

    Docker部署前后端分離項(xiàng)目的三種方式小結(jié)

    本文主要介紹了Docker部署前后端分離項(xiàng)目的三種方式小結(jié),包含通過(guò)兩個(gè)容器部署,通過(guò)compose編排容器自動(dòng)部署和將前后端項(xiàng)目打成一個(gè)鏡像部署的三種方式,具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-03-03
  • 騰訊云服務(wù)器docker開(kāi)啟端口后無(wú)法訪(fǎng)問(wèn)的解決方法

    騰訊云服務(wù)器docker開(kāi)啟端口后無(wú)法訪(fǎng)問(wèn)的解決方法

    本文主要介紹了騰訊云服務(wù)器docker開(kāi)啟端口后無(wú)法訪(fǎng)問(wèn)的解決方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2023-06-06
  • Docker數(shù)據(jù)卷與攔截以及目錄攔截詳解

    Docker數(shù)據(jù)卷與攔截以及目錄攔截詳解

    在Docker中可以使用數(shù)據(jù)卷目錄掛載來(lái)將主機(jī)上的目錄與容器內(nèi)的目錄進(jìn)行映射,下面這篇文章主要給大家介紹了關(guān)于Docker數(shù)據(jù)卷與攔截以及目錄攔截的相關(guān)資料,需要的朋友可以參考下
    2024-01-01
  • docker安裝Elasticsearch7.6集群并設(shè)置密碼

    docker安裝Elasticsearch7.6集群并設(shè)置密碼

    這篇文章主要介紹了docker安裝Elasticsearch7.6集群并設(shè)置密碼,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-06-06
  • docker容器查看所有沒(méi)使用的鏡像并刪除的實(shí)現(xiàn)

    docker容器查看所有沒(méi)使用的鏡像并刪除的實(shí)現(xiàn)

    本文主要介紹了docker容器查看所有沒(méi)使用的鏡像并刪除的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2023-08-08
  • Docker部署Laravel應(yīng)用的實(shí)現(xiàn)示例

    Docker部署Laravel應(yīng)用的實(shí)現(xiàn)示例

    這篇文章主要介紹了Docker部署Laravel應(yīng)用的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-09-09

最新評(píng)論