快捷導(dǎo)航

CentOS服務(wù)器離線部署DeepSeek用作AI本地知識(shí)庫

更新時(shí)間：2025年02月22日 15:49:50 作者：lj907722644

本文介紹了如何在CentOS服務(wù)器離線部署DeepSeek用作AI本地知識(shí)庫,首先,通過Ollama工具下載并安裝DeepSeek模型,根據(jù)硬件配置選擇合適的模型大小,然后使用Docker安裝AnythingLLM,并提供了建立知識(shí)庫的步驟,最后,對(duì)比了AnythingLLM、Dify和Open-WebUI的功能和適用場(chǎng)景

最近國(guó)產(chǎn)大模型 DeepSeek 非?；穑捎谠L問人數(shù)過多經(jīng)常頻繁出現(xiàn)反應(yīng)遲緩甚至是宕機(jī)的情況。但萬幸的是，DeepSeek 是一個(gè)開源模型，我們可以通過本地部署在自己的終端上隨時(shí)使用，如果部署到本地后無需聯(lián)網(wǎng)即可直接使用。

1. 安裝Ollama

如果想要在本地運(yùn)行 DeepSeek 需要用到 Ollama 這個(gè)工具，這是一個(gè)開源的本地大模型運(yùn)行工具。

我們可以進(jìn)入 Ollama 官網(wǎng)下載 Ollama ，Ollama官網(wǎng)：https://ollama.com/download/linux

使用官網(wǎng)提供的命令直接安裝

curl -fsSL https://ollama.com/install.sh | sh

大概率下載不了安裝包，使用下面步驟手動(dòng)安裝吧

下載安裝包

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

官網(wǎng)提供命令下載安裝包，依然下載不了。

使用魔法上網(wǎng)，新開瀏覽器訪問https://ollama.com/download/ollama-linux-amd64.tgz會(huì)自動(dòng)下載。

將下載好的文件上傳至服務(wù)器 /opt/ollama 目錄

解壓ollama到/usr目錄下

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

啟動(dòng)腳本

vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
# 解決ollama無法訪問的問題
# 如果不配置這個(gè)，默認(rèn)是127.0.0.1:11434，只能夠本機(jī)連接，會(huì)導(dǎo)致docker部署的anythingllm連接不到ollama
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target

啟動(dòng)命令：

sudo systemctl daemon-reload
sudo systemctl enable ollama.service
sudo systemctl restart ollama.service
sudo systemctl status ollama.service

查看狀態(tài)：

# 查看ollama的版本
ollama -v

# 查看已安裝的大模型
ollama list

下載部署 Deepseek 模型

回到 https://ollama.com/ 網(wǎng)址中，在網(wǎng)頁上方搜索框中輸入 Deepseek-r1，這個(gè) Deepseek-r1 就是我們需要本地部署的一個(gè)模型。點(diǎn)擊 Deepseek-r1 后會(huì)進(jìn)入詳情界面，里面有多個(gè)參數(shù)規(guī)模可供選擇，從 1.5b 到 671b 都有。

需注意的是，這里我們需要根據(jù)自己電腦的硬件配置來選擇模型大小，大家可根據(jù)自己的電腦配置來自行選擇，當(dāng)然了，部署的本地模型越大，使用的深度求索效果就越好。

通過ollama安裝大模型(根據(jù)硬件配置選擇合適的)

本次安裝DeepSeek R1 7b

ollama run deepseek-r1:7b

? 安裝完成后可以測(cè)試問答

?

2. 使用docker安裝AnythingLLM

備注：AnythingLLM、Dify、Open-WebUI對(duì)比

	AnythingLLM	Dify	Open-WebUI
主要目標(biāo)	本地知識(shí)庫 + 向量檢索 + AI 問答	多場(chǎng)景對(duì)話管理 + 插件化擴(kuò)展	純聊天界面 + 多模型集成
對(duì) Ollama 的集成方式	配置后端地址，將 Ollama 作為推理引擎	配置“模型”選項(xiàng)，調(diào)用 Ollama 的本地 API	使用后臺(tái)插件或統(tǒng)一接口連接 Ollama
使用門檻	中等，需要了解向量檢索原理及一些配置	較高，需要熟悉插件體系與多模型管理	較低，以網(wǎng)頁 UI 為主進(jìn)行模型選擇和對(duì)話
文檔/知識(shí)庫支持	強(qiáng)：內(nèi)置文檔索引 + 檢索	通過插件或自定義場(chǎng)景支持（需要額外配置）	默認(rèn)弱，僅提供單純對(duì)話，需要自行擴(kuò)展
插件/擴(kuò)展性	具備一定的檢索擴(kuò)展和 API 接口，插件生態(tài)相對(duì)較少	強(qiáng)：本身就是一個(gè)可插拔平臺(tái)，可快速對(duì)接多服務(wù)	較為活躍，很多社區(qū)貢獻(xiàn)的小功能或自定義腳本
可視化界面	提供基本管理與問答界面	提供更豐富的對(duì)話流編排和配置界面	網(wǎng)頁化聊天 UI，操作簡(jiǎn)便
應(yīng)用場(chǎng)景	1. 企業(yè)文檔問答 2. 個(gè)人知識(shí)管理	1. 多模型/多場(chǎng)景切換 2. 插件式客服/應(yīng)用	1. 快速體驗(yàn)/切換本地模型 2. 個(gè)人聊天與測(cè)試
入門學(xué)習(xí)曲線	需要理解知識(shí)庫+檢索機(jī)制，但整體不算復(fù)雜	功能全面，但配置略復(fù)雜，適合有一定開發(fā)經(jīng)驗(yàn)的團(tuán)隊(duì)	易上手，安裝后打開網(wǎng)頁即可使用

AnythingLLM 更專注于文檔知識(shí)庫與問答場(chǎng)景，自帶向量檢索管理，可“多文檔整合”，接入 Ollama 后實(shí)現(xiàn)本地化問答。

Dify 功能多元，適合對(duì)話流管理、插件化擴(kuò)展、團(tuán)隊(duì)協(xié)同等復(fù)雜需求。只要能在其后臺(tái)正確配置 Ollama 地址，即可靈活調(diào)用。

Open-WebUI 走純粹聊天界面路線，你可以把它當(dāng)做一個(gè)能“輕松切換模型、馬上對(duì)話”的 Web 面板，如果只是想單純體驗(yàn) Ollama 的生成效果，Open-WebUI 也許是最方便的。

訪問地址：https://github.com/Mintplex-Labs/anything-llm/

下載鏡像

docker pull mintplexlabs/anythingllm

建目錄并賦權(quán)限

export STORAGE_LOCATION=/opt/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env"

chmod -R 777 /opt/anythingllm

運(yùn)行容器

docker run -d -p 13001:3001 --restart=always \
--name anythingllm --add-host=host.docker.internal:host-gateway \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

web訪問

訪問：http://服務(wù)器IP地址:13001