快捷導(dǎo)航

CentOS服務(wù)器離線部署DeepSeek用作AI本地知識庫

更新時間：2025年02月22日 15:49:50 作者：lj907722644

本文介紹了如何在CentOS服務(wù)器離線部署DeepSeek用作AI本地知識庫,首先,通過Ollama工具下載并安裝DeepSeek模型,根據(jù)硬件配置選擇合適的模型大小,然后使用Docker安裝AnythingLLM,并提供了建立知識庫的步驟,最后,對比了AnythingLLM、Dify和Open-WebUI的功能和適用場景

最近國產(chǎn)大模型 DeepSeek 非?；?，但由于訪問人數(shù)過多經(jīng)常頻繁出現(xiàn)反應(yīng)遲緩甚至是宕機的情況。但萬幸的是，DeepSeek 是一個開源模型，我們可以通過本地部署在自己的終端上隨時使用，如果部署到本地后無需聯(lián)網(wǎng)即可直接使用。

1. 安裝Ollama

如果想要在本地運行 DeepSeek 需要用到 Ollama 這個工具，這是一個開源的本地大模型運行工具。

我們可以進入 Ollama 官網(wǎng)下載 Ollama ，Ollama官網(wǎng)：https://ollama.com/download/linux

使用官網(wǎng)提供的命令直接安裝

curl -fsSL https://ollama.com/install.sh | sh

大概率下載不了安裝包，使用下面步驟手動安裝吧

下載安裝包

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

官網(wǎng)提供命令下載安裝包，依然下載不了。

使用魔法上網(wǎng)，新開瀏覽器訪問https://ollama.com/download/ollama-linux-amd64.tgz會自動下載。

將下載好的文件上傳至服務(wù)器 /opt/ollama 目錄

解壓ollama到/usr目錄下

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

啟動腳本

vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
# 解決ollama無法訪問的問題
# 如果不配置這個，默認是127.0.0.1:11434，只能夠本機連接，會導(dǎo)致docker部署的anythingllm連接不到ollama
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target

啟動命令：

sudo systemctl daemon-reload
sudo systemctl enable ollama.service
sudo systemctl restart ollama.service
sudo systemctl status ollama.service

查看狀態(tài)：

# 查看ollama的版本
ollama -v

# 查看已安裝的大模型
ollama list

下載部署 Deepseek 模型

回到 https://ollama.com/ 網(wǎng)址中，在網(wǎng)頁上方搜索框中輸入 Deepseek-r1，這個 Deepseek-r1 就是我們需要本地部署的一個模型。點擊 Deepseek-r1 后會進入詳情界面，里面有多個參數(shù)規(guī)?？晒┻x擇，從 1.5b 到 671b 都有。

需注意的是，這里我們需要根據(jù)自己電腦的硬件配置來選擇模型大小，大家可根據(jù)自己的電腦配置來自行選擇，當然了，部署的本地模型越大，使用的深度求索效果就越好。

通過ollama安裝大模型(根據(jù)硬件配置選擇合適的)

本次安裝DeepSeek R1 7b

ollama run deepseek-r1:7b

? 安裝完成后可以測試問答

?

2. 使用docker安裝AnythingLLM

備注：AnythingLLM、Dify、Open-WebUI對比

	AnythingLLM	Dify	Open-WebUI
主要目標	本地知識庫 + 向量檢索 + AI 問答	多場景對話管理 + 插件化擴展	純聊天界面 + 多模型集成
對 Ollama 的集成方式	配置后端地址，將 Ollama 作為推理引擎	配置“模型”選項，調(diào)用 Ollama 的本地 API	使用后臺插件或統(tǒng)一接口連接 Ollama
使用門檻	中等，需要了解向量檢索原理及一些配置	較高，需要熟悉插件體系與多模型管理	較低，以網(wǎng)頁 UI 為主進行模型選擇和對話
文檔/知識庫支持	強：內(nèi)置文檔索引 + 檢索	通過插件或自定義場景支持（需要額外配置）	默認弱，僅提供單純對話，需要自行擴展
插件/擴展性	具備一定的檢索擴展和 API 接口，插件生態(tài)相對較少	強：本身就是一個可插拔平臺，可快速對接多服務(wù)	較為活躍，很多社區(qū)貢獻的小功能或自定義腳本
可視化界面	提供基本管理與問答界面	提供更豐富的對話流編排和配置界面	網(wǎng)頁化聊天 UI，操作簡便
應(yīng)用場景	1. 企業(yè)文檔問答 2. 個人知識管理	1. 多模型/多場景切換 2. 插件式客服/應(yīng)用	1. 快速體驗/切換本地模型 2. 個人聊天與測試
入門學習曲線	需要理解知識庫+檢索機制，但整體不算復(fù)雜	功能全面，但配置略復(fù)雜，適合有一定開發(fā)經(jīng)驗的團隊	易上手，安裝后打開網(wǎng)頁即可使用

AnythingLLM 更專注于文檔知識庫與問答場景，自帶向量檢索管理，可“多文檔整合”，接入 Ollama 后實現(xiàn)本地化問答。

Dify 功能多元，適合對話流管理、插件化擴展、團隊協(xié)同等復(fù)雜需求。只要能在其后臺正確配置 Ollama 地址，即可靈活調(diào)用。

Open-WebUI 走純粹聊天界面路線，你可以把它當做一個能“輕松切換模型、馬上對話”的 Web 面板，如果只是想單純體驗 Ollama 的生成效果，Open-WebUI 也許是最方便的。

訪問地址：https://github.com/Mintplex-Labs/anything-llm/

下載鏡像

docker pull mintplexlabs/anythingllm

建目錄并賦權(quán)限

export STORAGE_LOCATION=/opt/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env"

chmod -R 777 /opt/anythingllm

運行容器

docker run -d -p 13001:3001 --restart=always \
--name anythingllm --add-host=host.docker.internal:host-gateway \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

web訪問

訪問：http://服務(wù)器IP地址:13001