Ollama是一個開源的 LLM（大型語言模型）服務工具，用于簡化在本地運行大語言模型、降低使用大語言模型的門檻，使得大模型的開發(fā)者、研究人員和愛好者能夠在本地環(huán)境快速實驗、管理和部署最新大語言模型，支持與DeepSeek R1模型搭配本地部署，還包括如Qwen2、Llama3、Phi3、Gemma2等開源的大型語言模型。

Ollama for Mac蘋果電腦版：點擊下載

Ollama 與 Llama 有什么關系？

Llama是 Meta 公司開源的備受歡迎的一個通用大語言模型，和其他大模型一樣，Llama可以通過Ollama進行管理部署和推理等。

因此，Ollama與Llama的關系：Llama是大語言模型，而Ollama是大語言模型（不限于Llama模型）便捷的管理和運維工具，它們只是名字后面部分恰巧相同而已！

Ollama 安裝和常用系統(tǒng)參數(shù)設置

Ollama的安裝過程，與安裝其他普通軟件并沒有什么兩樣。

安裝完成之后，有幾個常用的系統(tǒng)環(huán)境變量參數(shù)建議進行設置：

OLLAMA_MODELS：模型文件存放目錄，默認目錄為當前用戶目錄（Windows 目錄：C:\Users%username%.ollama\models，MacOS 目錄：~/.ollama/models，Linux 目錄：/usr/share/ollama/.ollama/models），如果是 Windows 系統(tǒng)建議修改（如：D:\OllamaModels），避免 C 盤空間吃緊

OLLAMA_HOST：Ollama 服務監(jiān)聽的網(wǎng)絡地址，默認為127.0.0.1，如果允許其他電腦訪問 Ollama（如：局域網(wǎng)中的其他電腦），建議設置成0.0.0.0，從而允許其他網(wǎng)絡訪問

OLLAMA_PORT：Ollama 服務監(jiān)聽的默認端口，默認為11434，如果端口有沖突，可以修改設置成其他端口（如：8080等）

OLLAMA_ORIGINS：HTTP 客戶端請求來源，半角逗號分隔列表，若本地使用無嚴格要求，可以設置成星號，代表不受限制

OLLAMA_KEEP_ALIVE：大模型加載到內(nèi)存中后的存活時間，默認為5m即 5 分鐘（如：純數(shù)字如 300 代表 300 秒，0 代表處理請求響應后立即卸載模型，任何負數(shù)則表示一直存活）；我們可設置成24h，即模型在內(nèi)存中保持 24 小時，提高訪問速度

OLLAMA_NUM_PARALLEL：請求處理并發(fā)數(shù)量，默認為1，即單并發(fā)串行處理請求，可根據(jù)實際情況進行調(diào)整

OLLAMA_MAX_QUEUE：請求隊列長度，默認值為512，可以根據(jù)情況設置，超過隊列長度請求被拋棄

OLLAMA_DEBUG：輸出 Debug 日志標識，應用研發(fā)階段可以設置成1，即輸出詳細日志信息，便于排查問題

OLLAMA_MAX_LOADED_MODELS：最多同時加載到內(nèi)存中模型的數(shù)量，默認為1，即只能有 1 個模型在內(nèi)存中

CPU適配版本：

沒有GPU：1.5B Q8推理 或者 8B Q4推理
4G GPU：8B Q4推理
8G GPU：32B Q4推理 或者 8B Q4推理
16G GPU：32B Q4推理 或者 32B Q8推理
24G GPU: 32B Q8推理 或者 70B Q2推理  

根據(jù)個人配置安裝合適版本。

DeepSeek R1 本地部署方法

安裝命令：

1.5B Qwen DeepSeek R1

安裝命令：ollama run deepseek-r1:1.5b   

7B Qwen DeepSeek R1

安裝命令：ollama run deepseek-r1:7b  

8B Llama DeepSeek R1

安裝命令：ollama run deepseek-r1:8b

14B Qwen DeepSeek R1

安裝命令：ollama run deepseek-r1:14b

32B Qwen DeepSeek R1

安裝命令：ollama run deepseek-r1:32b

70B Llama DeepSeek R1

安裝命令：ollama run deepseek-r1:70b

如果出現(xiàn)403，以管理員身份運行即可。

然后，會有一個漫長的下載模型的時間，下載后看到如下界面，證明你成功了！

搭建 web ui 用于網(wǎng)頁對話

明顯命令行這樣的方式很不方便，無法滿足對我們的聊天內(nèi)容進行管理。這時，一個類似于Chat GPT這樣的網(wǎng)頁對話功能就顯得十分重要了。

這里我選擇的是Open web ui，具體效果如下。

下面講解如何搭建，在此之前我們需要安裝 docker 。

安裝完成后，我們打開docker，注冊登錄一下docker，然后在右下角點擊Terminal，打開控制臺，然后輸入下面命令，然后等待安裝完成。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker 容器啟動后，會有歡迎頁面，點擊開始使用，開啟體驗之路！

其他Open WebUI可視化交互界面工具

目前我知道的大概有幾種方式：

1、使用Docker-desktop,不僅是open-webui，其他絕大多數(shù)Github的開源項目都支持用docker一鍵部署，docker的好處是自帶虛擬環(huán)境，不需要在本地額外安裝一堆其他環(huán)境、依賴等，是管理、部署項目的神器。

2、自行安裝Python環(huán)境，使用Pip的方式安裝即可

3、不需要安裝Docker-desktop，也不需要安裝Python環(huán)境，直接使用瀏覽器Web UI插件就能搞定（下方就是教程，大家可以點擊查看）

本地部署DeepSeek-R1聯(lián)網(wǎng) 超簡單的DeepSeek離線部署聯(lián)網(wǎng)搜索教程

4、還可以使用ChatBox、Cherry Studio等桌面客戶端都可以（下面也給大家提供了教程，點擊查看）

DeepSeek服務器繁忙怎么解決？CherryStudio&DeepSeek 告別不響應