在 Linux 上設(shè)置環(huán)境變量

• 1. 通過調(diào)用systemctl edit ollama.service編輯 systemd 服務(wù)。這將打開一個(gè)編輯器。這邊可以直接通過vim /etc/systemd/system/ollama.service，打開編輯。

• 2. 對(duì)于每個(gè)環(huán)境變量，在[Service]部分下添加一行Environment：

vim /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_FLASH_ATTENTION=1"

對(duì)于每個(gè)環(huán)境變量，在[Service]部分下添加一行Environment.
1. OLLAMA_HOST=0.0.0.0 外網(wǎng)訪問
2. OLLAMA_MODELS=/mnt/data/.ollama/models 模型默認(rèn)下載路徑
3. OLLAMA_KEEP_ALIVE=24h 設(shè)置模型加載到內(nèi)存中保持 24 個(gè)小時(shí)(默認(rèn)情況下，模型在卸載之前會(huì)在內(nèi)存中保留 5 分鐘)
4. OLLAMA_HOST=0.0.0.0:8080 修改默認(rèn)端口 11434 端口
5. OLLAMA_NUM_PARALLEL=2 設(shè)置 2 個(gè)用戶并發(fā)請(qǐng)求
6. OLLAMA_MAX_LOADED_MODELS=2 設(shè)置同時(shí)加載多個(gè)模型

#為了使更改生效，您需要重新加載systemd的配置。使用以下命令：
sudo systemctl daemon-reload
#最后，重啟服務(wù)以應(yīng)用更改：
sudo systemctl restart ollama

默認(rèn)情況下，ollama模型的存儲(chǔ)目錄如下：
macOS: `~/.ollama/models` 
Linux: `/usr/share/ollama/.ollama/models`  
Windows: `C:\Users\<username>\.ollama\models`

journalctl -u ollama | grep -i 'prompt='    #查看日志
/set verbose    #設(shè)置以查看token速度

配置 Ollama

Ollama 提供了多種環(huán)境變量以供配置：

OLLAMA_DEBUG：是否開啟調(diào)試模式，默認(rèn)為 false。
OLLAMA_FLASH_ATTENTION：是否閃爍注意力，默認(rèn)為 true。
OLLAMA_HOST：Ollama 服務(wù)器的主機(jī)地址，默認(rèn)為空。
OLLAMA_KEEP_ALIVE：保持連接的時(shí)間，默認(rèn)為 5m。
OLLAMA_LLM_LIBRARY：LLM 庫，默認(rèn)為空。
OLLAMA_MAX_LOADED_MODELS：最大加載模型數(shù)，默認(rèn)為 1。
OLLAMA_MAX_QUEUE：最大隊(duì)列數(shù)，默認(rèn)為空。
OLLAMA_MAX_VRAM：最大虛擬內(nèi)存，默認(rèn)為空。
OLLAMA_MODELS：模型目錄，默認(rèn)為空。
OLLAMA_NOHISTORY：是否保存歷史記錄，默認(rèn)為 false。
OLLAMA_NOPRUNE：是否啟用剪枝，默認(rèn)為 false。
OLLAMA_NUM_PARALLEL：并行數(shù)，默認(rèn)為 1。
OLLAMA_ORIGINS：允許的來源，默認(rèn)為空。
OLLAMA_RUNNERS_DIR：運(yùn)行器目錄，默認(rèn)為空。
OLLAMA_SCHED_SPREAD：調(diào)度分布，默認(rèn)為空。
OLLAMA_TMPDIR：臨時(shí)文件目錄，默認(rèn)為空。Here is the optimized list in the desired format:
OLLAMA_DEBUG：是否開啟調(diào)試模式，默認(rèn)為 false。
OLLAMA_FLASH_ATTENTION：是否閃爍注意力，默認(rèn)為 true。
OLLAMA_HOST：Ollama 服務(wù)器的主機(jī)地址，默認(rèn)為空。
OLLAMA_KEEP_ALIVE：保持連接的時(shí)間，默認(rèn)為 5m。
OLLAMA_LLM_LIBRARY：LLM 庫，默認(rèn)為空。
OLLAMA_MAX_LOADED_MODELS：最大加載模型數(shù)，默認(rèn)為 1。
OLLAMA_MAX_QUEUE：最大隊(duì)列數(shù)，默認(rèn)為空。
OLLAMA_MAX_VRAM：最大虛擬內(nèi)存，默認(rèn)為空。
OLLAMA_MODELS：模型目錄，默認(rèn)為空。
OLLAMA_NOHISTORY：是否保存歷史記錄，默認(rèn)為 false。
OLLAMA_NOPRUNE：是否啟用剪枝，默認(rèn)為 false。
OLLAMA_NUM_PARALLEL：并行數(shù)，默認(rèn)為 1。
OLLAMA_ORIGINS：允許的來源，默認(rèn)為空。
OLLAMA_RUNNERS_DIR：運(yùn)行器目錄，默認(rèn)為空。
OLLAMA_SCHED_SPREAD：調(diào)度分布，默認(rèn)為空。
OLLAMA_TMPDIR：臨時(shí)文件目錄，默認(rèn)為空。

Ollama使用常見的指令：

ollama serve         #啟動(dòng)ollama  
ollama create        #從模型文件創(chuàng)建模型  
ollama show          #顯示模型信息  
ollama run           #運(yùn)行模型  
ollama pull          #從注冊(cè)表中拉取模型  
ollama push          #將模型推送到注冊(cè)表  
ollama list          #列出模型  
ollama cp            #復(fù)制模型  
ollama rm            #刪除模型  
ollama help          #獲取有關(guān)任何命令的幫助信息

導(dǎo)入huggingface模型

最新版Ollama開始支持從Huggingface Hub上直接拉取各種模型，包括社區(qū)創(chuàng)建的GGUF量化模型。用戶可以通過簡單的命令行指令快速運(yùn)行這些模型，可以使用如下命令：

ollama run hf.co/{username}/{repository}

要選擇不同的量化方案，只需在命令中添加一個(gè)標(biāo)簽：

ollama run hf.co/{username}/{repository}:{quantization}

例如：量化名稱不區(qū)分大小寫
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M  
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

還可以直接使用完整的文件名作為標(biāo)簽：  
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

手動(dòng)安裝

下載并解壓壓縮包

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

啟動(dòng)ollama
ollama serve

安裝特定版本

OLLAMA_VERSION環(huán)境變量與安裝腳本一起使用，以安裝特定版本的 Ollama，包括預(yù)發(fā)行版?？梢栽?releases 頁面中找到版本號(hào)。

releases頁面：https://github.com/ollama/ollama/releases

例如：
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.3.9 sh

查看日志

要查看作為服務(wù)運(yùn)行的 Ollama 的日志，請(qǐng)運(yùn)行：

journalctl -e -u ollama

到此這篇關(guān)于Linux上設(shè)置Ollama服務(wù)配置(常用環(huán)境變量)的文章就介紹到這了,更多相關(guān)Ollama服務(wù)配置內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！ 

最新評(píng)論