Nodejs本地部署DeepSeek的教程詳解
1.下載 Ollama
下載之后點(diǎn)擊安裝,等待安裝成功后,打開cmd窗口,輸入以下指令:
ollama -v
如果顯示了版本號(hào),則代表已經(jīng)下載成功了。
2.下載DeepSeek模型
然后選擇自己對(duì)應(yīng)配置的模型,在復(fù)制右側(cè)指令到cmd窗口,就可以把模型下載到本地了。
3.下載 ollama.js
npm下載方式:
npm i ollama
yarn下載方式:
yarn add ollama
pnpm下載方式:
pnpm i ollama
下載完成后,按照ollama.js 官方文檔指示則可使用,下面是一個(gè)最簡(jiǎn)單的案例:
import { Ollama } from 'ollama' const ollama = new Ollama({ host: 'http://127.0.0.1:11434' }) const response = await ollama.chat({ model: 'deepseek-r1:1.5b', messages: [{ role: 'user', content: '你好' }], }) console.log(response.message.content)
輸出結(jié)果:
最后,如果大家不熟悉 Ollama 的指令,可以參考下文
4.ollama基本使用教程
Ollama 是一個(gè)開源的大型語(yǔ)言模型服務(wù)工具,能夠幫助用戶在本地運(yùn)行大模型。通過簡(jiǎn)單的安裝指令,用戶可以在本地運(yùn)行開源的大型語(yǔ)言模型,如 Llama 21。
1. 安裝 Ollama
支持 macOS、Linux 和 Windows(通過 WSL)。
macOS 或 Linux
# 一鍵安裝腳本 curl -fsSL https://ollama.com/install.sh | sh
Windows (WSL2)
安裝 WSL2 和 Ubuntu。
在 WSL 終端中運(yùn)行上述安裝腳本。
2. 基礎(chǔ)命令
啟動(dòng)與停止
# 啟動(dòng) Ollama 服務(wù)(后臺(tái)運(yùn)行) ollama serve # 停止服務(wù) ollama stop
更新 Ollama
ollama upgrade
3. 模型管理
下載預(yù)訓(xùn)練模型
# 下載官方模型(如 llama2、mistral) ollama pull <model-name> # 示例 ollama pull llama2
運(yùn)行模型
# 啟動(dòng)交互式對(duì)話 ollama run <model-name> # 示例 ollama run llama2
查看已安裝模型
ollama list
刪除模型
ollama rm <model-name>
從 Modelfile 創(chuàng)建自定義模型
創(chuàng)建一個(gè) Modelfile 文件:
FROM llama2 # 基礎(chǔ)模型 SYSTEM """你是一個(gè)友好的助手,用中文回答。""" PARAMETER temperature 0.7 # 控制生成隨機(jī)性(0-1)
構(gòu)建自定義模型:
ollama create my-model -f Modelfile
運(yùn)行自定義模型:
ollama run my-model
4. 高級(jí)功能
服務(wù)器模式與 API
啟動(dòng) API 服務(wù)(默認(rèn)端口 11434):
ollama serve
通過 HTTP 調(diào)用 API:
curl http://localhost:11434/api/generate -d '{ "model": "llama2", "prompt": "你好,請(qǐng)介紹一下你自己", "stream": false }'
多會(huì)話管理
# 啟動(dòng)一個(gè)會(huì)話并命名 ollama run llama2 --name chat1 # 在另一個(gè)終端啟動(dòng)新會(huì)話 ollama run llama2 --name chat2
環(huán)境變量配置
# 更改默認(rèn)端口 OLLAMA_HOST=0.0.0.0:8080 ollama serve # 使用 GPU 加速(需 NVIDIA 驅(qū)動(dòng)) OLLAMA_GPU_METAL=1 ollama run llama2
5. 常見問題與技巧
加速模型下載
# 使用鏡像源(如中國(guó)用戶) OLLAMA_MODELS=https://mirror.example.com ollama pull llama2
查看日志
tail -f ~/.ollama/logs/server.log
模型參數(shù)調(diào)整
在 Modelfile 中可設(shè)置:
- temperature: 生成隨機(jī)性(0=確定,1=隨機(jī))
- num_ctx: 上下文長(zhǎng)度(默認(rèn) 2048)
- num_gpu: 使用的 GPU 數(shù)量
模型導(dǎo)出與分享
# 導(dǎo)出模型 ollama export my-model > my-model.tar # 導(dǎo)入模型 ollama import my-model.tar
到此這篇關(guān)于Nodejs本地部署DeepSeek的教程詳解的文章就介紹到這了,更多相關(guān)Nodejs本地部署DeepSeek內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- 如何在本地部署DeepSeek大模型實(shí)現(xiàn)聯(lián)網(wǎng)增強(qiáng)的AI應(yīng)用
- deepseek本地部署使用步驟詳解
- 一文教你如何本地部署DeepSeek
- DeepSeek本地部署流程詳細(xì)指南
- deepseek本地部署流程(解決服務(wù)器繁忙以及隱私等問題)
- 在linux服務(wù)器本地部署Deepseek及在mac遠(yuǎn)程web-ui訪問的操作
- Linux 服務(wù)器本地部署 DeepSeek-R1 大模型并在遠(yuǎn)端Web-UI訪問保姆級(jí)教程
- 0基礎(chǔ)租個(gè)硬件玩deepseek,藍(lán)耘元生代智算云|本地部署DeepSeek?R1模型的操作流程
- MAC快速本地部署Deepseek的實(shí)現(xiàn)步驟
相關(guān)文章
node簡(jiǎn)單實(shí)現(xiàn)一個(gè)更改頭像功能的示例
本篇文章主要介紹了node簡(jiǎn)單實(shí)現(xiàn)一個(gè)更改頭像功能的示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-12-12Node.js利用斷言模塊assert進(jìn)行單元測(cè)試的方法
最近在用Node寫一個(gè)實(shí)時(shí)聊天小應(yīng)用,其中就用到了單元測(cè)試,所以死下面這篇文章主要給大家介紹了關(guān)于Node.js利用斷言模塊assert進(jìn)行單元測(cè)試的方法,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧。2017-09-09Node.js中使用mongoose操作mongodb數(shù)據(jù)庫(kù)的方法
如何利用mongoose將數(shù)據(jù)寫入mongodb數(shù)據(jù)庫(kù)呢?操作方法很簡(jiǎn)單,下面小編給大家分享Node.js中使用mongoose操作mongodb數(shù)據(jù)庫(kù)的方法,感興趣的朋友一起看看吧2017-09-09gulp加批處理(.bat)實(shí)現(xiàn)ng多應(yīng)用一鍵自動(dòng)化構(gòu)建
這篇文章主要給大家介紹了利用gulp加上批處理(.bat)實(shí)現(xiàn)ng多應(yīng)用一鍵自動(dòng)化構(gòu)建的相關(guān)資料,文中介紹的很詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧。2017-02-02用nodeJS搭建本地文件服務(wù)器的幾種方法小結(jié)
本篇文章主要介紹了用nodeJS搭建本地文件服務(wù)器的幾種方法小結(jié),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下。2017-03-03