DeepSeek-R1本地部署的極簡教程
環(huán)境
本人在本地部署了兩個版本的deepseek-r1,分別為8b和14b版本。其中8b可以流暢推理,14b版本推理速度會慢一點,平均等待時間10-20秒。
環(huán)境為
CPU:amd 3100
GPU:RTX 3060 8G
MEMORY:16G
SYSTEM: win11
部署
1.安裝 ollama
首先進(jìn)入 ollama 官網(wǎng) https://ollama.com/
然后點擊download,選擇本地電腦對應(yīng)的版本
下載后進(jìn)行安裝。
注意:安裝時默認(rèn)使用C盤,確保你的C盤有足夠多的空間可以安裝 ollama 及后續(xù)的大模型,建議C盤空間 ≥ 12G
安裝后在電腦開始頁面啟動 ollama,然后查看任務(wù)欄,有 ollama 圖標(biāo)意味著 ollama已經(jīng)啟動。
我們回到 ollama 官網(wǎng),在搜索欄搜索 deepseek-r1
選擇適合自己的版本,注意右側(cè)的GB代表磁盤容量,確保C盤有足夠的磁盤容量。
如果你的電腦和我配置差不多可以嘗試8b,
擁有12G以上的顯存使用14b版本應(yīng)該可以流暢運行,
更多的參數(shù)量,例如32b建議使用3090或4090。
2.部署 deepseek-r1
使用下面命令進(jìn)行安裝,8b代表選擇8b的版本
ollama run deepseek-r1:8b
隨后打開任務(wù)管理器(記得用管理員),然后輸入命令進(jìn)行部署,本地會下載對應(yīng)的模型。
出現(xiàn)下面情況代表安裝完成,當(dāng)然可能會出現(xiàn)超時問題,重新運行上面部署代碼即可
然后使用/?
或/help
進(jìn)行測試。
最后展示下效果
到此這篇關(guān)于DeepSeek-R1本地部署指南極簡版的文章就介紹到這了,更多相關(guān)DeepSeek-R1本地部署內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
高性能高可用高并發(fā)架構(gòu)和系統(tǒng)設(shè)計思路大綱
高性能架構(gòu)和系統(tǒng)設(shè)計要求高并發(fā)高性能,高性能更多的是先從編碼角度、架構(gòu)使用角度去讓我們的單機(單實例)有更好的性能,然后再從整個系統(tǒng)層面來擁有更好的性能;高并發(fā)則直接是全局角度來讓我們的系統(tǒng)在全鏈路下都能夠抗住更多的并發(fā)請求2023-08-08flask+layui+echarts實現(xiàn)前端動態(tài)圖展示數(shù)據(jù)效果
這篇文章主要介紹了flask+layui+echarts實現(xiàn)前端動態(tài)圖展示數(shù)據(jù)效果,本文通過實例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下2019-09-09lambda 表達(dá)式導(dǎo)致 Arthas 無法 redefine 的問題
這篇文章主要介紹了lambda 表達(dá)式導(dǎo)致 Arthas 無法 redefine 的問題,本文通過圖文實例相結(jié)合給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-06-065分鐘獲取deepseek api并搭建簡易問答應(yīng)用
本文主要介紹了5分鐘獲取deepseek api并搭建簡易問答應(yīng)用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2025-01-01