LM Studio是一個專注于本地大語言模型交互的桌面應(yīng)用程序，為在本地設(shè)備上運行大型語言模型提供了創(chuàng)新且高效的解決方案。LM Studio基于llama.cpp開發(fā)，提供圖形界面，無需命令行操作，專注桌面端用戶體驗。

什么是LM Studio？

LM Studio 是一個創(chuàng)新的人工智能平臺，專注于提供快速、安全的本地大型語言模型運行和下載服務(wù)。它支持多種先進的語言模型，如LLaMa、MPT和Gemma等，并且具備優(yōu)越的離線運行能力。通過這個工具，用戶可以在本地機器上高效地運行模型，從而避免了數(shù)據(jù)隱私問題和網(wǎng)絡(luò)延時所帶來的困擾。

軟件特色

模型管理：支持從Hugging Face等資源庫中拉取、存儲、運行各類GGUF格式模型，用戶可以在軟件內(nèi)方便地瀏覽、搜索和選擇自己需要的模型。

硬件協(xié)同優(yōu)化：依托l(wèi)lama.cpp底層架構(gòu)，針對NVIDIA系列GPU運用GPU卸載技術(shù)，合理分配運算任務(wù)，突破顯存局限；在內(nèi)存管理方面，借助模型量化手段降低內(nèi)存占用量，確保設(shè)備內(nèi)存有限的情況下也能平穩(wěn)加載運行大型模型。

參數(shù)調(diào)控：用戶可靈活調(diào)整“溫度”“重復(fù)懲罰”等參數(shù)，精準定制模型輸出。比如“溫度”參數(shù)可調(diào)整輸出文本的靈活度，“重復(fù)懲罰”參數(shù)可把控文本多樣性。

文本嵌入強化檢索：借助POST/v1/embeddings端點生成文本嵌入向量，融入檢索增強生成（RAG）架構(gòu)體系，在海量文檔、知識庫搜索場景表現(xiàn)卓越。

內(nèi)置兼容OpenAI的本地服務(wù)器功能：無縫銜接既有基于OpenAI API搭建的應(yīng)用與本地模型，極大縮短開發(fā)適配周期，助力創(chuàng)新應(yīng)用高效落地。

使用教程

1、打開LM studio程序

2、點擊右下角的設(shè)置，里面把語言選擇成為“簡體中文”

模型存放及部署設(shè)置

1、需要下載Deepseek-R1模型，當我們下載好模型文件后，需要注意，不能隨便存放，因為需要讓安裝好的LM Studio來加載，而它對文件加載是有規(guī)定的，在客戶端里選擇”模型目錄“，然后我們選擇”更改“

2、這里我們把文件舉例放在D盤，新建一個文件夾，取名：models000，注意，這里的文件夾也不能有任何符號及中文

3、我們在models000下再建立一個文件夾001，在001里繼續(xù)建立一個文件夾 002，這樣002就處于三級目錄下了，我們把剛才下載的R1模型文件，復(fù)制在這個002文件夾內(nèi)就可以了

4、然后我們回到剛才LM studio的模型目錄里，就直接可以看到剛才已經(jīng)復(fù)制的模型了

5、點擊聊天界面，再點擊上面的模型選擇按鈕

6、選擇剛才的模型后，點擊加載等待完成即可，注意：這里可以選擇加一個“快速注意力”

更新日志

LM Studio 0.3.15：RTX 50 系列 GPU 和改進

LM Studio 0.3.15 現(xiàn)已作為穩(wěn)定版本提供。此版本包括對 NVIDIA RTX 50 系列 GPU （CUDA 12） 的支持，UI 修飾包括新的系統(tǒng)提示編輯器 UI。此外，我們還改進了對工具使用（參數(shù)）的 API 支持，并添加了一個新選項，用于將每個生成的片段記錄到 API 服務(wù)器日志中。tool_choice

支持采用 CUDA 12 的 RTX 50 系列 GPU

LM Studio 現(xiàn)在支持 RTX 50 系列 GPU （CUDA 12.8） 以及 Windows 和 Linux 上的引擎。此更改使 RTX 50 系列 GPU 上的首次模型加載時間如預(yù)期般快。對于配備 RTX 50 系列 GPU 的機器，如果 NVIDIA 驅(qū)動程序版本兼容，LM Studio 將自動升級到 CUDA 12。llama.cpp

最低驅(qū)動程序版本為：

Windows：551.61 或更高版本
Linux：550.54.14 或更高版本
如果您有 RTX 50 系列 GPU 并且驅(qū)動程序版本兼容，LM Studio 將自動升級到 CUDA 12。 如果您有 RTX 50 系列 GPU，并且驅(qū)動程序版本不兼容，LM Studio 將繼續(xù)使用 CUDA 11。在 中管理此功能。Ctrl + Shift + R

新的 System Prompt Editor UI

系統(tǒng)提示符是自定義模型行為的強大方法。它們可以只有幾個字，有時也可以長達數(shù)頁。LM Studio 0.3.15 引入了更大的視覺空間來編輯更長的提示。您仍然可以使用側(cè)邊欄中的迷你提示編輯器。

改進的工具使用 API 支持

類似 OpenAI 的 REST API 現(xiàn)在支持該參數(shù)，該參數(shù)允許您控制模型使用工具的方式。該參數(shù)可以采用三個值：tool_choicetool_choice

"tool_choice": "none"- 模型不會調(diào)用任何工具

"tool_choice": "auto"- 模型決定是否調(diào)用工具
"tool_choice": "required"- 強制模型僅輸出工具 （僅限 llama.cpp 引擎）
我們還修復(fù)了 LM Studio 的 OpenAI 兼容模式中的一個錯誤，即數(shù)據(jù)塊“finish_reason”在適當時未設(shè)置為“tool_calls”。

還有......社區(qū)預(yù)設(shè)（預(yù)覽版）

預(yù)設(shè)是將系統(tǒng)提示和模型參數(shù)打包在一起的便捷方法。

從 LM Studio 0.3.15 開始，您可以與社區(qū)共享您的預(yù)設(shè)，并通過 Web ?? 下載其他用戶制作的預(yù)設(shè)。您還可以點贊和分叉其他人制作的預(yù)設(shè)。

在“設(shè)置”>“常規(guī)”中啟用此功能>啟用發(fā)布和下載預(yù)設(shè)。打開后，當您右鍵單擊側(cè)邊欄中的預(yù)設(shè)時，您會發(fā)現(xiàn)一個新的“發(fā)布”按鈕。這將允許您將預(yù)設(shè)發(fā)布到社區(qū)。

在 https://lmstudio.ai/login 獲取您的用戶名并開始分享您的預(yù)設(shè)！您不需要帳戶即可下載預(yù)設(shè)，只需發(fā)布即可。

LM Studio 0.3.9

LM Studio 0.3.9 包括一個新的空閑 TTL 功能，支持 Hugging Face 存儲庫中的嵌套文件夾，以及一個實驗性 API，用于在聊天完成響應(yīng)的單獨字段中接收。reasoning_content

早期版本的 0.3.9 在流式處理 DeepSeek R1 聊天完成響應(yīng)時存在錯誤。請更新到最新版本 （5） 以解決此問題。

空閑 TTL 和自動移出

用例：假設(shè)您正在使用 Zed、Cline 或 Continue.dev 等應(yīng)用程序與 LM Studio 提供的 LLM 進行交互。這些應(yīng)用程序利用 JIT 在您首次使用模型時按需加載模型。

問題：當您沒有主動使用模型時，您可能不希望它繼續(xù)加載到內(nèi)存中。

解決方案：為通過 API 請求加載的模型設(shè)置 TTL。每次模型收到請求時，空閑計時器都會重置，因此在您使用它時它不會消失。如果模型未執(zhí)行任何工作，則認為模型處于空閑狀態(tài)。當空閑 TTL 過期時，模型會自動從內(nèi)存中卸載。

您可以在請求負載中設(shè)置以秒為單位的 TTL，或用于命令行使用。lms load --ttl <seconds>

在文檔文章中閱讀更多內(nèi)容：TTL 和自動驅(qū)逐。

在聊天完成響應(yīng)中分離reasoning_content

對于 DeepSeek R1，在單獨的字段中獲取推理內(nèi)容

DeepSeek R1 模型在標簽內(nèi)生成內(nèi)容。此內(nèi)容是模型的 “推理” 過程。在聊天完成響應(yīng)中，您現(xiàn)在可以在一個名為 following the pattern in DeepSeek API 的單獨字段中接收此內(nèi)容。<think></think>reasoning_content

這適用于流式和非流式完成。您可以在 App Settings > Developer 中打開此功能。此功能目前處于試驗階段。

注意：根據(jù) DeepSeek 的文檔，您不應(yīng)在下一個請求中將推理內(nèi)容傳回給模型。

LM 運行時的自動更新

LM Studio 支持多種引擎變體（僅 CPU、CUDA、Vulkan、ROCm、Metal）以及 Apple MLX 引擎。這些引擎會頻繁更新，尤其是在發(fā)布新模型時。llama.cpp

為了減少手動更新多個片段的需要，我們?yōu)檫\行時引入了自動更新。默認情況下，此功能處于啟用狀態(tài)，但您可以在 App Settings 中將其關(guān)閉。

更新運行時后，您將看到一條通知，其中顯示了發(fā)行說明。您也可以在 runtimes 選項卡中自行管理：在 Windows/Linux 上，在 macOS 上。Ctrl + Shift + RCmd + Shift + R

LM 運行時將自動更新到最新版本。您可以在設(shè)置中關(guān)閉此功能

支持 Hugging Face 存儲庫中的嵌套文件夾

一個期待已久的功能：您現(xiàn)在可以從 Hugging Face 存儲庫中的嵌套文件夾下載模型。如果您最喜歡的模型發(fā)布者將其模型組織在子文件夾中，您現(xiàn)在可以直接在 LM Studio 中下載它們。

這使得下載 https://huggingface.co/unsloth/DeepSeek-R1-GGUF 等模型變得容易。也適用于。lms get <hugging face url>

# Warning: this is a very large model

lms get https://huggingface.co/unsloth/DeepSeek-R1-GGUF

0.3.9 - 完整更改日志

版本 6

修復(fù)了在包含圖像的聊天中使用純文本模型時出現(xiàn)的“無法讀取 undefined 的屬性”
修復(fù)了 Windows 上的路徑解析問題，該問題導(dǎo)致某些計算機上的 LM 運行時意外運行
CUDA 模型加載崩潰，“llm_engine_cuda.node.系統(tǒng)無法訪問該文件”
ROCm 亂碼模型生成
修復(fù)了使用舊版本應(yīng)用程序創(chuàng)建的聊天中的 RAG 消息不顯示的錯誤
修復(fù)了輸入法編輯器 （IME） 錯誤：現(xiàn)在，按 Enter 鍵時，除非完成合成，否則不會發(fā)送消息

構(gòu)建 5

修復(fù)了在流式傳輸 DeepSeek R1 聊天完成響應(yīng)時不遵循設(shè)置的 API 錯誤reasoning_content

版本 4

新的實驗性 API：在聊天完成響應(yīng)（流式和非流式）中的單獨字段中發(fā)送reasoning_content
適用于在標簽內(nèi)生成內(nèi)容的模型（如 DeepSeek R1）<think></think>
在 App Settings > Developer 中打開

構(gòu)建 3

新增內(nèi)容：添加聊天外觀選項以自動擴展新添加的 Thinking UI 塊
新增內(nèi)容：當應(yīng)用程序提供 insufficient system resources 錯誤通知時，顯示對護欄配置的快速訪問
修復(fù)了如果刪除非默認 models 目錄，則不會為新模型編制索引的錯誤
修復(fù)了硬件檢測中的一個錯誤，該錯誤在使用 Vulkan 后端時有時會錯誤地過濾掉多 GPU 設(shè)置中的 GPU
修復(fù)了模型加載 UI 中的一個錯誤，該錯誤導(dǎo)致沒有 Flash 注意的 F32 緩存類型無法被識別為 llama.cpp Metal 運行時的有效配置

構(gòu)建 2

新增內(nèi)容：添加了對從 Hugging Face 存儲庫中的嵌套文件夾下載模型的支持
改進了對直接使用 Hugging Face URL 進行搜索的支持
新增內(nèi)容：自動更新選定的運行時擴展包（您可以在設(shè)置中關(guān)閉此功能）
新增內(nèi)容：添加了使用 LM Studio 的 Hugging Face 代理的選項。這可以幫助無法直接訪問 Hugging Face 的用戶
新功能：MLX 模型的 KV 緩存量化（需要 mlx-engine/0.3.0）
我的模型選項卡刷新：更整潔的模型名稱和模型類型的側(cè)邊欄類別
可以切換回在“應(yīng)用程序設(shè)置”>“常規(guī)”中顯示完整文件名
要查看原始模型元數(shù)據(jù)（以前為：（i） 按鈕），請右鍵單擊模型名稱，然后選擇“查看原始元數(shù)據(jù)”
修復(fù)了清除 Sampling Settings 中的 Top K 會觸發(fā)錯誤的 bug

版本 1

新增內(nèi)容：TTL - 可選擇在一定時間后自動卸載未使用的 API 模型（請求有效負載中的字段）ttl
對于命令行使用：lms load --ttl <seconds>
API 參考：https://lmstudio.ai/docs/api/ttl-and-auto-evict
新增內(nèi)容：自動驅(qū)逐 - 可選擇在加載新 API 模型之前自動卸載之前加載的 API 模型（在應(yīng)用程序設(shè)置中控制）
修復(fù)了模型思維塊內(nèi)的方程式有時會在塊下方生成空白空間的錯誤
修復(fù)了 Toast 通知中的文本不可滾動的問題
修復(fù)了取消選中和選中 Structured Output JSON 會使架構(gòu)值消失的錯誤
修復(fù)了生成時自動滾動有時不允許向上滾動的錯誤
[開發(fā)商]將日志記錄選項移動到 Developer Logs 面板標題（••• 菜單）
修復(fù)了聊天外觀字體大小選項在思考區(qū)塊中不縮放文本的問題