LM Studio — 本地运行与调试大模型的桌面工具链

在 TypeScript 中使用本地大语言模型

LM Studio 客户端 SDK

lmstudio-js 是 LM Studio 官方的 JavaScript 客户端 SDK，使用 TypeScript 编写。它允许你：

• 使用 LLM 进行聊天对话或生成文本补全
• 将函数定义为工具，并将 LLM 转变为完全在本地运行的自主智能体
• 从内存中加载、配置和卸载模型
• 同时支持浏览器和任何兼容 Node.js 的环境
• 为文本生成嵌入向量，以及更多功能！

使用 Python？请查看 lmstudio-python

安装

npm install @lmstudio/sdk --save

快速示例

import { LMStudioClient } from "@lmstudio/sdk";
const client = new LMStudioClient();

const model = await client.llm.model("llama-3.2-1b-instruct");
const result = await model.respond("What is the meaning of life?");

console.info(result.content);

更多示例和完整文档，请访问 lmstudio-js 文档。

为什么使用 lmstudio-js 而不是 openai SDK？

OpenAI 的 SDK 专为使用其专有模型而设计。因此，它缺少许多在本地环境中使用 LLM 所必需的功能，例如：

• 管理模型从内存中的加载和卸载
• 配置加载参数（上下文长度、GPU 卸载设置等）
• 推测解码
• 获取模型信息（如上下文长度、模型大小等）
• ……以及其他更多功能

此外，虽然 openai SDK 是自动生成的，但 lmstudio-js 是从头开始设计的，旨在为 TypeScript/JavaScript 开发者提供清晰易用的体验。

贡献

你可以按照以下步骤在本地构建项目：

git clone https://github.com/lmstudio-ai/lmstudio-js.git --recursive
cd lmstudio-js
npm install
npm run build

更多信息请参阅 CONTRIBUTING.md。

社区

欢迎在 LM Studio 社区 Discord 服务器的 #dev-chat 频道讨论所有关于 lmstudio-js 的内容。