Promptfoo: LLM 评估与红队测试

promptfoo 是一个用于评估和红队测试 LLM 应用的 CLI 工具和库。告别反复试错——开始交付安全、可靠的 AI 应用。

网站 · 快速开始 · 红队测试 · 文档 · Discord

快速开始

npm install -g promptfoo
promptfoo init --example getting-started

也可以通过 brew install promptfoo 和 pip install promptfoo 安装。你也可以使用 npx promptfoo@latest 来运行任何命令而无需安装。

大多数 LLM 提供商需要 API 密钥。请将你的密钥设置为环境变量：

export OPENAI_API_KEY=sk-abc123

进入示例目录后，运行评估并查看结果：

cd getting-started
promptfoo eval
promptfoo view

更多信息请参阅快速开始（评估）或红队测试（漏洞扫描）。

你能用 Promptfoo 做什么？

• 测试你的提示词和模型：通过自动化评估
• 保护你的 LLM 应用：通过红队测试和漏洞扫描
• 并排比较模型：支持 OpenAI、Anthropic、Azure、Bedrock、Ollama 等更多模型
• 自动化检查：集成到 CI/CD 流程中
• 审查拉取请求：通过代码扫描检查与 LLM 相关的安全和合规问题
• 与团队分享结果

以下是实际运行效果：

它也支持命令行操作：

它还可以生成安全漏洞报告：

为什么选择 Promptfoo？

• 开发者优先：快速，支持实时重载和缓存等功能
• 隐私保护：LLM 评估 100% 在本地运行——你的提示词永远不会离开你的机器
• 灵活：适用于任何 LLM API 或编程语言
• 久经考验：为服务超过 1000 万用户的生产环境 LLM 应用提供支持
• 数据驱动：基于指标而非直觉做出决策
• 开源：采用 MIT 许可证，拥有活跃的社区

了解更多

• 快速开始
• 完整文档
• 红队测试指南
• CLI 使用
• Node.js 包
• 支持的模型
• 代码扫描指南

贡献

我们欢迎贡献！请查看我们的贡献指南以开始。

加入我们的 Discord 社区 寻求帮助和参与讨论。