LM Evaluation Harness 不能用，改为 Inspect AI — 面向模型评测与 Agent 测试的平台

欢迎使用 Inspect！这是一个由 英国人工智能安全研究所 创建的大型语言模型评估框架。

Inspect 提供了众多内置组件，包括提示工程、工具使用、多轮对话以及模型评分评估等功能。您可以通过其他 Python 包来扩展 Inspect（例如支持新的引导和评分技术）。

要开始使用 Inspect，请参阅文档：https://inspect.aisi.org.uk/

Inspect 还包含超过 200 个预构建的评估任务，可随时在任何模型上运行（了解更多：https://inspect.aisi.org.uk/evals/）。

编程智能体：文档的结构化索引发布在 https://inspect.aisi.org.uk/llms.txt。用户指南以 Markdown 格式拼接于 https://inspect.aisi.org.uk/llms-guide.txt，而 https://inspect.aisi.org.uk/llms-full.txt 还额外包含了 API 和 CLI 参考手册。各独立页面可通过在 .html 路径后添加 .md 后缀获取（例如：/extensions/index.html.md）。

要参与 Inspect 的开发，请克隆仓库并安装带有 -e 标志和 [dev] 可选依赖的版本：

git clone https://github.com/UKGovernmentBEIS/inspect_ai.git
cd inspect_ai
pip install -e ".[dev]"

另外，如果您使用 uv，可以从已签入的锁文件同步开发环境：

uv sync --extra dev

uv 工作流为可选支持，但非必需。uv.lock 文件记录了可复现的开发依赖解析；项目依赖仍通过 requirements*.txt 声明并通过 pyproject.toml 暴露。变更依赖时，请更新相应的 requirements 文件并刷新锁文件，而非依赖 uv add。

您可以通过以下命令可选地安装预提交钩子：

make hooks

运行代码检查、格式化和测试：

make check
make test

在 uv 管理的环境中操作时，请在这些命令前添加 uv run（例如 uv run make check）。

如果您使用 VS Code，请确保已安装推荐的扩展（Python、Ruff 和 MyPy）。在 VS Code 中打开项目时，系统会提示您安装这些扩展。

前端开发（TypeScript）

Web UI 位于 src/inspect_ai/_view/ts-mono/ 的 git 子模块中。仅当您计划开发 TypeScript/React 前端时才需要执行以下步骤——仅涉及 Python 的贡献者可跳过。

初始化子模块并安装依赖——请参阅一次性设置指南。

文档

如果要参与 Inspect 文档编写，请使用 -e 标志安装 [doc] 可选依赖并构建文档：

pip install -e ".[doc]"
cd docs
quarto render # 或 'quarto preview'

若计划迭代式地编写文档，建议在 VS Code 中安装 Quarto 扩展。