pyannote.audio 是一个用 Python 编写的开源说话人日志（speaker diarization）工具包。它基于 PyTorch 机器学习框架，附带最先进的预训练模型与流水线，可进一步在你的自有数据上微调以获得更佳性能。

亮点

• :exploding_head: 最先进的性能（见基准测试）
• :hugs: 在 :hugs: 模型中心 上提供预训练的流水线（以及模型）
• :rocket: 内置对 pyannoteAI 高级说话人日志的支持
• :snake: 以 Python 为先的 API
• :zap: 借助 pytorch-lightning 实现多 GPU 训练

community-1 开源说话人日志

1. 确保你的机器已安装 ffmpeg（torchcodec 音频解码库需要它）
2. 使用 uvadd pyannote.audio（推荐）或 pip install pyannote.audio 安装
3. 接受 pyannote/speaker-diarization-community-1 用户条款
4. 在 hf.co/settings/tokens 创建 Huggingface 访问令牌

import torch
from pyannote.audio import Pipeline
from pyannote.audio.pipelines.utils.hook import ProgressHook

# Community-1 开源说话人日志流水线
pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-community-1", token="HUGGINGFACE_ACCESS_TOKEN"
)

# 在可用时将流水线发送至 GPU
pipeline.to(torch.device("cuda"))

# 应用预训练流水线（可选进度钩子）
with ProgressHook() as hook:
    output = pipeline("audio.wav", hook=hook)  # 本地运行

# 打印结果
for turn, speaker in output.speaker_diarization:
    print(f"start={turn.start:.1f}s stop={turn.end:.1f}s speaker_{speaker}")
# start=0.2s stop=1.5s speaker_0
# start=1.8s stop=3.9s speaker_1
# start=4.2s stop=5.7s speaker_0
# ...

precision-2 高级说话人日志

1. 在 dashboard.pyannote.ai 创建 pyannoteAI API 密钥
2. 享用免费额度！

from pyannote.audio import Pipeline

# Precision-2 高级说话人日志服务
pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-precision-2", token="PYANNOTEAI_API_KEY"
)

output = pipeline("audio.wav")  # 在 pyannoteAI 服务器上运行

# 打印结果
for turn, speaker in output.speaker_diarization:
    print(f"start={turn.start:.1f}s stop={turn.end:.1f}s {speaker}")
# start=0.2s stop=1.6s SPEAKER_00
# start=1.8s stop=4.0s SPEAKER_01
# start=4.2s stop=5.6s SPEAKER_00
# ...

访问 docs.pyannote.ai 了解 pyannoteAI 的其他功能（声纹识别、置信度分数等）

基准测试

说话人日志错误率（%，越低越好）

与 3.1 旧版流水线相比，community-1 在说话人计数与分配方面带来了显著改进。
precision-2 高级流水线（在其自托管版本中）进一步提升了准确性和处理速度。

在 NVIDIA H100 80GB HBM3 上的自托管速度

遥测

通过 pyannote.audio 中的可选遥测功能，你可以选择发送匿名使用指标，帮助 pyannote 团队改进该库。

我们收集的信息

对于每次调用 Pipeline.from_pretrained({origin})（或 Model.from_pretrained({origin})），我们以以下隐私保护方式收集有关 {origin} 的信息：

• 如果 {origin} 是托管在 Huggingface 上的官方 pyannote 或 pyannoteAI 流水线（或模型），我们将其记录为 {origin}。
• 如果 {origin} 是托管在 Huggingface 上来自任何其他组织的流水线（或模型），我们将其记录为 huggingface。
• 如果 {origin} 是本地文件或目录的路径，我们将其记录为 local。

我们还会记录流水线的 Python 类（例如 pyannote.audio.pipelines.SpeakerDiarization）。

对于用流水线处理的每个文件，我们收集：
* 文件时长（秒）
* 说话人日志流水线的 num_speakers、min_speakers 和 max_speakers 值

我们不收集任何可用于识别用户身份的信息。

配置遥测

遥测可通过三种方式配置：
1. 使用环境变量
2. 仅在当前 Python 会话中
3. 跨会话全局配置

为保持一致，以上所有选项都会修改环境变量的值。
如果未设置环境变量，pyannote.audio 将读取遥测配置中的默认值。
默认配置也可以在 Python 中更改。

使用环境变量

你可以通过设置 PYANNOTE_METRICS_ENABLED 环境变量来控制遥测：

# 启用指标
export PYANNOTE_METRICS_ENABLED=1

# 禁用指标
export PYANNOTE_METRICS_ENABLED=0

当前会话

要控制当前 Python 内核会话的遥测：

from pyannote.audio.telemetry import set_telemetry_metrics

# 为当前会话启用指标
set_telemetry_metrics(True)

# 为当前会话禁用指标
set_telemetry_metrics(False)

全局配置

要设置跨会话持久化的遥测偏好：

from pyannote.audio.telemetry import set_telemetry_metrics

# 全局启用指标
set_telemetry_metrics(True, save_choice_as_default=True)

# 全局禁用指标
set_telemetry_metrics(False, save_choice_as_default=True)

文档

• 变更日志
• 视频
• Speaker diarization, a ~~love~~ loss story / JSALT 2025 全体会议演讲 / 60 分钟
• Introduction to speaker diarization / JSALT 2023 暑期学校 / 90 分钟
• Speaker segmentation model / Interspeech 2021 / 3 分钟
• First release of pyannote.audio / ICASSP 2020 / 8 分钟
• 博客
• 2022-12-02 > "How I reached 1st place at Ego4D 2022, 1st place at Albayzin 2022, and 6th place at VoxSRC 2022 speaker diarization challenges"
• 2022-10-23 > "One speaker segmentation model to rule them all"
• 2021-08-05 > "Streaming voice activity detection with pyannote.audio"
• 社区贡献（不由核心团队维护）
• 2024-04-05 > 离线说话人日志（speaker-diarization-3.1），作者 Simon Ottenhaus
• 2024-09-24 > 评估 pyannote 预训练语音分离流水线，作者 Clément Pagés
• 教程
  这些教程是为旧版 pyannote.audio 编写的，应予以更新。有兴趣作为社区经理或开发者布道师加入 pyannoteAI 吗？这可能是一个不错的起点！
• 应用预训练流水线
• 将预训练流水线适配到你的自有数据
• 训练流水线
• 应用预训练模型
• 训练、微调与迁移学习
• 添加新模型
• 添加新任务
• 常见问题

引用

如果你使用 pyannote.audio，请使用以下引用：

@inproceedings{Plaquet23,
  author={Alexis Plaquet and Hervé Bredin},
  title={{Powerset multi-class cross entropy loss for neural speaker diarization}},
  year=2023,
  booktitle={Proc. INTERSPEECH 2023},
}

@inproceedings{Bredin23,
  author={Hervé Bredin},
  title={{pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe}},
  year=2023,
  booktitle={Proc. INTERSPEECH 2023},
}

开发

以下命令将安装 pre-commit 钩子以及开发 pyannote.audio 库所需的包。

uv sync --extra dev --extra test --extra cli
uvx pre-commit install

测试

uv run --extra test --extra cli pytest -m "not network and not notebook"

标记为 network 的测试会从 Hugging Face 下载公开模型：

uv run --extra test --extra cli pytest -m network

历史 notebook 需显式启用（pytest -m notebook），可能需要额外的模型、数据集、凭证以及针对当前 API 的更新。

使用 uvx ruff check . 和 uvx ruff format --check . 运行代码检查与格式检查。