Text-to-Audio Generation Synchronized with Videos
基本信息
- 标题：Text-to-Audio Generation Synchronized with Videos（与视频同步的文本到音频生成）
- 作者：Shentong Mo、Jing Shi、Yapeng Tian
- 提交日期：2024 年 3 月 8 日
- arXiv 编号：arXiv:2403.07938 [cs.SD]
- DOI：https://doi.org/10.48550/arXiv.2403.07938
- 分类：Sound (cs.SD)（主分类）；Artificial Intelligence (cs.AI)、Computer Vision and Pattern Recognition (cs.CV)、Machine Learning (cs.LG)、Multimedia (cs.MM)、Audio and Speech Processing (eess.AS)
- 备注：arXiv 管理员注记，本文与 arXiv:2305.12903 存在文本重叠
摘要（中文翻译）
近年来，文本到音频（Text-to-Audio, TTA）生成受到越来越多的关注，研究者致力于根据文本描述合成音频。然而，现有大多数方法虽然利用潜在扩散模型（latent diffusion models）学习音频与文本嵌入之间的关联，却难以保持生成音频与其视频之间的无缝同步，这往往导致明显的音频—视觉不匹配。
为弥补这一不足，作者提出了一个全新的基准——T2AV-Bench，用于评估与视频对齐的文本到音频生成。该基准包含三个新颖指标，专门用于评估视觉对齐与时间一致性。与此同时，作者还提出了一个简单而有效的视频对齐 TTA 生成模型 T2AV。T2AV 对传统潜在扩散方法进行了改进，将视觉对齐的文本嵌入作为其条件基础；它采用时序多头注意力 Transformer 从视频数据中提取并理解时间细节，并通过 Audiovisual ControlNet 将时序视觉表示与文本嵌入有效融合。为进一步增强这种整合，作者引入了对比学习目标，以确保视觉对齐的文本嵌入与音频特征紧密契合。
在 AudioCaps 和 T2AV-Bench 上的大量评估表明，T2AV 在保证视觉对齐与时间一致性方面，为视频对齐的 TTA 生成树立了新的标准。
核心贡献
- T2AV-Bench 基准：面向与视频对齐的文本到音频生成，引入三个新指标评估视觉对齐与时间一致性。
- T2AV 模型：
- 以视觉对齐的文本嵌入作为潜在扩散模型的条件基础；
- 使用时序多头注意力 Transformer 提取视频中的时间信息；
- 提出 Audiovisual ControlNet，融合时序视觉表示与文本嵌入；
- 引入对比学习目标，使视觉对齐的文本嵌入与音频特征更一致。
- 实验验证：在 AudioCaps 与 T2AV-Bench 上验证模型效果，声称在视觉对齐和时间一致性上达到新水平。