DITTO: Diffusion Inference-Time T-Optimization for Music Generation

基本信息

• 标题：DITTO: Diffusion Inference-Time T-Optimization for Music Generation
• 作者：Zachary Novack、Julian McAuley、Taylor Berg-Kirkpatrick、Nicholas J. Bryan
• arXiv 编号：arXiv:2401.12179（cs.SD）
• 提交/修订日期：2024 年 1 月 22 日提交（v1），2024 年 6 月 3 日修订（v2）
• 发表信息：ICML 2024 Oral
• DOI：https://doi.org/10.48550/arXiv.2401.12179

主题与分类

• 主分类：Sound（cs.SD）
• 交叉分类：Artificial Intelligence（cs.AI）、Machine Learning（cs.LG）、Audio and Speech Processing（eess.AS）

摘要

论文提出 DITTO（Diffusion Inference-Time T-Optimization），一个通用框架，用于在推理阶段通过优化初始噪声潜变量（initial noise latents）来控制预训练的文本到音乐（text-to-music）扩散模型。该方法可以针对任意可微的特征匹配损失（differentiable feature matching loss）进行优化，从而生成目标（风格化）输出，并利用梯度检查点（gradient checkpointing）提升内存效率。

作者展示了该方法在音乐生成中的广泛适用性，包括：

• 音频修复（inpainting）
• 音频外推（outpainting）
• 循环生成（looping）
• 强度、旋律与音乐结构控制

上述能力均无需对底层模型进行微调。在与相关的训练型、引导型（guidance）以及基于优化的方法进行比较时，DITTO 在几乎所有任务上均达到最先进（state-of-the-art）性能，在可控性、音频质量和计算效率方面优于同类方法，为扩散模型实现高质量、灵活且免训练（training-free）的控制开辟了新路径。

示例音频见：https://DITTO-Music.github.io/web/