Robust Speech Recognition via Large-Scale Weak Supervision

作者： Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever

提交日期： 2022年12月6日

摘要

本文研究了仅通过预测互联网上大量音频转录文本训练的语音处理系统的能力。当将训练规模扩展到 68 万小时的多语言和多任务监督学习后，得到的模型能够很好地泛化到标准基准测试，并且通常可以与之前完全监督学习的结果相媲美，但这是在零样本迁移（zero-shot transfer）设置下实现的，无需任何微调。与人类相比，这些模型的准确性和鲁棒性接近人类水平。作者同时发布了模型和推理代码，以作为进一步在鲁棒语音处理方面进行工作的基础。

主题/分类

• 主要学科： 音频与语音处理（eess.AS）
• 相关学科： 计算与语言（cs.CL）、机器学习（cs.LG）、声音（cs.SD）

引用

arXiv ID： 2212.04356