作者： Abdul Fatir Ansari, Lorenzo Stella, Caner Turkmen, Xiyuan Zhang, Pedro Mercado, Huibin Shen, Oleksandr Shchur, Syama Sundar Rangapuram, Sebastian Pineda Arango, Shubham Kapoor, Jasper Zschiegner, Danielle C. Maddix, Hao Wang, Michael W. Mahoney, Kari Torkkola, Andrew Gordon Wilson, Michael Bohlke-Schneider, Yuyang Wang
提交/修订日期： 2024年3月12日提交，2024年11月4日修订 (v3)
摘要：
本文介绍了Chronos，一个用于预训练概率时间序列模型的简单而有效的框架。Chronos通过缩放和量化将时间序列值标记化到一个固定的词汇表中，并利用交叉熵损失在这些标记化的时间序列上训练现有的基于Transformer的语言模型架构。我们基于T5系列模型（参数量从2000万到7.1亿不等）在大量公开可用的数据集上预训练了Chronos模型，并辅以我们通过高斯过程生成的合成数据集以提高泛化能力。在一个包含42个数据集的综合性基准测试中（涵盖了经典局部模型和深度学习方法），我们展示了Chronos模型：（a）在训练语料库包含的数据集上显著优于其他方法；（b）在新数据集上，相较于专门在这些数据集上训练的方法，具有相当甚至偶尔更优的零样本性能。我们的结果表明，Chronos模型能够利用来自不同领域的时间序列数据来提高对未见预测任务的零样本准确性，从而将预训练模型定位为一种可极大简化预测流程的可行工具。
主题/分类：
- 主要：机器学习 (cs.LG)
- 次要：人工智能 (cs.AI)
备注：
代码和模型检查点可在 https://github.com/amazon-science/chronos-forecasting 获取。