Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
基本信息
- 标题：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
- 作者：Ming Jin, Shiyu Wang, Lintao Ma, Zhixuan Chu, James Y. Zhang, Xiaoming Shi, Pin-Yu Chen, Yuxuan Liang, Yuan-Fang Li, Shirui Pan, Qingsong Wen
- 提交日期：2023年10月3日（v1），最后修订于2024年1月29日（v2）
- 录用信息：Accepted by the 12th International Conference on Learning Representations (ICLR 2024)
- 学科分类：Machine Learning (cs.LG)；Artificial Intelligence (cs.AI)
- arXiv 编号：arXiv:2310.01728
摘要
时间序列预测在许多现实世界的动态系统中具有重要意义，并已被广泛研究。与自然语言处理（NLP）和计算机视觉（CV）不同——在后者中单个大型模型即可处理多种任务——时间序列预测模型通常是专门化的，需要针对不同任务和应用进行不同设计。虽然预训练基础模型在 NLP 和 CV 领域取得了令人瞩目的进展，但其在时间序列领域的发展受到数据稀疏性的制约。近期研究表明，大型语言模型（LLMs）具备对复杂 token 序列的强大模式识别和推理能力。然而，如何有效对齐时间序列数据与自然语言的模态，以利用这些能力，仍是一个挑战。
本文提出了 Time-LLM，一个重用（reprogramming）框架，在保持语言模型骨干不变的前提下，将 LLM 重新用于通用时间序列预测。作者首先利用文本原型（text prototypes）对输入时间序列进行重编程，再将其输入冻结的 LLM，以实现两种模态的对齐。为增强 LLM 对时间序列数据的推理能力，作者提出了 Prompt-as-Prefix (PaP)，用于丰富输入上下文并指导重编程输入 patch 的变换。经 LLM 变换后的时间序列 patch 最终被投影以获得预测结果。综合评估表明，Time-LLM 是一个强大的时间序列学习器，优于当前最先进的专门化预测模型。此外，Time-LLM 在少样本（few-shot）和零样本（zero-shot）学习场景中同样表现出色。
核心贡献
- 跨模态重编程框架：将时间序列预测任务重构为 LLM 可处理的形式，同时保持语言模型骨干完全冻结。
- 文本原型重编程：使用文本原型对齐时间序列与自然语言两种模态。
- Prompt-as-Prefix (PaP)：通过丰富输入上下文，引导 LLM 对重编程 patch 进行变换与推理。
- 性能优势：在预测性能上超越专门化的 SOTA 模型，并在少样本与零样本场景中表现优异。