时序预测跨界革命:亚马逊Chronos把时间序列变成了一种“语言”
今天给大家分享一篇创新的时间序列预训练模型Chronos。在实际业务场景中,时间序列预测对业务决策至关重要,但传统方法往往面临数据稀缺、模型泛化能力弱等挑战。现有深度学习方法虽然表现优异,但通常需要在每个数据集上单独训练,而基于大语言模型的方案又存在计算成本高、需要复杂提示工程等问题。亚马逊研究团队提出的Chronos框架,通过将时间序列数据转化为离散标记并直接训练语言模型,开创性地实现了"时间无关"的时序预测。该模型不仅支持零样本预测,还在多个基准测试中超越了专门训练的模型,为构建通用时序预测模型提供了全新思路。
接下来,我将深入对这篇论文展开全面解读。和以往一样,我会严格依照论文的结构框架,从研究背景、核心论点、实验设计到最终结论,逐一对文章的各个关键部分进行细致剖析 ,力求为大家呈现这篇时间序列预测论文的全貌,挖掘其中的研究价值与创新点。

1. Abstract
本文推出Chronos——一种简洁而高效的预训练概率时间序列模型框架。该框架通过缩放与量化将时间序列值标记化为固定词汇表,并基于交叉熵损失函数,在经标记化处理的时间序列数据上训练现有的基于Transformer架构的语言模型。本文基于T5系列模型(参数规模从2000万至7.1亿不等),在大量公开可用数据集基础上对Chronos模型进行预训练,并辅以通过高斯过程生成的合成数据集以提升泛化能力。在包含42个数据集的综合基准测试中(涵盖经典局部模型与深度学习方法),研究表明Chronos模型:(a)在训练集包含的数据集上显著优于其他方法;(b)面对未见过的新数据集时,其零样本预测性能与专为该数据集训练的方法相当,有时更胜一筹。本文的成果证明Chronos模型能够利用来自不同领域的时间序列数据,提升未知预测任务中的零样本精度,由此将预训练模型确立为显著简化预测流程的有效工具。
2. Introduction
时间序列预测是零售、能源、金融、医疗、气候科学等诸多领域决策制定的关键组成部分。传统上,预测领域一直由ARIMA和ETS等统计模型主导。这些模型作为可靠工具至少服务至今,直到近期开始转向深度学习技术(Hyndman & Athanasopoulos, 2018; Benidis et al., 2022)。这种转变可归因于大规模多样化时间序列数据资源的可获得性,以及能够发挥深度预测模型优势的操作性预测问题(Kolassa & Januschowski, 2019)的出现——即从海量时间序列集合中提取规律的能力。尽管深度预测模型表现卓越,但它们仍遵循在相同数据集上进行训练和预测的标准范式。虽然已有研究致力于预测中的迁移学习(Ye & Dai, 2018)和领域自适应(Jin et al., 2022),但该领域尚未收敛于统一的通用预测模型,这一目标始终是时间序列研究者追寻的灯塔。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)