完整文章链接: Crossformer：基于Transformer的多变量时序预测模型

今天，我将为大家介绍一种全新的时序预测算法——Crossformer。随着多变量时间序列数据在各个领域的广泛应用，如何更精准地进行预测成为了一个挑战。传统的 Transformer 模型虽然在处理序列数据上表现出色，但在多维度时间序列预测中，如何有效捕捉不同维度之间的依赖性，仍然是一个亟待解决的问题。为此，Crossformer 在 Transformer 的基础上进行了创新，通过引入 Dimension-Segment-Wise (DSW) 嵌入和 Two-Stage Attention (TSA) 层，有效捕捉了时间维度和不同维度之间的复杂依赖关系，从而显著提升了预测性能。接下来，我将带大家深入了解 Crossformer 的工作原理及其优势。

1. Abstract

近年来，许多深度模型被提出用于多元时间序列（MTS）预测。特别是，基于 Transformer 的模型展现了巨大的潜力，因为它们能够捕获长期依赖性。然而，现有的基于 Transformer 的模型主要集中于建模时间上的依赖关系（跨时间依赖性），而往往忽略了不同变量之间的依赖关系（跨维度依赖性），而这种依赖性对于 MTS 预测至关重要。为弥补这一空白，本文提出了一种基于 Transformer 的模型——Crossformer，利用跨维度依赖性来进行 MTS 预测。在 Crossformer 中，通过**维度-分段嵌入（Dimension-Segment-Wise，DSW）将输入的 MTS 嵌入为二维向量数组，以保留时间和维度信息。随后，作者提出了双阶段注意力（Two-Stage Attention，TSA）层，用于高效捕获跨时间和跨维度的依赖性。通过结合 DSW 嵌入和 TSA 层，Crossformer 建立了一个层次化编码器-解码器（Hierarchical Encoder-Decoder，HED）**结构，以利用不同尺度上的信息进行最终预测。在六个真实数据集上的大量实验结果表明，与之前的最先进方法相比，Crossformer 更加高效。

2. INTRODUCTION

多元时间序列（Multivariate Time Series，MTS）是具有多个维度的时间序列，其中每个维度代表一个特定的单变量时间序列（例如，天气的气候特征）。MTS 预测的目标是利用其历史值预测 MTS 的未来值。MTS 预测有助于下游任务的决策制定，并广泛应用于许多领域，包括天气（Angryk et al., 2020）、能源（Demirel et al., 2012）、金融（Patton, 2013）等。随着深度学习的发展，许多模型被提出并在 MTS 预测中取得了卓越的性能（Lea et al., 2017；Qin et al., 2017；Flunkert et al., 2017；Rangapuram et al., 2018；Li et al., 2019a；Wu et al., 2020；Li et al., 2021）。其中，最近的基于 Transformer 的模型（Li et al., 2019b；Zhou et al., 2021；Wu et al., 2021a；Liu et al., 2021a；Zhou et al., 2022；Chen et al., 2022）因其能够捕获长期时间依赖性（跨时间依赖性）而表现出巨大的潜力。

除了跨时间依赖性，跨维度依赖性对于 MTS 预测也至关重要。具体来说，对于某个特定维度，其他相关维度的时间序列信息可能有助于提高预测精度。例如，在预测未来温度时，不仅历史温度信息有帮助，历史风速信息同样重要。一些早期的神经网络模型显式捕获了跨维度依赖性，即在潜在特征空间中保留维度信息，并使用卷积神经网络（CNN）（Lai et al., 2018）或图神经网络（GNN）（Wu et al., 2020；Cao et al., 2020）来捕获其依赖性。然而，近期的基于 Transformer 的模型仅通过嵌入隐式利用这种依赖性。通常，基于 Transformer 的模型将同一时间步中所有维度的数据点嵌入到一个特征向量中，并尝试捕获不同时间步之间的依赖性（如图 1(b) 所示）。这种方式能够很好地捕获跨时间依赖性，但未能充分捕获跨维度依赖性，从而可能限制了其预测能力。

为填补这一空白，本文提出了一种基于 Transformer 的模型——Crossformer，该模型显式利用跨维度依赖性进行多元时间序列（MTS）预测。具体来说，设计了**维度-分段嵌入（Dimension-Segment-Wise, DSW）**来处理历史时间序列。在 DSW 嵌入中，各维度的序列首先被划分为多个段，然后嵌入到特征向量中。DSW 嵌入的输出是一个二维向量数组，其两个轴分别对应时间和维度。

随后，提出了双阶段注意力（Two-Stage Attention, TSA）层，用于高效捕获二维向量数组中的跨时间和跨维度依赖性。通过结合 DSW 嵌入和 TSA 层，Crossformer 建立了一个用于预测的层次化编码器-解码器（Hierarchical Encoder-Decoder, HED）。在 HED 中，每一层对应一个尺度。编码器的上层通过合并下层输出的相邻分段来捕获更粗粒度的依赖性；解码器各层则在不同尺度上生成预测，并将其叠加为最终预测。

本文的贡献如下：

• 深入研究了现有的基于 Transformer 的 MTS 预测模型，发现这些模型未能充分利用跨维度依赖性：它们仅将某一时间步的所有维度数据嵌入到单一向量中，并专注于捕获不同时间步之间的跨时间依赖性。由于未能充分、显式地挖掘和利用跨维度依赖性，其预测能力在实验中被证明是有限的。

• 开发了 Crossformer，一个利用跨维度依赖性的 Transformer 模型，用于 MTS 预测。据所知，这是少数（或可能是第一个）显式探索和利用跨维度依赖性的 Transformer 模型。

• 在六个真实世界的基准数据集上进行的大量实验结果表明，Crossformer 的效果优于之前的最先进方法。在 58 个预测长度和评估指标不同的实验设置中，Crossformer 在 36 个设置中排名第一，在 51 个设置中排名前两位。

 完整文章链接: Crossformer：基于Transformer的多变量时序预测模型