时序预测真被玩明白了!频域增强+通道聚类双杀,误差暴降36%登顶顶刊
时间序列预测在能源、金融、医疗等领域至关重要,但传统模型面临两难:独立建模通道易忽略交互信息,全局依赖建模则存在过平滑和计算冗余问题。
为此,时序即插即用模块应运而生,通过轻量化组件动态优化通道交互与特征表达,平衡性能与效率。其核心在于"动态适配"与"多域协同",研究者设计通用模块,在不改变主干架构的情况下增强模型自适应能力。未来,该领域将向多维耦合与可解释性深入发展,如融合时空图网络建模复杂系统,或通过频域可视化揭示决策逻辑。
我这边也已经帮同学们整理好了【7篇时序即插即用模块】的一些前沿文章,不想多花时间找资料的可以直接拿,希望能帮到你。
感兴趣的可以 [丝 xin] 我~~
【论文1】《From Similarity to Superiority: Channel Clusteringfor Time Series Forecasting》

研究方法
-
问题分析与动机探索:通过观察时间序列模型性能提升与通道混合之间的相关性,以及通道间内在相似性对模型性能的影响,发现现有CI和CD策略的局限性,从而提出基于通道相似性的聚类方法来平衡两者。
-
通道聚类模块(CCM)设计:
-
通道聚类与原型学习:初始化聚类嵌入,将输入的每个通道通过MLP转换为通道嵌入,计算通道与聚类的关联概率,利用基于掩码的跨注意力机制生成每个聚类的原型嵌入,更新聚类嵌入。
-
聚类感知前馈网络:为每个聚类分配独立的前馈网络,根据通道的聚类概率对各聚类的前馈网络输出进行加权平均,得到最终预测结果。
-
零样本预测实现:借助训练阶段得到的原型嵌入,计算未见样本与预训练聚类的聚类概率分布,进而进行零样本预测。
-
-
损失函数设计:提出ClusterLoss,结合通道与各自聚类的对齐程度以及不同聚类之间的区分度,与预测损失共同构成整体损失函数,用于优化模型。
-
实验验证:在多个真实世界数据集上进行实验,包括长期预测、短期预测和零样本预测场景,验证CCM的有效性。选取多种主流时间序列模型作为基线模型,对比应用CCM前后的性能差异,并与其他现有方法如PRReg进行比较。

创新点
-
提出全新的通道策略:首次引入通道聚类的概念,将通道按照内在相似性进行分组,并基于聚类信息而非传统通道身份进行建模,有效平衡了通道独立处理与跨通道建模之间的关系,克服了CI和CD策略的固有缺陷。
-
即插即用的模块设计:CCM具有通用性和即插即用特性,可适配大多数主流时间序列模型,如TSMixer、DLinear、PatchTST和TimesNet等,无需对原模型进行大规模修改,即可快速提升模型性能。
-
零样本预测能力:通过学习聚类原型,使时间序列模型具备对未见样本的零样本预测能力,拓展了模型的应用范围,尤其适用于数据隐私受限或重新训练成本高的场景。
-
自监督学习机制:所提出的ClusterLoss能够在无需外部标签或注释的情况下,自监督地学习出有意义的时间序列原型,降低了对标注数据的依赖,提高了模型的适用性和鲁棒性。
论文链接:[2404.01340] From Similarity to Superiority: Channel Clustering for Time Series Forecasting
代码链接:https://github.com/graph-and-geometric-learning/timeseriesccm
【论文2】《FECAM: Frequency Enhanced Channel Attention Mechanism for **Time Series Forecasting》

研究方法
-
频率增强通道注意力机制(FECAM)的构建:
-
基于DCT的频率表示:选择离散余弦变换(DCT)来获取时间序列的频率信息,避免了傅里叶变换(FT)中因周期性问题导致的吉布斯现象,并且DCT具有更高的能量压缩效率。DCT通过其对称扩展的周期扩展方式,消除了边界不连续性,从而避免了高频噪声。
-
通道注意力机制的改进:传统的通道注意力机制通常仅使用全局平均池化(GAP)来提取时间维度的信息,但这可能导致信息不足甚至丢失。FECAM通过引入DCT的多个频率成分来增强通道间依赖关系的特征学习。将输入特征图沿通道维度分割成子组,每个子组分别经过不同频率成分的DCT处理,然后通过类似SE-block的结构学习每个通道和频率的重要性权重,以重新校准特征图,提升表示能力。
-
-
模块化设计:
-
FECAM被设计为一个通用模块,可以方便地集成到现有的各种时间序列预测模型中,如Transformer、LSTM等。无论是作为独立的预测模型(通过添加投影层)还是作为其他模型的增强模块,FECAM都能通过几行代码轻松地提升模型性能。
-
创新点
-
首次在时间序列预测中从理论上证明能够缓解吉布斯现象:
-
通过数学推导和理论分析,证明了DCT能够从根本上避免FT中的吉布斯现象,从而减少了高频噪声对预测结果的影响。这是时间序列预测领域的一个重要创新,为更准确地利用频率信息提供了理论基础。
-
-
提出了一种新的频率增强通道注意力机制:
-
FECAM不仅能够提取时间序列的频率信息,还能通过学习不同通道和频率的重要性权重,增强模型对时间序列特征的捕捉能力。这种将频率信息与通道注意力机制相结合的方法,在时间序列预测中尚属首次。
-
-
通用性强的模块化设计:
-
FECAM作为一个通用模块,可以方便地集成到各种主流的时间序列预测模型中,如基于Transformer的模型和RNN模型等。这种良好的兼容性和通用性使得FECAM能够广泛应用于不同的模型架构,提升了现有模型的预测性能,具有很强的实用性。
-
-
显著提升模型性能且计算成本低:
-
在六个真实世界的数据集上的实验表明,FECAM在作为独立模型时能够取得最先进的性能,并且在集成到其他模型时也能显著提升其预测性能。同时,FECAM的计算成本增加较小,只需几行代码就可以实现性能的显著提升,具有较高的性价比。
-
论文链接:[2212.01209] FECAM: Frequency Enhanced Channel Attention Mechanism for Time Series Forecasting
代码链接:https://github.com/zero-coder/fecam
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)