1.多尺度时序融合新方法

最近ICLR2025上出现了一个颇具创新性的成果，更确切地说，是TimeMixer与TiDE的融合版本。其核心思路在于，运用层次化分解（hierarchical decomposition）将不同频率的模式分别处理，随后借助跨尺度注意力（cross-scale attention）机制实现特征融合。该模型结构较为复杂，形似蜈蚣，每个尺度均配备独立的编码器（encoder）。我在电力负荷预测任务中进行了尝试，发现其效果明显优于单纯的Transformer模型，不过显存消耗相对较大。在ETTh数据集上，该模型能够取得较为理想的均方误差（MSE）指标。

2.因果推断融入预测领域

这一方向目前热度渐升，更为主流的做法是采用物理信息神经网络（Physics-informed neural networks）施加约束条件。最新的研究成果是将因果图转换为图神经网络（graph neural network）的结构，并在消息传递（message passing）过程中强制实施因果约束。审稿人往往青睐这种具备“可解释性”的论述，然而实际效果却存在一定不确定性。建议结合Shapley值与注意力可视化（attention visualization）技术绘制图表，以增强说服力。在金融数据应用中，仍需谨慎对待，避免出现预测失误。

3.扩散模型在时序预测中的反向应用

扩散模型在时序预测领域确实是新兴趋势，更准确的说法是像DYffusion这类时空扩散模型。其核心思想是将时序预测视为一个去噪过程，即从随机噪声逐步还原出真实的未来序列。目前，扩散模型在时序预测方面已取得不少领先成果。我在传感器数据上进行了测试，发现其性能确实优于传统方法，但训练时间过长，令人质疑其效率。建议采用梯度检查点（gradient checkpointing）技术以节省显存。

4.频域及时空综合分析新策略

频域分析这一传统方法如今焕发出新的活力。最新的做法并非简单采用ConvNeXt，而是运用傅里叶神经算子（Fourier Neural Operator）架构。该方法将短时傅里叶变换（STFT）谱图视为函数空间的表示，并在频域进行卷积操作。这种方法对于周期性较强的数据，如交通流量、能源消耗等，具有显著效果。我在复现过程中发现，关键在于合理设计频段（frequency band）的划分，划分过细易导致过拟合，划分过粗则难以捕捉模式。

5.元学习在时序预测中的调参应用

元学习在时序预测领域确实具有潜力，更为主流的做法是采用少样本学习（few-shot learning）的思路。最新的研究成果是运用基于梯度的元学习（gradient-based meta-learning）方法，快速适应新的时序领域。其核心思想是先在多个相关任务上进行预训练，然后利用少量数据快速微调至目标任务。在医疗数据上，该方法确实比从头开始训练效果更好，但需注意领域偏移（domain shift）的问题。建议先进行传统的统计检验。

6.个人经验与心得分享

分享一个新策略：多尺度分解（multi-scale decomposition） + 跨注意力机制（cross-attention） + 结合物理/因果相关名词 + 扩散模型应用

📚另外，我整理了十篇关于时间序列的最新论文及代码，方便大家参考。