在深度学习训练中，通常期望损失函数（loss）在迭代过程中不断下降并最终趋于收敛。然而，在某些任务中会出现一种“看似反直觉”的现象：loss 曲线并不收敛甚至波动明显，但模型的验证结果或最终预测效果却表现良好甚至最优。这种情况在时间序列建模、序列回归以及采用 TCN 网络结构的任务中尤为常见。本文基于 MATLAB 深度学习框架，对产生这一现象的原因与改进方法进行分析。

现象描述

以 MATLAB 训练 TCN 模型为例，经常出现如下情况：

• 训练 loss 波动较大、不收敛，甚至偶尔突然上升；
• 验证 RMSE、MAE 或任务误差反而持续变小，预测曲线贴合度高；
• 进一步训练并不会显著改善验证效果。

这种“不收敛但好用”的情况往往让研究者难以判断模型真实状态。

可能原因分析

任务噪声或建模本质决定 Loss 不平滑

时间序列中常存在高频噪声、不规则变化或标签不确定性，使得逐样本损失曲线本身难以平滑。如：

• 非白噪声带来的复杂影响
• 延迟、漂移导致标签不精确
• 目标输出本身是非平滑序列

TCN 属于卷积结构，对局部扰动敏感，loss的波动更加常见。

Batch size 小，梯度波动导致 Loss 不稳定

TCN 特别依赖序列上下文，小 batch 训练常见问题：

• 估计梯度不稳定
• 不同 batch 的时间结构差异大
• Batch Normalization 带来波动放大

Loss 与任务指标不一致

• 训练使用 MSE
• 实际关心 RMSE、相关性、定位误差、轨迹平滑度

此时，TCN可能找到一个MSE不低、但任务误差更优的解。

针对性的解决方法

调整优化器与学习率

建议从以下参数开始：

options = trainingOptions("adam", ...
    "InitialLearnRate", 1e-3, ...
    "LearnRateSchedule", "piecewise", ...
    "LearnRateDropFactor", 0.5, ...
    "LearnRateDropPeriod", 10);

出现强振荡可降低至 5e-4 或 1e-4。

延长序列，增大 batch size

options.MiniBatchSize = 32;

批次越大，TCN 梯度越稳定。

选择与任务更一致的 Loss

如果模型用于轨迹预测、定位、估计 IMU 偏置等任务，MSE 不一定是最佳选择。
可采用：

• Smooth L1
• 带权重的 MSE（强化重要时间段）
• 混合 Loss（平衡短期/长期误差）

MATLAB 自定义 Loss 示例（dlnetwork）：

loss = huber(pred, target, 1.0);

观察验证集指标，而非单一训练 loss

核心判断标准应是：

• 验证 RMSE 是否下降
• 预测曲线是否贴合
• 是否出现过拟合

TCN 在很多应用中会出现典型的“验证表现最优但 loss 不平滑”特性。如下：

调试前后结果

在 MATLAB 训练 TCN 时，出现 loss 振荡但效果良好的情况并不罕见。**关键结论是：序列任务中不要盯着 loss 曲线本身，而应关注“任务指标是否下降”。**通常出现此现象的模型往往已处于较优状态，继续强行让 loss 收敛并不会带来真实性能提升。

调试前

调试后

MATLAB代码

调试后的代码：
https://download.csdn.net/download/callmeup/92341365

如需帮助，或有导航、定位滤波相关的代码定制需求，请点击下方卡片联系作者