强化学习 + 扩散模型：从原理到前沿论文解读

本文系统梳理了强化学习（RL）与扩散模型的融合路径，涵盖“扩散模型作为策略表示”、“强化学习优化生成目标”及数据增强等方向。重点解读了DDPO、DPOK与Diffusion Policy等前沿工作，展示了其在机器人控制、多模态决策中的优势。未来趋势包括提升采样效率、结合离线强化学习与语言引导，推动生成模型与智能决策深度融合。

VLA 系统学习第 18 课：ACT 完整架构与官方代码调用链——从 RGB 图像到 Action Chunk，再到 Temporal Ensembling

上一课我们正式进入 ACT，学习了 Action Chunking、CVAE、Latent Variable、Reparameterization Trick、KL Loss，以及训练和推理为什么采用不同的数据流。这一课的 10 道题全部围绕同一个问题：ACT 为什么不能只做普通的 Action 回归，而要增加一个学习动作序列潜在表示的分支？

给机器人装一个“知道自己不知道什么“的脑子，然后让它去搜索