DreamWaQ++：面向障碍感知的弹性多模态强化学习四足运动控制【文献解读】

文献：DreamWaQ++: Obstacle-Aware Quadrupedal Locomotion With Resilient Multi-Modal Reinforcement Learning
期刊：IEEE Transactions on Robotics（T-RO）, Vol. 42, pp. 819–836, 2026
项目主页：https://dreamwaqpp.github.io
相关开源基础：https://github.com/leggedrobotics/legged_gym ，https://github.com/leggedrobotics/rsl_rl

1. 文献概述

DreamWaQ++研究的是一个比“让四足机器人在复杂地形上不摔倒”更进一步的问题：机器人不仅要依靠关节编码器和惯性测量单元维持稳定，还要利用深度相机或三维激光雷达提前观察障碍，并在外感知存在延迟、噪声、标定误差甚至完全失效时继续完成运动。

现有强化学习四足控制方法通常分为两类。第一类只使用本体感知，具有较好的仿真到现实迁移能力，但机器人往往必须先用腿碰到台阶，才能判断障碍高度并调整步态。第二类引入深度图、高程图或局部地图，能够提前感知障碍，却依赖较准确的建图、位姿估计和传感器标定，感知链路一旦延迟或失真，控制性能会明显下降。

DreamWaQ++在两者之间建立了一条轻量化路线：以原始三维点为外感知输入，以短时本体感知历史为内部状态依据，通过显式时空对齐、PointNet置信度过滤、MLP-Mixer多模态融合、变分隐变量建模、特权信息对比学习和互信息技能发现，训练一个能够直接输出关节目标位置的单阶段强化学习控制器。

该方法的核心价值不在于某一个单独网络模块，而在于形成了完整闭环：

1. 用显式几何变换解决低频外感知与高频控制之间的时间稀疏问题；
2. 用统计置信度过滤抑制点云离群点；
3. 用随机隐变量和多模态融合获得可适应、可退化的环境表征；
4. 用特权信息约束隐空间，同时避免要求策略精确回归所有不可观测物理参数；
5. 用互信息目标促进步态多样性，使探测、匍匐、跨越和跳跃等行为能够从训练中涌现。

图1 DreamWaQ++在楼梯、台阶、沟壑、可变形地面、移动平台及35°斜坡上的多种运动行为（对应论文 Fig. 1）

---

2. 论文解决的关键科学问题与技术挑战

2.1 仅依赖本体感知时，障碍信息具有明显滞后性

盲式四足控制器通过关节位置、关节速度、机身角速度、重力方向和历史动作等信息推断地形。当机器人尚未接触障碍时，这些观测中几乎没有台阶高度、沟壑位置或前方落脚面形状的信息。因此，策略通常需要依靠前足碰撞完成“触觉探测”，容易产生小腿碰撞、卡足、速度损失和姿态冲击。

DreamWaQ++要解决的第一个问题，是让策略在接触前获得几何先验，同时保留盲式控制器在视觉失效时依靠身体反馈维持运动的能力。

2.2 外感知与控制频率不一致

论文中的频率配置为：

模块	频率
本体感知采样	200 Hz
深度相机或点云外感知	10 Hz
强化学习策略	50 Hz
关节PD控制	200 Hz

若直接将10 Hz点云送入50 Hz策略，同一帧外感知会在多个控制周期中重复使用。机器人在此期间已经发生平移和转动，旧点云相对于当前机身坐标系逐渐失准。该现象被论文称为外感知的时间稀疏性。这不是简单增加网络历史长度就能完全解决的问题，因为历史点云还需要进行坐标对齐。

2.3 地面附近点云噪声和离群点会被最大池化放大

深度相机靠近地面工作时，容易受反光、视差、遮挡和测距下限影响，产生飞点、缺失点与大范围噪声。PointNet通过最大池化获得点排列不变性，但最大池化也可能将幅值异常的离群特征直接保留下来。对于四足控制而言，一个虚假的高点可能使策略错误抬腿，一个虚假的低点则可能诱发踏空。

2.4 多模态信息并不总是一致

外感知描述机器人即将到达的地形，本体感知描述机器人当前接触到的动力学响应，两者在空间范围、时间尺度和噪声形式上均不相同。平地上二者容易一致，而在低矮台阶、松软地面、突然移动的支撑面或相机松动时，两种模态可能明显冲突。融合模块既不能盲目相信视觉，也不能退化为完全忽略视觉。

2.5 稳定运动与多样技能之间存在目标冲突

常规强化学习步态奖励通常强调速度跟踪、低力矩、低关节加速度、动作平滑和机身稳定。过强的正则项会使策略收敛到保守的小步态，虽然不易摔倒，却难以跨越高台阶或完成跳跃。论文需要在基本稳定性与技能探索之间找到平衡，使多种运动行为由同一框架学习出来。

2.6 仿真到现实迁移不仅包含动力学误差，还包含感知误差

传统域随机化主要处理质量、摩擦、质心、电机强度和控制延迟。DreamWaQ++还必须覆盖外参误差、点云噪声等级、数据不同步和相机失效等问题。否则，仿真中完美的点云会使策略在现实环境中形成严重依赖。

---

3. DreamWaQ++总体技术路线

DreamWaQ++由感知管线和控制管线构成，采用非对称Actor-Critic与PPO联合训练。

• Actor接收现实中可获得的带噪本体感知、当前观测和多模态隐变量；
• Critic接收仿真中特权状态，包括真实机身状态、局部高程图、外力、足端位置和随机化物理参数；
• 本体感知编码器从短时序列中提取动力学上下文，并估计机身线速度；
• 层次化外感知记忆利用估计速度与IMU姿态，将历史点云变换到当前机身坐标系；
• 外感知编码器通过PointNet与置信度过滤提取地形特征；
• 多模态Mixer融合本体与外感知隐变量；
• 策略网络在50 Hz下输出12个关节目标位置；
• 底层PD控制器在200 Hz下将目标位置转换为关节力矩。

图2 DreamWaQ++整体网络结构与训练信息流（对应论文 Fig. 2）

从控制结构看，DreamWaQ++不是MPC、WBC或显式落脚点规划器。它没有在线求解接触力优化问题，也没有生成带时间参数的足端轨迹，而是将地形理解、状态估计、步态适应和关节目标生成隐式地整合进神经网络策略。

3.1 POMDP建模

由于策略无法直接观测完整机器人状态、真实地形、摩擦系数和外部扰动，问题被建模为部分可观测马尔可夫决策过程。目标是最大化折扣累计回报：

$${\pi }^{\ast }=\arg \underset{\pi }{\max }{\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right],$$

其中，$\pi$为策略，$r_t$为时刻$t$的奖励，$\gamma$为折扣因子。策略使用PPO优化，感知编码器则同时受到状态估计、重构、KL正则、对比学习和互信息目标的约束。

论文没有给出一个统一编号的总损失公式。按其训练结构，可以将联合目标概括为：

$${\mathcal{L}}_{\mathrm{joint}}={\mathcal{L}}_{\mathrm{PPO}}+{\alpha }_{\mathrm{est}}{\mathcal{L}}_{\mathrm{est}}+{\alpha }_p{\mathcal{L}}_{\mathrm{VAE}}^p+{\alpha }_e{\mathcal{L}}_{\mathrm{VAE}}^e+{\alpha }_c{\mathcal{L}}_{\mathrm{contrastive}}-{\alpha }_v{\mathcal{G}}_{\mathrm{versatility}}.$$

该式是对论文训练机制的结构化整理，不是论文原文给出的单一公式。负号表示训练时需要最大化versatility gain。

---

4. 层次化外感知记忆：解决异步点云问题

4.1 点云历史的显式坐标对齐

设当前外感知点云为$o_t^e$，将最近$K$次点云都变换到当前机身坐标系后进行拼接：

$$o_t^{e,K}=o_t^e\oplus {\hat{o}}_{t-1}^e\oplus \cdots \oplus {\hat{o}}_{t-K}^e,$$

其中$\oplus$表示拼接，${\hat{o}}_{t-k}^e$表示已经对齐到当前坐标系的历史点云。其核心变换可写为：

$${\hat{o}}_{t-k}^e={\left(T_{t-k}^t\right)}^{-1}{o}_{t-k}^e,$$

$T_{t-k}^t\in SE(3)$描述历史机身坐标系到当前机身坐标系的刚体变换。

旋转部分来自IMU姿态，平移部分由本体编码器估计的机身线速度进行欧拉积分：

$${\hat{p}}_t={\hat{p}}_{t-1}+{\hat{v}}_t\Delta t.$$

论文将外感知频率设为10 Hz、策略频率设为50 Hz，因此取$K=5$。每获得一帧新点云便重置短时积分过程，使累计漂移限制在约100 ms的时间窗口内。这里的“记忆”不是依靠LSTM隐状态长期保存场景，而是通过几何变换显式维护一个短时、局部、以机器人为中心的点云缓存。

4.2 这一设计的意义

该方法避免了完整局部地图重建和U-Net等较重网络，具有三点优势：

• 将低频点云扩展为与控制周期匹配的时空密集表示；
• 对深度相机和10 Hz三维激光雷达采用统一接口；
• 短时积分误差会在新点云到来后重置，不需要长期高精度里程计。

其代价是只能形成短时局部记忆，无法替代用于导航的长期地图；状态估计误差也会直接传递到点云对齐结果。

---

5. 外感知编码器与置信度过滤

DreamWaQ++使用三维点而非固定分辨率深度图作为输入，使深度相机、Ouster LiDAR和Livox LiDAR均可被转换到统一点云表示。编码器以PointNet式共享MLP为主干，对每个点提取特征，再通过全局最大池化形成外感知上下文$z_t^e$。

为抑制离群点，论文在最大池化前加入置信度过滤：

$$\mathcal{C}\left(o_t^{e,K}\right)={\psi }_e\left(o_t^{e,K}\right)\odot \left[1-\tanh \left(\sigma \left(o_t^{e,K}\right)\right)\right],$$

其中：

• ${\psi }_e(\cdot )$为PointNet主干提取的逐点特征；
• $\sigma (\cdot )$表示依据输入统计量得到的特征离散程度；
• $\tanh (\cdot )$将置信度掩码限制到有限范围；
• $\odot$为Hadamard逐元素乘积。

高方差特征更可能由飞点或强噪声引起，经过$1-\tanh (\sigma )$后被衰减；低方差、局部一致的特征得到保留。过滤后的逐点特征再进行最大池化。

图3 带置信度过滤的PointNet外感知编码器（对应论文 Fig. 3）

该模块不是传统意义上的几何离群点滤波器。它不直接按照欧氏距离删除原始点，而是在可学习的特征空间内对异常特征降权，因此能够随控制任务共同优化。

---

6. 本体感知编码器与状态估计

6.1 由CENet扩展到MLP-Mixer

本体感知编码器继承DreamWaQ中的Context-Aided Estimator Network思想，但将普通全连接网络替换为MLP-Mixer。输入为最近$H$帧本体观测：

$$o_t^{p,H}={\left[o_t^p,o_{t-1}^p,\dots ,o_{t-H}^p\right]}^{\top }.$$

论文设置$H=5$，策略频率为50 Hz，因此本体记忆窗口约为100 ms。作者将不同本体感知量视为token，将时间帧视为channel，交替执行：

• token mixing：学习不同关节、IMU、重力向量与历史动作之间的关联；
• channel mixing：学习各时间帧之间的动态演化关系。

两类MLP均包含两个隐藏层，每层256个单元，采用ELU激活。

MLP-Mixer不使用自注意力，其“全局混合”来自跨token和跨channel的全连接变换。与Transformer相比，它缺少显式注意力权重，但计算结构更简单，更适合50 Hz板载推理。

6.2 显式机身速度估计

本体隐变量$z_t^p$除了送入多模态Mixer，还通过一个256维全连接估计头预测机身线速度${\tilde{v}}_t$：

$${\mathcal{L}}_{\mathrm{est}}=\mathrm{MSE}\left({\tilde{v}}_t,v_t\right),$$

其中$v_t$为仿真中的真实机身速度。该速度一方面作为策略的状态信息，另一方面用于历史点云的平移补偿，因此状态估计与外感知记忆是耦合的。

论文继续使用DreamWaQ中的自适应bootstrap机制：

$$p_{\mathrm{boot}}=1-\tanh \left(\mathrm{CV}(R)\right),$$

其中$\mathrm{CV}(R)$为批次累计回报的变异系数。训练初期回报波动大，$p_{\mathrm{boot}}$较低，策略更多使用真实速度，避免被尚未收敛的估计器误导；训练趋稳后，逐步提高估计速度的使用概率，使策略适应部署阶段的估计误差。

---

7. 随机隐变量与多模态Mixer

7.1 变分隐变量的作用

本体和多模态编码器不输出固定确定性向量，而是输出高斯分布的均值和标准差：

$$z\sim \mathcal{N}\left(g_{\mu }(x),g_{\sigma }(x)\right).$$

随机采样带来两方面作用：

1. 对输入扰动形成隐空间平滑和去噪，减小仿真与现实分布差异；
2. 在策略学习中提供隐式探索，使相近观测不被固化为唯一动作模式。

为避免训练早期数值不稳定，论文将标准差限制为：

$${\sigma }_{\min }\le g_{\sigma }(x)\le {\sigma }_{\max },{\sigma }_{\min }=0,{\sigma }_{\max }=5.$$

7.2 多模态融合

本体隐变量和外感知隐变量先分别进行LayerNorm，再送入MLP-Mixer：

$$z_t^{pe}=f_{\psi }^{\mathrm{mix}}\left(\mathrm{LN}(z_t^p)\oplus \mathrm{LN}(z_t^e)\right).$$

分模态归一化非常重要。点云编码和本体编码的数值尺度若相差过大，梯度会优先更新幅值更大的模态，导致另一模态被忽略。LayerNorm使两种特征在进入融合模块前具有可比较的统计尺度。

多模态上下文$z_t^{pe}$最终同时承担三项任务：

• 为Actor提供地形与机器人状态条件；
• 重构机器人周围的局部高程扫描；
• 与Critic侧特权高程隐变量进行对比对齐。

---

8. 多任务学习目标

8.1 本体感知未来观测重构

本体编码器采用$\beta$-VAE预测下一时刻观测：

$${\mathcal{L}}_{\mathrm{VAE}}^p=\mathrm{MSE}\left({\tilde{o}}_{t+1},o_{t+1}\right)+\beta D_{\mathrm{KL}}\left(q(z_t^p\mid o_t^{p,H})\Vert p(z_t^p)\right).$$

第一项迫使隐变量包含可预测的动力学信息，第二项使隐空间接近先验分布并保持连续、解耦。论文初始设置$\beta =5.0$。

8.2 多模态局部地形重构

多模态编码器利用特权局部高程图进行训练：

$${\mathcal{L}}_{\mathrm{VAE}}^e=\mathrm{MSE}\left({\tilde{h}}_t,h_t\right)+\beta D_{\mathrm{KL}}\left(q(z_t^{pe}\mid o_t^{pe})\Vert p(z_t^{pe})\right),$$

其中$h_t$为仿真提供的机器人中心局部高程扫描，${\tilde{h}}_t$为隐变量解码结果。这里的重构任务只在训练阶段提供监督，部署时不需要真实高程图。

8.3 自适应$\beta$调度

固定$\beta$难以同时保证重构精度与隐空间正则。DreamWaQ++根据当前重构误差调节$\beta$：

$$k=\exp \left[\delta \left(\tau -{\mathcal{L}}_{\mathrm{recon}}\right)\right],$$

$$\beta \leftarrow \{\begin{array}{ll}{\beta }_{\min },& k\beta \le {\beta }_{\min },\\ k\beta ,& {\beta }_{\min }<k\beta <{\beta }_{\max },\\ {\beta }_{\max },& k\beta \ge {\beta }_{\max }.\end{array}$$

当重构误差高于阈值$\tau$时，$k<1$，降低$\beta$，让网络优先提高地形重构精度；当重构已较准确时，提高$\beta$，强化隐空间解耦和泛化能力。

8.4 特权信息对比学习

部分可观测输入通常无法精确恢复摩擦、质量、地形和外部扰动等所有特权变量，若强制逐项回归，容易产生“可实现性缺口”。DreamWaQ++不要求Actor重构完整特权状态，而是对齐几何隐空间：

$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{contrastive}}=& \lambda {\Vert z_t^{pe}-g_{\theta }^h(h_t)\Vert }_2^2\\ & +(1-\lambda ){\Vert \max \left(0,m-\left(z_t^{pe}-z_t^{\mathrm{random}}\right)\right)\Vert }_2^2.\end{array}$$

其中：

• $g_{\theta }^h(h_t)$是特权真实高程图的编码结果，作为正样本；
• $z_t^{\mathrm{random}}\sim \mathcal{U}[-1,1]$作为无结构负样本；
• 第一项拉近Actor多模态隐变量与真实地形隐变量；
• 第二项使其远离随机无意义表示。

这相当于将Critic拥有的特权几何知识作为训练期教师，但不需要额外分阶段蒸馏。

8.5 基于互信息的技能发现

论文将多样性增益定义为观测与多模态隐变量之间的互信息：

$${\mathcal{G}}_{\mathrm{versatility}}=\mathcal{I}(o_t^{pe};z_t^{pe})=\mathcal{H}(z_t^{pe})-\mathcal{H}(z_t^{pe}\mid o_t^{pe}).$$

• 最大化$\mathcal{H}(z_t^{pe})$，鼓励隐变量覆盖更丰富的状态和技能；
• 最小化$\mathcal{H}(z_t^{pe}\mid o_t^{pe})$，使同类观测映射到相对稳定的隐表示，发挥去噪作用。

结合编码器压缩目标后，论文推导得到：

$$\mathcal{J}=(1-{\lambda }_e)\mathcal{H}(z_t^{pe})-(1-{\lambda }_e)\mathcal{H}(z_t^{pe}\mid o_t^{pe})+{\lambda }_e\mathcal{H}(o_t^{pe}),$$

实验中设置${\lambda }_e=0.1$。该目标不是直接规定“抬腿”“爬行”或“探测”等动作，而是增加策略访问不同状态和形成不同隐变量模式的动力。具体步态仍由环境交互、任务奖励和机器人动力学共同决定。

---

9. 奖励课程与Sim-to-Real设计

9.1 风格正则的退火

论文沿用DreamWaQ的主体奖励，并对关节级风格惩罚进行指数退火：

$$w_{i+1}=\lambda w_i,\lambda =\mathrm{0.998.}$$

初始权重如下：

奖励项	初始权重 $w_0$
关节力矩	$-5\times 10^{-6}$
关节速度	$-6\times 10^{-6}$
关节加速度	$-7.5\times 10^{-8}$
动作变化率	$-1.5\times 10^{-5}$
平滑性	$-1.5\times 10^{-5}$

训练初期较强的正则有利于形成平稳、可迁移的基本步态；随着训练推进，惩罚权重逐步降低，为高抬腿、长摆动、匍匐和跳跃等动作释放探索空间。该设计解释了为什么只依靠固定平滑惩罚的策略容易收敛到保守步态。

9.2 动力学域随机化

参数	随机化范围
额外载荷	$[-1,2]$ kg
$K_p$系数	$[0.9,1.1]$
$K_d$系数	$[0.9,1.1]$
电机强度系数	$[0.9,1.1]$
质心偏移	$[-50,50]$ mm
摩擦系数	$[0.2,1.25]$
系统延迟	$[0,15]$ ms

论文还使用Roll-Drop对观测进行随机丢弃或扰动，以增强策略对不完整输入的适应能力。

9.3 对抗式观测噪声

本体感知加入均匀噪声，外感知则按低、中、高三档噪声训练，对应机器人比例分别为30%、50%和20%。主要范围如下：

观测	噪声或偏置范围
关节位置	$[-0.01,0.01]$ rad
关节速度	$[-1.5,1.5]$ rad/s
机身线速度	$[-0.1,0.1]$ m/s
机身角速度	$[-0.2,0.2]$ rad/s
重力向量	$[-0.05,0.05]$ m/s²
外感知低噪声	$[0,0.03]$ m
外感知中噪声	$[0.03,0.1]$ m
外感知高噪声	$[0.1,0.3]$ m
传感器roll偏置	$[-0.2,0.2]$ rad
传感器pitch偏置	$[-0.15,0.15]$ rad
传感器yaw偏置	$[-0.1,0.1]$ rad
传感器$x/y/z$偏置	各$[-0.1,0.1]$ m

这组外参随机化是DreamWaQ++“弹性”能力的重要来源。策略在训练中已经见过点云整体错位、倾斜和尺度不同程度失真的情况，因此部署时不会将外感知视为绝对可靠信息。

9.4 训练与底层控制

• 仿真器：NVIDIA Isaac Gym Preview 3；
• 训练框架：Legged Gym；
• 并行环境：3500个机器人；
• 训练硬件：NVIDIA A5000；
• 训练时间：约11小时；
• 策略输出：目标关节位置；
• 策略频率：50 Hz；
• PD频率：200 Hz；
• PD参数：$K_p=25$，$K_d=0.7$；
• 部署：使用Pybind调用Unitree SDK，并通过ROS完成数据与控制接口；
• 现实部署前不进行额外微调。

---

10. 实验设计与结果分析

10.1 多硬件与多传感器配置

论文在四套硬件配置上验证控制器：

• R1：Unitree Go1 + Intel RealSense D435f；
• R2：Unitree A1，无外感知，用于DreamWaQ盲式基线；
• R3：Unitree Go1 + Intel NUC + Ouster OS-01 LiDAR；
• R4：Unitree Go1 + Intel NUC + 两个Livox Mid-360 LiDAR。

R3和R4增加约2.5–3.0 kg载荷，R1相机和防护罩增加约0.5 kg。不同传感器都先转为三维点输入，验证了统一点云接口的可迁移性。

图4 不同机器人与外感知硬件配置（对应论文 Fig. 4）

10.2 五十级连续楼梯竞速

对比方法包括DreamWaQ盲式控制器和Unitree内置感知控制器。DreamWaQ++在35 s内完成全部楼梯：

控制器	35 s时水平距离	攀升高度	结果
DreamWaQ++	30.03 m	7.38 m	完成全部楼梯
DreamWaQ	20.05 m	5.44 m	多次碰撞与失步
Unitree内置控制器	6.38 m	2.44 m	摔倒，未完成

DreamWaQ++的速度命令约为1.0 m/s，DreamWaQ约为1.2 m/s。尽管DreamWaQ指令更高，其前足和小腿频繁撞击台阶，实际速度反而更低。DreamWaQ++会提前抬高机身并延长摆腿，从而减少台阶边缘碰撞。

图5 楼梯竞速、步态差异与速度估计误差（对应论文 Fig. 5）

需要注意，正面竞速使用了不同机器人与不同控制器，严格公平性有限。论文随后使用同一台R4分别部署DreamWaQ++和DreamWaQ进行异步对比，以减小硬件差异带来的影响。

10.3 障碍可供性判断与摆腿适应

在左右两侧台阶高度分别为25 cm和20 cm的场景中，机器人收到直行且零偏航角速度命令，但会主动向较低、风险较小的一侧偏移。当左右台阶关系变化后，策略又转向新的较低台阶。这表明策略不只是根据局部高度抬腿，还隐式学习了地形的可通过性。

当后足接近台阶边缘时，策略会延长摆动相位，一次跨越累计30 cm高度；当后足位于台阶中部时，则采用常规逐级迈步。这种差异说明融合隐变量中同时保留了前方几何与脚下接触历史。

图6 非对称台阶上的可供性选择与自适应长摆腿行为（对应论文 Fig. 6）

在1000个并行机器人楼梯实验中，DreamWaQ++相较拥有真实高程图的ViL-teacher基线仍取得约20%–40%的成功率提升。这一结果说明，准确地形输入并不自动等价于高性能运动；策略是否学会多样步态同样关键。

图7 不同步高和踏步长度条件下的楼梯成功率（对应论文 Fig. 7）

10.4 不确定地形上的主动探测

面对较大落差且相机无法准确看到前足附近地面时，机器人会先减速或停下，用前足向下探测，确认支撑面后再前进。落地过程中，后腿张开并作为锚点，以减轻前腿冲击。

该动作没有专门设计“探测奖励”或有限状态机，而是由外感知不确定性、本体反馈、随机隐变量与技能多样性目标共同诱导。它体现的不是显式概率不确定度估计，而是策略在不一致或信息不足的多模态上下文下形成了保守试探行为。

图8 临近高落差地形时的停步、前足探测、速度变化与关节运动（对应论文 Fig. 8）

10.5 突然失去落脚面的分布外适应

机器人前足踩上可移动小车后，小车被突然踢走。策略迅速外展前髋关节，将支撑多边形面积扩大约20.12%，随后稳定落地。PaCMAP可视化显示，多模态隐变量在支撑面突变时跳转到新簇，恢复稳定步态后又回到原有周期轨迹。

图9 支撑面突然移动时的关节响应、支撑多边形扩张与隐变量迁移（对应论文 Fig. 9）

10.6 35°分布外陡坡

训练地形的坡度最高只有10°，现实测试坡度达到35°。DreamWaQ倾向保持机身水平，使后腿承担较大力矩；DreamWaQ++根据坡面信息降低机身高度，使机身姿态接近坡面方向并形成匍匐步态。其后腿关节力矩约为DreamWaQ的三分之二，即DreamWaQ后腿力矩约高1.5倍。

图10 DreamWaQ与DreamWaQ++在35°坡面上的姿态和关节力矩对比（对应论文 Fig. 10）

10.7 不同机器人形态的扩展性

作者使用同一套奖励结构训练Go1、ANYmal-C和Hound，只调整机器人模型、电机限制、PD参数、期望足端间隙、机身高度和最大接触力等硬件相关参数。训练阶段最大台阶高度为27 cm，但Hound在42 cm台阶上仍达到约80%成功率。

图11 Go1、ANYmal-C和Hound在不同台阶高度上的成功率（对应论文 Fig. 11）

“无需额外调奖励”不等于同一个策略权重可以直接跨机器人迁移。论文为不同机器人重新训练了策略，只是复用了奖励形式和主要权重。

10.8 大障碍与跳跃行为

作者进一步训练Go1、ANYmal-C和Hound跨越0.6 m、1.0 m和1.5 m障碍。为释放高动态行为，将速度跟踪奖励尺度从1.0降至0.1，并将versatility gain权重从0.1提高到0.2。不同机器人形成了不同动作：

• Go1依靠跳跃跨越；
• ANYmal-C先以前足挂住障碍，再用后腿推动；
• Hound通过大幅摆动前腿建立锚点；
• 现实中的Go1在增加2.5 kg载荷后，成功爬上41 cm软质沙发块；
• 面对50 cm高台边缘，Go1先停顿，再以前腿蹬出、后腿推进并收腿避碰。

图12 不同四足平台跨越大尺度障碍及现实软质障碍实验（对应论文 Fig. 12）

这部分实验经过额外训练并修改奖励，不应与默认策略在普通楼梯、坡面和复杂地形上的“单网络多行为”混为一谈。它主要证明DreamWaQ++可以作为高动态技能学习的通用先验框架。

---

11. 消融实验与隐空间分析

11.1 关键模块消融

1000个机器人分别在10 cm连续楼梯、20 cm连续楼梯和5–25 cm离散障碍上运行20 s。主要结果如下：

方法	简单楼梯成功率	困难楼梯成功率	离散障碍成功率	困难楼梯行进距离	困难楼梯小腿碰撞数
无记忆	98.7%	85.1%	99.6%	$5.8\pm 3.5$ m	$35.2\pm 10.2$
LSTM隐式记忆	99.1%	92.5%	99.5%	$8.8\pm 1.3$ m	$37.8\pm 4.3$
无专用隐变量融合	90.2%	60.7%	94.3%	$3.4\pm 3.1$ m	$25.3\pm 2.3$
去除对比损失	98.4%	93.1%	99.2%	$8.9\pm 1.4$ m	$23.7\pm 0.7$
去除多样性增益	98.2%	89.4%	99.3%	$8.8\pm 1.5$ m	$31.5\pm 1.1$
DreamWaQ++	99.5%	97.8%	99.8%	$9.5\pm 1.2$ m	$18.3\pm 2.5$

可以得到四个结论：

1. 专用多模态融合是最关键的结构模块。简单拼接使困难楼梯成功率由97.8%降至60.7%，说明两种模态需要显式交互，而不能只作为独立特征并列输入。
2. 记忆主要减少碰撞。无记忆版本在三个场景中的小腿碰撞明显增多，说明脚下与前方地形的时间连续性对摆腿规划至关重要。
3. 对比损失提升隐空间的几何一致性。去除后性能下降相对温和，但行进距离和碰撞均变差。
4. versatility gain决定复杂场景下的行为覆盖。去除后困难楼梯成功率降至89.4%，小腿碰撞增加，策略更容易收敛到窄分布的保守步态。

11.2 隐变量结构

本体隐变量在降维后形成周期性椭圆或环状结构，对应四足步态相位。外感知隐变量对不同地形类别具有更清晰的聚类。融合后的多模态隐变量同时保留步态周期和地形类别，使策略既知道“当前处于哪个运动相位”，又知道“前方和脚下是什么地形”。

图13 本体、外感知与融合隐变量在平地、非规则地形和不同楼梯上的分布（对应论文 Fig. 13）

11.3 隐变量调制与步态可解释性

外感知隐变量的第41、42、55和64维出现显著激活。人为将这些维度缩放到原值的0.1倍、1倍和3倍后，机器人步态发生连续变化：缩放增大时，步频降低、抬脚高度升高，逐渐接近楼梯步态；缩放减小时，步频提高、抬脚高度降低。

图14 特定外感知隐变量对足端高度和步态风格的调制作用（对应论文 Fig. 14）

这说明融合隐空间并非纯粹不可解释的压缩向量，其中存在与步态高度和频率相关的控制方向。但这些维度由无监督训练形成，不同随机种子下对应索引可能变化，因此不能直接当作固定语义控制接口。

11.4 状态估计与地形重构精度

状态估计结构	$v_x$误差	$v_y$误差	$v_z$误差	地形重构误差
MLP	0.0571 m/s	0.0739 m/s	0.0715 m/s	0.1978 m
RNN	0.0497 m/s	0.0613 m/s	0.0514 m/s	0.1253 m
MLP-Mixer	0.0363 m/s	0.0331 m/s	0.0385 m/s	0.0674 m

MLP-Mixer在三个速度分量和局部地形重构上均优于普通MLP和RNN。论文还比较了未来状态预测，MLP-Mixer精度接近Transformer，但网络更轻量。

11.5 外感知失效时的退化行为

正常点云输入下，机器人会提前抬腿跨越楼梯；将外感知替换为白噪声后，脚部会撞击台阶，但策略能够通过“卡足—沿竖直面上滑—落到下一阶”的反射式动作继续运动。相机完全脱落后，机器人增加足部和膝部接触，降低机身并形成更稳定的支撑姿态。

图15 正常外感知、白噪声输入及相机脱落条件下的运动退化模式（对应论文 Fig. 16）

这里的“弹性”应理解为性能可退化但不立即失稳。外感知失效后，策略无法保持正常高效的跨障步态，只是依靠本体感知和接触反馈退化为更保守的运动模式。

---

12. 主要创新点与学术贡献

12.1 面向异步传感器的显式层次化记忆

论文没有将所有时序问题交给RNN，而是将外感知时间稀疏问题拆分为“状态估计—$SE(3)$对齐—短时点云缓存”。这种结构利用机器人几何先验，减少了网络学习坐标变换的负担，在有限板载算力下实现50 Hz闭环控制。

12.2 具有失效容错能力的多模态隐变量

DreamWaQ++不是将视觉作为绝对真值，而是在训练中主动制造点云噪声、外参误差和延迟，使本体感知成为外感知失效时的后备信息。多模态融合的目标是根据一致性动态使用两种模态，而不是简单提高视觉权重。

12.3 在PointNet特征空间中进行置信度过滤

置信度过滤在最大池化之前抑制高方差异常特征，直接针对PointNet对离群最大值敏感的问题。相比预处理阶段固定阈值滤波，其掩码可以围绕运动控制目标端到端学习。

12.4 单阶段联合训练感知、状态估计和控制

状态估计器、点云编码器、多模态融合器、高程图解码器、Actor与Critic共同优化，不需要先训练教师、再蒸馏学生、最后微调策略。特权信息通过Critic和对比损失参与训练，但部署时仅保留现实可用观测。

12.5 将互信息技能发现引入感知运动控制

versatility gain不是附加一个手工步态标签，而是通过隐变量熵和条件熵控制行为覆盖与表示稳定性。它与奖励退火共同缓解“稳定性正则过强导致策略保守”的问题，是论文中探测、匍匐、长摆腿和跳跃行为出现的重要原因。

12.6 通过多层次实验验证弹性、泛化与可解释性

论文不仅展示常规崎岖地形，还包含：

• 连续五十级楼梯竞速；
• 传感器和机器人硬件变化；
• 移动落脚面与软质障碍；
• 超出训练坡度3.5倍的35°斜坡；
• 相机标定严重错误与完全脱落；
• 1000机器人规模的定量测试；
• 网络结构、正则项、隐空间和状态估计消融。

这种实验组合将“效果展示”扩展到了机制验证和失效分析层面。

---

13. 方法局限与需要谨慎理解的结论

13.1 尚无完整官方代码

项目主页提供论文、图片和视频，但未公开完整训练与部署代码。论文给出了主要结构、损失和随机化范围，但网络输入维度、全部PPO超参数、地形课程细节、奖励完整表和训练脚本仍不足以直接复现最终性能。

13.2 仍依赖传感器外参和有限视场

论文通过随机化增强了外参误差容忍度，但并未消除对机身—传感器坐标关系的依赖。前向点云无法完整覆盖机身后方和足端遮挡区域，局部记忆也不是长期地图。作者提出未来加入主动俯仰相机，使机器人通过调整视角主动提高可观测性。

13.3 没有硬约束与形式化安全保证

策略可以在大量训练分布中形成稳健行为，但没有MPC、WBC或控制屏障函数中的显式摩擦锥、关节力矩、稳定域和碰撞硬约束。对极端地形的成功是经验性结果，不等同于可证明的安全性。

13.4 “传感器无关”具有条件

框架能接收由相机或LiDAR生成的三维点，但不同传感器的视场角、盲区、点密度、扫描畸变和时间戳特性仍可能形成新的分布偏移。统一数据格式并不代表任意传感器均可完全零调整替换。

13.5 部分实验并非同一默认策略

普通楼梯、探测、复杂地形和坡面行为由统一框架学习；大障碍和跳跃实验则降低了速度跟踪奖励并提高多样性增益，经过额外训练。评价论文时应区分“单一默认策略的多场景适应”与“同一学习框架经任务化训练后的技能扩展”。

13.6 隐变量语义不跨随机种子固定

某些维度可调制步态高度和频率，但具体维度编号依赖随机初始化和训练过程。当前结果证明了隐空间中存在可解释方向，还没有形成稳定、可复用的显式技能坐标系。

13.7 真实实验的统计覆盖仍有限

仿真实验具有1000个并行机器人和完整消融，真实实验更多是代表性案例和视频展示。论文没有系统报告每类现实地形的大样本成功率、均值方差、能耗、推理时延分布和长期可靠性。

---

14. 与相关路线的定位对比

方法路线	主要输入	地形处理方式	控制输出	优势	主要限制
DreamWaQ	本体感知历史	隐式地形想象	关节目标位置	盲式鲁棒、Sim-to-Real简单	障碍接触后才适应
DreamWaQ++	本体感知 + 三维点云	短时点云记忆 + 多模态隐变量	关节目标位置	提前跨障、感知失效可退化	无硬安全约束、依赖训练分布
高程图感知RL	本体感知 + 局部高程图	显式局部地图编码	关节目标或步态参数	地形表示规整	建图与位姿误差敏感
MPC/WBC	状态估计 + 动力学模型 + 接触计划	显式建模与在线优化	接触力/关节力矩	约束清晰、可解释	建模和在线求解复杂
足步规划 + 控制	地图 + 足端可达域	显式落脚点搜索	足端轨迹/关节控制	行为可规划、可检查	对地图精度和规划速度要求高

DreamWaQ++最适合被理解为轻量级感知运动策略，而不是完整自主导航系统。它解决的是给定速度指令下如何根据局部地形实时改变身体姿态和步态；全局定位、目标规划、路径搜索和任务决策仍需要上层模块完成。

---

15. 复现与工程实现

15.1 软件模块划分

Proprioception Buffer (200 Hz)
        │
        ├──> Proprioceptive MLP-Mixer ──> z_p ──> Velocity Estimator
        │                                      │
Depth/LiDAR Point Cloud (10 Hz)                 ├──> SE(3) Point Alignment
        │                                      │
        └──────────────────────────────────────> Point Cloud Memory (50 Hz)
                                                   │
                                                   └──> PointNet + Confidence Filter ──> z_e

LayerNorm(z_p), LayerNorm(z_e)
        │
        └──> Multi-Modal MLP-Mixer ──> z_pe ──> PPO Actor ──> Joint Position Targets
                                         │
                                         ├──> Height Decoder
                                         └──> Contrastive Alignment

15.2 训练顺序

虽然论文采用端到端单阶段训练，工程实现仍建议按以下顺序调试：

1. 先验证无外感知Actor能够在随机地形上稳定站立和速度跟踪；
2. 单独验证本体编码器的速度估计误差和未来观测重构；
3. 检查点云到机身坐标系的变换方向、时间戳和单位；
4. 可视化$K$帧点云对齐结果，确认机器人运动时地面不会反向漂移；
5. 加入PointNet和外感知重构任务，先观察高程解码而不追求精细地图；
6. 加入多模态Mixer和对比损失，检查两种模态的梯度尺度；
7. 最后开启versatility gain、奖励退火和高强度外感知噪声。

15.3 关键调试指标

• $v_x,v_y,v_z$状态估计误差；
• 点云历史在当前机身坐标系下的配准误差；
• 真实与重构局部高程的平均绝对误差；
• 本体、外感知与融合隐变量的均值、方差和KL散度；
• 两种模态LayerNorm前后的幅值；
• 小腿碰撞次数、足端滑移、摆腿高度和成功率；
• 外感知白噪声、零输入、冻结帧和外参偏移下的退化程度；
• 推理周期的均值、P95和最大值，而不仅是平均频率。

15.4 最容易出现的实现错误

• 将历史点云变换方向写反，导致点云随机器人运动产生双倍漂移；
• 速度积分使用世界系速度，但点云变换按机身系解释；
• 相机点云时间戳与策略时刻不一致；
• 训练中使用完美点云，部署时才加入滤波；
• 多模态简单拼接后直接输入Actor，没有归一化与专用融合；
• KL权重过大导致posterior collapse，细小台阶信息被隐变量忽略；
• 平滑、力矩和动作变化惩罚长期过强，使策略只学会低抬腿小步态；
• 只测试正常感知，不测试冻结帧、外参偏移和传感器断流。

---

16. 总结

DreamWaQ++的实质是将盲式四足强化学习控制器扩展为具有局部三维环境理解能力的弹性多模态控制器。它没有依赖高精度长期地图，也没有使用重量级视觉Transformer，而是通过短时$SE(3)$点云对齐、PointNet置信度过滤、MLP-Mixer时空融合和多目标隐变量学习，在50 Hz下完成感知与控制闭环。

论文最重要的贡献可以归纳为三个层面：

• 结构层面：把异步本体感知和外感知组织成轻量、可部署的层次化多模态网络；
• 学习层面：通过VAE、特权对比学习、自适应正则和互信息技能发现，使隐变量兼具地形信息、噪声鲁棒性与行为多样性；
• 实验层面：在楼梯、陡坡、移动支撑面、传感器失效、不同机器人和大障碍上展示了较强的Sim-to-Real与分布外适应能力。

它的研究意义不只是提高了楼梯成功率，而是证明了一个四足控制策略可以在外感知可靠时主动使用视觉，在外感知不可靠时回退到接触与本体反馈，并通过统一隐空间连续调整步态。后续若与显式落脚点规划、MPC/WBC安全约束和主动视觉机构结合，有望形成兼具学习适应能力与可验证安全性的完整复杂地形运动系统。

---

参考资料

1. Nahrendra, I. M. A., et al. DreamWaQ++: Obstacle-Aware Quadrupedal Locomotion With Resilient Multi-Modal Reinforcement Learning. IEEE Transactions on Robotics, 42: 819–836, 2026.
2. DreamWaQ++ Project Page：https://dreamwaqpp.github.io
3. arXiv：https://arxiv.org/abs/2409.19709
4. Nahrendra, I. M. A., Yu, B., Myung, H. DreamWaQ: Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement Learning. ICRA 2023.
5. Miki, T., et al. Learning Robust Perceptive Locomotion for Quadrupedal Robots in the Wild. Science Robotics, 2022.
6. Qi, C. R., et al. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR 2017.
7. Tolstikhin, I. O., et al. MLP-Mixer: An All-MLP Architecture for Vision. NeurIPS 2021.
8. Schulman, J., et al. Proximal Policy Optimization Algorithms. arXiv:1707.06347, 2017.