[2026] [SafeDojo] [SafeDojo: Safe Reinforcement Learning for VLA via Interactive World Model]
SafeDojo: Safe Reinforcement Learning for VLA via Interactive World Model, 2026
第一个基于模型的 SafeRL 学习框架
SafeDojo的核心理念是在交互式视频世界模型中进行在线强化学习，从而避免直接与真实环境交互的风险。其框架包含以下关键组件：
- 交互式世界模型：生成以动作为条件的未来预测，为策略学习提供“想象”的舞台。
- 双路评估机制：从想象出的未来帧中，同时评估任务进展和安全性。
- 任务进展：使用一个定制的ResNet成功分类器来估计每一步的任务完成度。
- 安全成本：使用一个轻量级安全头，从潜在上下文和动作块中预测每一步的安全成本。
拉格朗日约束优化：将解耦的任务奖励和安全成本信号，通过一个基于拉格朗日的约束 GRPO 目标进行平衡，实现任务成功与安全性的协同提升
相关工作：
- VLA 成为机器人控制的事实标准： RT-2, Open X-Embodiment, OpenVLA, Octo, π0
- 低维控制中的安全约束可以显式定义或者紧凑学习：
- 显式定义安全约束：CBF
- 在低维表示中学习：SafeDreamer
- Safety for VLA models
- 策略级的方法：SafeVLA
- 将安全性纳入对齐和优化，但是没有利用世界模型来预测未来的视觉安全风险
- 基于模型的方法可以在想象中进行 rollouts，在安全违反发生前就预测到
- SafeVLA 中的代价也是显式定义的，而 SafeDojo 的代价是直接从高维视觉观察中学到的
- 将安全性纳入对齐和优化，但是没有利用世界模型来预测未来的视觉安全风险
- 策略级的方法：SafeVLA
BaseLine:
- Model Based: SafeDreamer,
- Model free : CPO, RCPO, SafeVLA
- World-model-based VLA post-training: WMPO, WoVR, World-Env, VLA-RFT, World-VLA-Loop
世界模型对采样到的轨迹进行 Rollout
( o ^ i , k + 1 , z ^ i , k + 1 ) = p ϕ ( o ^ i , k , z ^ i , k , a i , k , l ) , k = 0 , . . . , K − 1. (2) (\hat{o}_{i,k+1},\hat{z}_{i,k+1}) =p_ϕ(\hat{o}_{i,k},\hat{z}_{i,k},a_i,k,l), k= 0,...,K−1. \tag{2} (o^i,k+1,z^i,k+1)=pϕ(o^i,k,z^i,k,ai,k,l),k=0,...,K−1.(2)
- 其中世界模型 p ϕ p_ϕ pϕ 基于 Wan 2.0 构建，带 cross-attention action conditioning
计算每一步的奖励和代价
r i , h = f t a s k ( o ^ i , k ( h ) , l ) , c i , h = f s a f e ( z ^ i , k ( h ) , a i , h ) , (3) \begin{aligned}r_{i,h}&= f_{task}(\hat{o}_{i,k(h)},l), \\ c_{i,h}&= f_{safe}(\hat{z}_{i,k(h)},a_i,h), \end{aligned}\tag{3} ri,hci,h=ftask(o^i,k(h),l),=fsafe(z^i,k(h),ai,h),(3)
- 其中 k(h) = ⌊h/H⌋ 将控制步 h 映射到对应的 rollout chunk
轨迹级别的奖励和代价
r
i
=
1
K
H
∑
h
=
1
K
H
r
i
,
h
,
c
i
=
1
M
∑
c
∈
TopM
(
{
c
i
,
h
}
h
=
1
K
H
)
c
,
(4)
\begin{aligned} r_i &= \frac{1}{KH}\sum^{KH}_{h=1}r_{i,h}, \\ c_i &=\frac{1}{M}\sum_{c∈\text{TopM}(\{c_i,h\}^{KH}_{h=1} )}c, \end{aligned} \tag{4}
rici=KH1h=1∑KHri,h,=M1c∈TopM({ci,h}h=1KH)∑c,(4)
根据 GRPO 计算组内优势
A
^
i
r
=
r
i
−
µ
G
(
r
)
σ
G
(
r
)
+
ϵ
,
A
^
i
c
=
c
i
−
µ
G
(
c
)
σ
G
(
c
)
+
ϵ
,
(5)
\begin{aligned} \hat{A}^r_i &=\frac{r_i−µ_G(r)}{σ_G(r)+ ϵ}, \\ \hat{A}^c_i &=\frac{c_i−µ_G(c)}{σ_G(c)+ ϵ}, \end{aligned} \tag{5}
A^irA^ic=σG(r)+ϵri−µG(r),=σG(c)+ϵci−µG(c),(5)
引入拉格朗日乘子
A ^ i s a f e = A i r − η A ^ i c . (6) \hat{A}^{safe}_i =A^r_i−η\hat{A}^c_i.\tag{6} A^isafe=Air−ηA^ic.(6)
根据违约程度更新 η
η
←
[
η
+
α
η
(
1
G
∑
i
=
1
G
c
i
−
d
)
]
+
(7)
\eta \leftarrow \left[ η+ α_η\left(\frac{1}{G}\sum^G_{i=1}c_i−d \right)\right]_+ \tag{7}
η←[η+αη(G1i=1∑Gci−d)]+(7)
最终优化目标
L Safe-GRPO = − E i , t [ min ( ρ i , t ( θ ) A ^ i s a f e , clip ( ρ i , t ( θ ) , 1 − ϵ , 1 + ϵ ) A ^ i s a f e ) ] + β D K L ( π θ ∥ π θ r e f ) (8) L_{\text{Safe-GRPO}} =−E_{i,t}\left[ \min \left(ρ_{i,t}(θ)\hat{A}^{safe}_i,\text{clip} (ρ_{i,t}(θ),1−ϵ,1 + ϵ)\hat{A}^{safe}_i\right)\right] + βD_{KL} (π_θ∥π^{ref}_θ) \tag{8} LSafe-GRPO=−Ei,t[min(ρi,t(θ)A^isafe,clip(ρi,t(θ),1−ϵ,1+ϵ)A^isafe)]+βDKL(πθ∥πθref)(8)
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
2
0- 0
已为社区贡献6条内容
所有评论(0)