前言：

想象一下这个场景：凌晨三点的实验室里，16台双臂机器人正在不知疲倦地重复着同一个动作——泡一杯功夫茶。
第37次尝试时，3号机器人手腕一抖，滚烫的茶水溅满了桌面。它没有停下，也没有报错，只是默默记录下这次失败，然后继续下一次尝试。而在房间另一头，7号机器人刚刚完美地完成了一套行云流水的斟茶动作；旁边的12号机器人在倒水卡壳的瞬间，被人类研究员接管纠正了半秒，随后又恢复了自主执行。
在传统的机器人研发范式里，这些散落在深夜里的成功、失败与人类干预，不过是部署阶段的“噪音”——模型早已在离线数据集上训练完毕，部署仅仅意味着验证和验收。那些珍贵的真实世界反馈，大多随着episode的结束而被丢弃，等待着下一轮昂贵且漫长的数据采集与重新训练。
但如果我们换一个视角呢？
如果这16台机器人不是16个孤立的执行终端，而是一个共享记忆的“学习型有机体”？如果3号机器人的每一次打翻茶杯、7号机器人的每一次完美斟茶、12号机器人被人类纠正的那半秒，都能实时汇入同一个大脑，让整个集群在几分钟内就变得更聪明一点？如果“部署”本身不再是训练的终点，而是持续进化的起点？
这正是《Learning while Deploying》这篇论文所描绘的现实。来自智元罗剑岚老师团队（hil-serl核心作者），用一套完整的集群级强化学习框架，首次在真实世界中闭合了通用VLA策略从离线到在线的改进环路。他们让机器人集群变成了一个巨大的数据飞轮：每一台机器人在物理世界中的每一次尝试，无论成败，都在为整个系统的进化提供燃料。说实在的当时看完这篇文章挺震撼的，这才是未来机器人数据飞轮的未来呀，当时跟行业朋友聊到这个，大家都有同感。

论文标题：Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies
作者团队：Shanghai Innovation Institute, AGIBOT Finch, Columbia University
项目地址：https://finch.agibot.com/research/lwd

核心贡献：提出了一套完整的“部署即学习”系统，通过16台双臂机器人的真实世界集群部署，实现了通用视觉-语言-动作（VLA）策略从离线到在线的持续强化学习进化。

---

1. 研究背景与动机

1.1 核心痛点

当前的通用机器人策略（如VLA模型）虽然受益于大规模离线预训练，但在真实世界部署中仍面临严峻挑战：

• 分布偏移：真实环境中的物体、布局、用户指令远超预训练数据覆盖范围。
• 长尾失败：固定数据集无法捕获罕见的边缘情况和故障模式。
• 静态局限：纯离线训练或模仿学习将部署视为终点，而非改进的来源。

1.2 核心理念：部署即数据飞轮

LWD 将部署重新定义为持续策略改进的数据源。单个机器人的经验有限，但一个异构的机器人集群可以收集涵盖成功、失败、恢复、人类干预等多样化经验。通过共享策略聚合这些物理经验，形成闭环数据飞轮：

$$\text{部署}\to \text{收集异构经验}\to \text{策略更新}\to \text{再部署}$$

1.3 现有技术缺口

现有方法	局限性	LWD的突破
交互式模仿学习 (HG-DAgger)	仅利用动作标签，忽略自主试错中的奖励信号	利用RL优化任务结果，充分利用成功/失败轨迹
传统机器人RL	小规模、短视距、特定任务，从头训练	集群级、长视距、通用策略后训练
On-policy VLA微调	样本效率低，无法复用大规模离线数据	Offline-to-Online混合回放，统一训练目标
离线RL后训练 (RECAP)	无法即时纳入部署中新出现的分布偏移	部署期间实时更新，快速适应新环境

---

2. 方法论：LWD 框架详解

LWD 包含两个关键算法组件和一个两阶段训练流程。

2.1 分布式隐式价值学习 (DIVL)

针对集群数据异构、稀疏奖励、多模态回报的特点，DIVL 改进了传统的 IQL：

• 分布式价值模型：不再用标量期望值回归，而是学习状态条件下数据集动作价值的分类分布 $p_{\psi }(v|s)$。这避免了标量平均值掩盖罕见但可复现的高回报模式。
• 分位数引导目标：使用分布的 $\tau$-分位数作为TD备份目标，保留了IQL的“支持集内乐观”特性，无需查询OOD动作。
  $$y^Q=r_t+{\gamma }^H\cdot {\text{Quant}}_{\tau }(V_{\psi }(s_{t+H}))$$
• 自适应 $\tau$ 策略：利用价值分布的归一化熵 $\mathcal{H}(s)$ 动态调整乐观程度。高不确定性时降低 $\tau$（保守），低不确定性时提高 $\tau$（乐观）。
  $$\tau (s)=\text{clip}({\tau }_{\text{base}}-\alpha \mathcal{H}(s),{\tau }_{\min },{\tau }_{\max })$$

2.2 基于伴随匹配的策略提取 (QAM)

Flow-based VLA 策略的多步去噪过程使得直接反向传播Critic梯度既昂贵又不稳定。QAM 解决了这一问题：

• 将轨迹级策略优化转化为沿参考流路径的局部回归目标。
• Critic 提供动作梯度 ${\nabla }_{a}Q(s,a)$ 初始化终端伴随状态 ${\tilde{g}}_1$，进而指导策略向量场 $f_{\theta }$ 的更新。
• 保持了生成式动作建模的表达力，同时实现了稳定的价值引导策略改进。

2.3 两阶段训练流水线

1. 离线预训练：在混合缓冲区（演示+历史Rollout+Play数据）上训练策略、Critic和价值模型。对长视距任务使用 n-step chunk-level TD 加速稀疏奖励传播。
2. 持续在线后训练：集群异步收集数据（含自主交互+人类干预），与离线数据50:50混合回放。在线阶段切换为 1-step TD 以避免跨干预段的偏差。每50步同步一次策略到集群。

2.4 系统架构

• 策略网络：PaliGemma (Gemma-2B + SigLIP) + Gemma-300M Action Expert (Flow Matching)
• 价值/Critic网络：Gemma3-SigLIP VLM骨干 + Readout Token + Clipped Double-Q
• 在线更新策略：冻结VLM骨干，仅更新Action Expert；Critic/Value全量微调以适应分布变化

---

3. 实验评估

3.1 实验设置

• 机器人集群：16台 Agibot G1 双臂机器人（7-DoF + 平行夹爪 + 3 RGB相机）
• 任务集：8个真实世界操作任务
  • 语义泛化任务：4个杂货补货场景（货架/冷柜/纠错等）
  • 长视距精密任务：功夫茶、果汁、鸡尾酒、鞋盒打包（3-5分钟/回合，5-8子步骤）
• 在线预算：每个方法4小时墙钟时间 ≈ 60小时集群交互数据
• 奖励设计：稀疏二值奖励（仅终端成功=1）

3.2 主要结果

结果表明，LWD 相较于之前的训练后基线方法，能够持续提高成功率，尤其是在长周期任务中。此外，LWD 还能缩短长周期任务的平均周期时间。这表明 LWD 通过离线到在线的训练后处理方法，提高了解决方案的质量和效率。

方法	杂货补货(平均)	长视距任务(平均)	总平均
SFT (基线)	0.84	0.68	0.76
RECAP	0.95	0.77	0.85
HG-DAgger	0.96	0.73	0.85
LWD (Offline)	0.97	0.79	0.88
LWD (Online)	0.99	0.91	0.95

关键发现：

• 🏆 LWD在所有8个任务上达到95%平均成功率，全面超越基线
• 📈 长视距任务提升最显著（+16.7% vs 标量IQL），证明RL通过TD备份有效传播稀疏奖励
• ⏱️ 平均循环时间比SFT减少23.75秒，Critic引导减少了犹豫和重试
• 💡 价值函数可视化显示：成功回合的价值随子步骤稳步上升，失败回合则停滞——证明学到了真正的进度信号

3.3 消融实验

• DIVL vs 标量Expectile回归：DIVL在长视距在线阶段高出16.7%，证实分布式价值保留了高回报模式
• 自适应τ vs 固定τ：自适应策略将离线平均分从0.84提升至0.88，在高不确定状态下有效防止过估计

---

4. 系统工程亮点

LWD不仅是算法创新，更是一套完整的分布式RL基础设施：

• 版本化快照数据平面：Coordinator提交单调递增的数据快照，所有DRB Reader通过跨主机屏障同步，保证SPMD训练的全局一致性
• 端到端可靠性：原子上传+事务性元数据+持久消息队列，1604个episode零丢失
• 低延迟闭环：Episode产出→可训练 P50=41s；模型发布→Actor加载 P50=38s
• 解耦扩展：Actor集群和Cloud Learner独立扩展，Coordinator是唯一的编排单点

---

5. 局限性与未来方向

局限性	说明
更新调度简单	当前采用固定步数同步，更大规模部署可能需要更智能的更新策略
语言指令单一	长视距任务仅用短指令，缺乏细粒度任务分解和闭环纠错推理
安全性未显式建模	未集成安全感知学习机制，对可靠部署至关重要
在线数据混合比例固定	50:50的离线/在线混合比可能随训练进程需要动态调整

---

6. 总结与启示

LWD 的核心贡献在于首次在真实世界中闭合了通用VLA策略的Offline-to-Online改进环路。它证明了：

1. 部署本身就是训练：集群级部署产生的异构经验是策略持续进化的最佳燃料
2. 分布式价值估计是关键：面对真实世界的多模态回报，标量Critic不够用，必须保留分布信息
3. Flow策略可以稳定地做RL：QAM使得大型生成式VLA的价值引导更新变得可行且高效
4. 统一目标消除阶段鸿沟：离线和在线使用相同的RL目标，避免了保守Critic与在线探索的不匹配

一句话总结：LWD将机器人集群变成了一个巨大的"学习型有机体"，每一台机器人在真实世界中的每一次尝试（无论成功或失败）都在让整个系统变得更聪明。这是迈向通用机器人规模化部署的重要一步。

---

附录 A：两个关键框架详解

LWD 论文中的 DIVL 和 QAM 是支撑整个系统能在真实世界集群数据上稳定训练的核心。为了让你彻底理解，以下跳出纯公式推导，结合直观类比、前置知识点补充和具体示例进行深度拆解。

A.1 DIVL：分布式隐式价值学习

一句话通俗理解：不再用“平均分”来评估一个状态的好坏，而是画出“成绩分布图”，并动态根据“把握大小”来决定是该冒险还是该保守。

1. 为什么需要 DIVL？（痛点场景）

在真实的机器人集群中，数据极其“脏”且“杂”。假设机器人在执行“倒茶”动作时，同一个状态下可能产生三种结果：

• 🟢 自主成功：完美倒茶（回报 = 1.0）
• 🔴 自主失败：打翻茶杯（回报 = 0.0）
• 🟡 人类接管：人看不下去了接手倒完（回报 = 0.3）

如果用传统的标量 Critic（如 IQL），它会算出一个期望值 $V\approx 0.43$。这个 0.43 是一个“谎言”——机器人从未真正获得过 0.43 的回报，它要么得 1.0，要么得 0.0。这种平均化会抹杀掉那条“罕见但可复现的成功路径”，导致策略学不到真正的成功技巧。

2. 核心知识点补充

• IQL (Implicit Q-Learning)：离线 RL 的经典算法。核心思想是“只在数据集见过的动作里找最好的”，避免查询 OOD 动作导致价值高估。它通过非对称损失（Expectile Regression）拟合一个偏高的标量价值。
• Distributional RL (分布式强化学习)：不预测单一标量价值，而是预测价值的概率分布（如 C51、QR-DQN）。能保留多模态信息。
• Expectile vs Quantile：
  • Expectile（期望分位数）：对误差做加权平方惩罚，计算均值的一种推广。
  • Quantile（分位数）：直接找累积概率达到 $\tau$ 的那个点（如中位数、90分位点），对异常值更鲁棒。

3. DIVL 的工作机制详解

DIVL = IQL 的“支持集内优化”思想 + 分布式价值建模 + 自适应乐观

步骤	操作	直观解释
① 学分布	用分类离散化（C51）拟合数据集中 Q 值的分布 $p_{\psi }(v|s)$	画出该状态下所有可能回报的直方图
② 取分位数	取分布的 $\tau$-分位数作为 TD 目标	不看平均分，看“前 $\tau$% 的好成绩”
③ 自适应 τ	根据分布熵 $\mathcal{H}$ 动态调整 $\tau$	分布越集中（确定），τ 越高（越乐观）；分布越分散（不确定），τ 越低（越保守）

4. 具象示例：自适应 τ 如何工作

假设两个状态的价值分布如下：

• 状态 A（熟练动作）：分布尖锐集中在 0.9~1.0 → 熵 $\mathcal{H}$ 很低 → $\tau$ 自动升高到 0.9 → 取 90 分位点 ≈ 0.98 → 鼓励继续执行
• 状态 B（混乱场景）：分布平坦散布在 0.0~1.0 → 熵 $\mathcal{H}$ 很高 → $\tau$ 自动降低到 0.5 → 取 50 分位点 ≈ 0.4 → 避免盲目乐观，防止过估计

💡 关键洞察：Proposition 1 证明了“先拟合分布再取分位数”与“直接用非对称损失回归标量”在理论最优解上是等价的。但工程上，分布表示天然提供了不确定性信号（熵），这是标量方法无法做到的。这就是 DIVL 的真正价值。

A.2 QAM：基于伴随匹配的 Q-learning 策略提取

一句话通俗理解：不让梯度“穿越”整个生成过程（太贵太不稳定），而是在终点拿到 Critic 的“修改意见”后，沿着生成路径反向传递这份意见，逐步微调每一步的生成方向。

1. 为什么 Flow Matching 策略做 RL 这么难？

Flow-based VLA 生成动作的过程类似于解一个 ODE（常微分方程）：从噪声 $a_0$ 经过 N 步去噪积分得到最终动作 $a_1$。如果直接用 Critic 梯度 ${\nabla }_{a}Q(s,a_1)$ 更新策略，需要对整个 ODE 求解器做反向传播：

• ❌ 显存爆炸：需要存储 N 步的所有中间激活值
• ❌ 数值不稳定：长链求导导致梯度消失/爆炸
• ❌ 计算极慢：每步更新都要跑一遍完整的前向+反向 ODE

2. 核心知识点补充

• Flow Matching：一种生成模型范式。学习一个向量场 $f_{\theta }(s,a_w,w)$，将高斯噪声沿时间 $w\in [0,1]$ 平滑变换为目标动作。比 Diffusion 训练更高效、采样步数更少。
• Adjoint Method (伴随法)：ODE 优化中的经典技术。核心思想是：不需要存储前向轨迹的中间状态，而是引入一个伴随变量 $\tilde{g}(w)$，从终点向起点反向积分，以 $O(1)$ 内存代价计算梯度。
• KL-正则化策略改进：RL 中标准的策略更新目标是 ${\pi }^{\ast }\propto {\pi }_{\beta }\exp (Q/\lambda )$，即新策略应该在高 Q 值区域增加概率，同时不偏离参考策略 ${\pi }_{\beta }$ 太远。

3. QAM 的工作机制详解

QAM 巧妙地将“轨迹级优化”转化为“沿参考流的局部回归”：

传统做法（不可行）:
噪声 a₀ → [ODE积分 N步] → 动作 a₁ → ∇ₐQ → [反向穿过N步ODE] → 更新 θ

QAM 做法（高效稳定）:
1. 用冻结的参考策略 πβ 跑一条前向流轨迹 {a_w}（无需梯度）
2. 在终点 a₁ 处计算 Critic 梯度: g̃₁ = -∇ₐ[Q(s,a₁)/λ]
3. 沿参考轨迹反向积分伴随方程，得到每个时间点 w 的局部目标 g̃_w
4. 用 ||fθ(s,a_w,w) - fβ(s,a_w,w) + σ_w·g̃_w||² 做局部回归更新 θ

4. 具象示例：想象你在教人写字

把 Flow 生成动作比作教一个新手写毛笔字：

• 参考流 $f_{\beta }$：新手原来笨拙的笔画轨迹（行为克隆学到的）
• Critic 梯度 ${\nabla }_{a}Q$：书法老师在写完的字上标注“这一笔应该往左偏3mm”
• 伴随反向传递 ${\tilde{g}}_w$：老师不是在写完才说，而是沿着书写过程回溯，告诉新手“起笔时手腕就要提前转个角度，这样收笔时自然就到位了”
• 局部回归更新：新手在每个书写时刻 $w$ 都收到一个具体的修正指令，逐点调整自己的运笔向量场

💡 关键优势：

• 内存 O(1)：不需要存储前向 ODE 的计算图，伴随方程独立反向积分
• 数值稳定：局部回归目标是有界的，不会像端到端反向传播那样梯度爆炸
• 兼容预训练：$f_{\beta }$ 保持冻结作为锚点，$f_{\theta }$ 在其基础上微调，不会灾难性遗忘
• 在线友好：只需更新 Action Expert（~300M参数），VLM 骨干冻结，适合集群高频同步

A.3 DIVL 与 QAM 的协同关系

这两个组件不是孤立的，它们构成了一个稳定的价值-策略闭环：

┌─────────────────────────────────────────────┐
│           集群收集的异构数据                    │
│   (成功 / 失败 / 人类干预 / 部分恢复)           │
└──────────────────┬──────────────────────────┘
                   ▼
          ┌────────────────┐
          │     DIVL       │ ← 学习分布式价值 + 自适应乐观
          │  Vψ(s), Qφ(s,a)│   输出：稳定的、保留多模态信息的 Critic
          └───────┬────────┘
                  │ ∇ₐQ(s,a₁)  ← 提供高质量的动作空间梯度
                  ▼
          ┌────────────────┐
          │      QAM       │ ← 伴随匹配策略提取
          │   fθ(s,a_w,w)  │   输出：改进后的 Flow 策略
          └───────┬────────┘
                  │ 部署到集群
                  ▼
          ┌────────────────┐
          │  新的交互数据    │ → 回到顶部，飞轮转动
          └────────────────┘

• DIVL 为 QAM 提供“靠谱的老师”：如果 Critic 本身因为数据异构而给出错误梯度，QAM 再稳定也会把策略带偏。DIVL 的分布式建模确保了梯度的质量。
• QAM 让 DIVL 的价值“落地”：即使学到了完美的价值函数，如果无法稳定地转化为 Flow 策略的更新，也毫无用处。QAM 是价值到行动的可靠桥梁。
• 统一目标消除阶段鸿沟：两者在离线和在线阶段使用完全相同的损失函数，只是数据来源不同。这避免了离线 Critic 过于保守、在线微调时价值尺度不匹配的致命问题。

这两个组件的组合，正是 LWD 能在真实世界 16 台机器人上仅用几小时交互就将长视距任务成功率从 68% 提升到 91% 的根本原因。

---

附录 B：两阶段训练流水线详解

LWD 的两阶段训练流水线（Offline Pre-training → Continuous Online Post-training）并非简单的“先预训练再微调”的常规范式，其核心设计哲学在于消除离线与在线之间的目标鸿沟。两个阶段共享完全相同的 DIVL + QAM 优化目标，仅在数据来源、TD 备份长度和参数更新策略上做了针对性适配。

B.1 阶段一：离线预训练

此阶段的目标是利用历史沉淀的异构数据，为策略和价值网络提供一个强健的初始化，使其具备基础的任务能力和价值判断力，避免在线部署时出现灾难性失败。

1. 混合数据缓冲区的构成

离线缓冲区 $B_{off}$ 并非纯粹的专家演示，而是由三类数据按特定比例混合而成（总计约 652.5 小时）：

数据类型	占比	内容描述	在 RL 中的作用
Demonstrations	51.6%	人类专家收集的成功轨迹	提供高质量的行为先验，初始化 Flow 策略
Rollouts	19.6%	历史策略执行的轨迹（含成功与失败）	提供状态覆盖，让 Critic 学习到失败状态的低位值
Play Data	28.8%	人类主动探索边缘情况和故障模式的轨迹	填补分布空白，提供“部分恢复”和“纠错”的关键信号

关键细节：所有数据都被统一转换为 Action Chunk（动作块） 格式，即 $a_t=[a_t,a_{t+1},...,a_{t+H-1}]$，其中 $H=30$。奖励仅在终端赋予（成功=1，失败=0），中间步骤无奖励。这种格式化确保了离线数据与在线采集数据的无缝兼容。

2. N-step Chunk-level TD 冷启动

长视距任务（如功夫茶）长达数千步，若仅用 1-step TD，稀疏的终端奖励需要数百次迭代才能反向传播到早期决策点。为此，离线阶段采用 N-step 累积回报作为 TD 目标：

$$y^Q=\sum _{i=0}^{n-1}{\gamma }^{iH}{r}_{t+iH}+{\gamma }^{nH}\cdot {\text{Quant}}_{\tau }(V_{\psi }(s_{t+nH}))$$

• 短视距任务（杂货补货）：$n=1$，因为单步即可关联结果。
• 长视距任务（茶/果汁/鸡尾酒）：$n=10$，跨越 300 步加速奖励传播。
• 截断处理：若 episode 在 n-step 窗口内终止，则移除 bootstrap 项，直接使用实际累积回报。

为什么在线阶段不用 N-step？ 在线数据中混杂了自主执行和人类干预片段。长跨度备份极易跨越这两种异质数据源，导致 TD 路径不对应单一策略的执行逻辑，引发价值估计偏差。由于 Critic 已通过离线 N-step 获得了良好的初始化，在线阶段切换回 1-step TD 既安全又高效。

3. 全量微调

离线阶段对 Actor（含 VLM 骨干）、Critic、Value 网络全部参数进行端到端训练。这是因为初始的 SFT 检查点缺乏 RL 所需的价值感知能力，必须通过全量更新将 RL 目标“注入”整个模型表征中。

B.2 阶段二：持续在线后训练

此阶段是 LWD “数据飞轮”的核心引擎。机器人在真实世界中自主交互，数据实时回流，策略持续进化。

1. 异步数据采集与人类干预融合

• 集群并行：16 台机器人异步执行当前策略检查点，每个 episode 结束后原子上传至对象存储。
• 人类干预的无缝整合：当操作员判断机器人需要纠正时，接管控制并完成操作。干预片段被标记为普通 transition 存入 $B_{on}$，奖励分配规则与自主执行完全一致（仅终端成功=1）。这意味着人类干预不是特殊的监督信号，而是被视为“另一种策略产生的经验”，由 RL 框架自行消化。
• 延迟指标：Episode 产出到可训练的 P50 延迟仅 41 秒，确保数据新鲜度。

2. 混合回放策略

在线训练从 $B_{off}\cup B_{on}$ 中以约 1:1 的比例采样 mini-batch。这一设计至关重要：

• 防止灾难性遗忘：$B_{off}$ 锚定了离线学到的广泛能力和价值校准。
• 适应分布偏移：$B_{on}$ 注入了最新的真实世界分布和失败模式。
• 稳定训练：纯在线数据初期质量差且稀疏，混合回放提供了稳定的梯度基底。

3. 差异化参数更新策略

与离线阶段的全量微调不同，在线阶段采用了选择性更新：

模块	在线更新策略	原因
VLM 骨干	🔒 冻结	保留预训练的视觉-语言通用表征，防止在线少量数据导致过拟合或语义漂移
Action Expert	✅ 更新	仅 ~300M 参数，负责具体的动作生成，快速适应新环境动力学
Critic / Value	✅ 全量更新	必须持续跟踪不断变化的回放分布，为策略提供准确的改进信号

工程考量：这种设计使在线更新的计算开销大幅降低，配合每 50 步一次的策略同步频率，实现了高效的集群级持续学习。

4. 自适应 τ 的动态演化

DIVL 中的乐观参数 $\tau$ 在在线阶段表现出明确的退火行为：

• 初期：在线数据分布混乱，价值估计熵高 → $\tau$ 自动降低 → 保守估计，避免被噪声误导。
• 后期：随着策略改善和数据积累，价值分布逐渐集中 → 熵下降 → $\tau$ 自动升高 → 更乐观地追求高回报轨迹。

论文 Fig. 8 清晰展示了这一过程：归一化熵从 ~0.45 降至 ~0.33，$\tau$ 相应从 ~0.77 升至 ~0.80。这是一种无需人工调度的自调节机制。

B.3 两阶段的无缝衔接设计

LWD 流水线最精妙之处在于消除了传统 Offline-to-Online RL 中常见的“断裂感”：

1. 统一优化目标：离线和在线使用完全相同的 DIVL Loss + QAM Loss。不存在“离线用 BC/IQL，在线用 SAC/PPO”的目标切换，避免了价值尺度不匹配和策略震荡。
2. 检查点继承：在线阶段直接加载离线阶段的 $({\pi }_{\theta },Q_{\phi },V_{\psi })$ 作为起点，包括目标网络 $Q_{\bar{\phi }}$ 的 EMA 权重。无需重新初始化或预热。
3. 参考策略锚定：QAM 中的参考策略 ${\pi }_{\beta }$ 始终是离线 BC 初始化后的固定副本，贯穿两个阶段。这为策略更新提供了恒定的 KL 正则化锚点，无论在线训练多久都不会偏离原始能力太远。
4. 数据格式一致性：离线三类数据和在线两类数据（自主+干预）均以相同的 Action Chunk + 稀疏奖励格式存储，回放缓冲区无需任何转换即可混合采样。

B.4 流水线局限性

尽管设计精良，该流水线仍有改进空间：

• 固定混合比：1:1 的离线/在线采样比在整个在线训练过程中保持不变。理想情况下，随着在线数据质量提升，应逐步增加其采样权重。
• 固定同步频率：每 50 步同步一次策略是经验设定。对于收敛快的任务可能过慢，对于波动大的任务可能过快。基于价值收敛度或策略变化量的自适应同步是未来方向。
• 无安全约束：流水线中没有显式的安全过滤或约束优化。人类干预虽能事后纠正，但无法阻止危险动作的首次执行。

---

附录 C：在线群体优化机制

LWD 的“在线群体优化”并非简单的多机并行数据采集，而是一套精心设计的分布式异步 Actor-Learner 系统。它解决了真实世界机器人集群强化学习中三个最棘手的问题：数据异构性、训练一致性与通信延迟。

C.1 分布式系统架构：解耦与扩展

LWD 采用了经典的 Actor-Learner 分离架构，但在工程实现上做了针对机器人场景的深度定制。整个系统由三层组成，各层独立扩展：

1. Edge Actor 层（机器人端）
   • 每台机器人运行一个轻量级 Edge Client。
   • 职责：加载最新策略 → 执行自主 Rollout → 累积帧级观测 → 在 Episode 边界原子上传完整数据 → 发布事件通知。
   • 特点：完全异步。各机器人互不等待，快慢不一，故障不影响其他节点。
2. Coordinator 层（编排中枢）
   • 唯一的有状态单点，但设计为轻量级元数据管理器。
   • 职责：消费消息队列中的事件通知 → 拉取 Episode 元数据 → 提交单调递增的版本化快照。
   • 关键设计：Coordinator 不传输模型权重或原始数据，仅管理“数据版本指针”。这使其成为系统瓶颈的风险降至最低。
3. Cloud Learner 层（训练端）
   • 多主机 SPMD JAX 程序，每个节点驱动本地加速器集群。
   • 每个进程实例化一个 Distributed Replay Buffer Reader，通过跨主机屏障同步到同一快照版本。
   • 每个节点启动独立的 Prefetcher 子进程，并行从对象存储下载 Payload，饱和利用网络带宽。

核心优势：Actor 和 Learner 完全解耦。增加机器人数量只需扩展 Edge 层；提升训练算力只需扩展 Cloud 层。Coordinator 作为唯一协调点，其负载仅与 Episode 频率相关，与数据量无关。

C.2 数据流转：可靠性与新鲜度的平衡

在线群体优化的质量取决于数据管道的两个指标：端到端可靠性和闭环延迟。

1. At-Least-Once 语义保障

真实世界网络不稳定，LWD 通过三重机制确保零数据丢失：

• 原子上传：对象存储写入要么完全成功、要么完全不可见，杜绝半截数据。
• 事务性元数据 + 持久消息队列：Episode 元数据先落库再发通知，即使 Coordinator 重启也能恢复消费。
• 有界重试：Prefetcher 下载失败自动重入队列；快照提交时数据与版本号原子更新，防止部分失败导致的不一致视图。

在 8 小时 16 节点的实测中，1604 个 Episode 全部成功进入训练，稳态下零丢失。

2. 延迟分布与瓶颈分析

路径	P50	P99	主要瓶颈
Episode 产出 → Learner 可采样	41s	148s	Actor→Cloud 的对象存储 I/O
模型发布 → Actor 加载完成	38s	55s	Cloud→Actor 的策略文件传输

• P99 长尾主要由网络拥塞和对象存储限流引起，而非算法开销。
• 41s 的数据延迟意味着 Learner 始终在使用“约 1 分钟前”的策略产生的数据进行训练。对于分钟级的长视距任务，这一延迟是可接受的；但对于秒级反应任务，可能需要边缘侧即时学习或更高速的传输协议。

C.3 策略同步：版本化快照的一致性保证

异步系统中最大的陷阱是数据-策略版本错配：Learner 用旧策略的数据训练出新策略，但部分 Actor 仍在用更旧的策略采集数据，导致回放缓冲区中混杂多个策略版本的轨迹。

LWD 通过版本化快照机制解决此问题：

1. Coordinator 提交的每个快照绑定一个单调递增的版本号 $v$。
2. 所有 DRB Reader 在每步训练前通过跨主机屏障同步到同一版本 $v$，确保 SPMD 集体看到全局一致的数据视图。
3. Learner 每 50 步训练后发布新策略，附带版本号 $v^{\prime }$。
4. Actor 在 Episode 边界拉取并加载新策略，确保单个 Episode 内策略版本恒定。

为什么选择 50 步同步？ 这是经验权衡的结果。过于频繁（如每步）会导致通信开销压倒训练收益；过于稀疏则使在线数据过时。50 步对应约数分钟的训练时间，与 Episode 平均时长匹配，使大部分在线数据来自最近 1-2 个策略版本。

C.4 针对群体数据的优化适配

集群采集的数据具有单机数据不具备的特性，LWD 在优化层面做了三处关键适配：

1. 人类干预的无缝融合

当操作员接管机器人时，干预片段被原样存入 $B_{on}$，与自主轨迹格式完全相同。奖励分配也遵循相同的终端稀疏规则。这意味着：

• 干预不是特殊的监督信号，而是被视为“另一种行为策略的经验”。
• DIVL 的分布式价值模型能自然捕获干预带来的中等回报模式，不会将其与自主成功/失败混淆。
• QAM 能从干预轨迹中提取出“纠错动作”的价值梯度，引导策略学会自我恢复。

2. 混合回放的稳定性锚定

在线阶段从 $B_{off}\cup B_{on}$ 以 1:1 比例采样。这一固定比例是经过验证的工程选择：

• $B_{off}$ 提供了价值校准的“地基”，防止在线初期少量低质数据导致 Critic 崩溃。
• $B_{on}$ 注入了最新的分布偏移信息，使策略持续适应真实环境。
• 随着训练进行，$B_{on}$ 的质量自然提升，混合数据的整体质量也随之上升，形成隐式的课程学习效应。

3. 选择性参数更新

在线阶段冻结 VLM 骨干，仅更新 Action Expert + Critic/Value。这一决策基于对群体数据特性的深刻理解：

• 集群数据虽然量大，但语义多样性远低于预训练语料。微调 VLM 骨干极易导致语义表征退化。
• Action Expert 仅 300M 参数，足以拟合新的动力学模式和纠错策略。
• Critic/Value 必须全量更新，因为它们是跟踪分布变化的“传感器”，冻结将导致价值估计失准。

C.5 当前局限与改进方向

尽管 LWD 的在线群体优化已具备工程实用性，但仍存在以下开放问题：

• 静态调度策略：1:1 混合比和 50 步同步频率均为固定超参。理想系统应根据在线数据质量（如价值熵、成功率变化率）动态调整。
• 无优先级采样：当前回放缓冲区采用均匀采样。对于集群数据，高价值的失败恢复轨迹和人类干预片段可能比常规成功轨迹更具信息量，优先级回放有望加速收敛。
• 安全约束缺失：人类干预是事后补救，无法阻止危险动作的首次执行。需要在 Actor 端集成实时安全过滤器，或在 Critic 中引入风险敏感价值估计。
• 延迟敏感性：41s 的数据延迟限制了系统对快速变化环境的响应速度。边缘侧即时价值更新或分层 RL 架构可能是未来方向。

---

附录 D：进阶优化方向建议

LWD 已经搭建了一个非常扎实的“异步 Actor-Learner + 版本化快照”工程底座，但在数据利用效率、策略探索能力、以及多机协同智能这三个维度上，仍有大量群体优化方法可以借鉴。结合 LWD 当前的局限性（静态调度、均匀采样、无安全约束、语义单一），以下是五个最具落地价值的进阶优化方向：

D.1 从“均匀混合”到“课程感知的动态采样”

LWD 当前采用固定的 1:1 离线/在线混合比和均匀回放，这在集群数据质量波动较大时效率不高。

• 优先级经验回放 (PER) 的分布式变体：不要均匀采样，而是根据 TD-error 或 DIVL 预测的价值分布熵来赋予采样权重。对于 LWD 而言，人类干预片段和自主失败后成功恢复的轨迹应被赋予最高优先级，因为它们包含了最稀缺的“纠错”信号。
• 自适应混合比例调度：监控在线缓冲区的“有效信息密度”（如新状态覆盖率或价值估计方差）。当在线数据质量低、分布混乱时，自动提高离线数据采样比以稳定 Critic；当在线数据质量提升、Critic 收敛时，逐步增加在线数据权重，加速适应真实分布。
• 基于多样性的采样：使用状态嵌入的聚类或覆盖度量，优先采样那些处于当前策略“认知盲区”的 Episode，避免集群在已掌握的简单任务上过拟合。

D.2 从“被动试错”到“主动群体探索”

LWD 的探索完全依赖策略自身的随机性和人类事后干预，这在长视距稀疏奖励任务中样本效率极低。

• 好奇心驱动的内在奖励：在 DIVL 的稀疏终端奖励之外，叠加一个基于状态预测误差或信息增益的内在奖励模块。这能鼓励机器人在没有人类干预的情况下主动探索未知的物体交互方式，填补 Play Data 未覆盖的边缘情况。
• 技能级分层探索：将长视距任务分解为子技能图。群体中的不同机器人可以被分配去专门探索不同的子技能边界（如“倒水”、“抓取异形物体”），而不是所有机器人都从头到尾执行完整任务。这种分工探索能将长视距任务的探索效率提升数个数量级。
• Go-Explore 思想引入：维护一个“有趣状态档案库”。当某台机器人偶然到达一个高价值但难以复现的状态时，将其存入档案。其他机器人可以从该状态直接开始 Rollout，专门练习从该状态到成功的后半段路径，彻底解决稀疏奖励的传播难题。

D.3 从“事后纠正”到“前瞻性安全与约束”

LWD 依赖人类干预作为事后的数据纠错手段，缺乏对危险动作的预防机制。

• 安全 Critic / 风险敏感价值函数：在 DIVL 之外并行训练一个 Safety-Critic，专门预测碰撞概率或人类干预概率。在策略提取（QAM）阶段，将 Safety-Critic 的梯度作为约束项加入损失函数，使策略在追求高回报的同时避开高风险区域。
• Actor 端实时安全过滤器：在 Edge Client 部署一个轻量级的安全盾（如基于控制障碍函数 CBF 或小型分类器）。当策略输出的动作被判定为不安全时，直接在边缘侧拦截并替换为安全动作，同时将此次“拦截事件”作为负样本上传，供 Learner 学习。
• 不确定性感知的人类请求：利用 DIVL 的价值分布熵作为置信度指标。当熵超过阈值时，机器人主动暂停并请求人类指导，而不是等到失败或人类看不下去才接管。这将把被动干预转化为主动的交互式学习，大幅提升数据质量。

D.4 从“单一指令”到“群体语义对齐与推理增强”

LWD 的长视距任务仅使用短语言指令，限制了 VLM 的推理能力和跨任务的泛化。

• 群体驱动的自动标注与反思：利用集群收集的海量视频数据，通过一个强大的离线 VLM（如 GPT-4o）进行自动字幕生成、子任务分割和失败原因分析。将这些富文本标签注入到在线缓冲区中，使策略能从自然语言层面理解“为什么失败”，而不仅仅是从标量奖励中学习。
• 思维链微调：从群体数据中筛选出“人类干预成功恢复”的案例，让离线 VLM 生成对应的 CoT 推理过程（例如：“杯子倾斜角度过大 → 液体即将溢出 → 需要减小倾角并抬高高度”）。用这些 CoT 数据对 Action Expert 进行辅助训练，提升策略的闭环纠错推理能力。
• 跨任务语义迁移：利用 VLM 的表征空间，计算不同任务间的语义相似度。当某个任务积累了大量高质量数据时，通过特征对齐或知识蒸馏，将学到的技能表征迁移到语义相近但数据稀少的任务上。

D.5 从“固定同步”到“自适应弹性调度”

LWD 的 50 步固定同步频率和静态架构在面对异构任务和动态网络时不够灵活。

• 基于收敛度的自适应同步：监控 Critic Loss 的变化率或策略更新幅度。当训练处于快速收敛期时，降低同步频率以减少通信开销；当训练停滞或震荡时，提高同步频率以注入新鲜数据打破僵局。
• 边缘侧即时价值更新：将轻量的 Value Network 下发到 Edge Actor。机器人在本地即可用最新 Value 网络计算 TD-target 或优势估计，仅将聚合后的梯度或压缩后的经验上传。这能将 41s 的数据延迟对训练的影响降至最低，实现“边执行边学习”。
• 异构算力感知调度：集群中机器人的硬件状态、网络带宽可能不同。Coordinator 应根据各 Actor 的实际吞吐能力动态分配任务复杂度或数据采集频率，避免慢节点拖慢整体数据管道的 freshness。

D.6 推荐落地优先级

优先级	方法	理由
🔴 P0	优先级回放 + 自适应混合比	改动最小，仅需修改 Sampler，对长视距任务收益立竿见影
🔴 P0	安全 Critic + 边缘安全盾	真实世界部署的刚需，防止硬件损坏和安全事故
🟡 P1	不确定性感知的人类请求	将被动干预转为主动学习，显著提升数据飞轮效率
🟡 P1	自适应同步调度	解决固定 50 步同步的次优问题，提升系统弹性
🟢 P2	群体驱动的 CoT / 自动标注	需要额外的离线 VLM 算力，但长期泛化收益最大
🟢 P2	好奇心驱动探索	实现复杂度高，需在 DIVL 框架外新增内在奖励模块

核心建议：LWD 已经证明了“Offline-to-Online RL for VLA”的可行性。下一阶段的突破点不在于更大的模型或更多的机器人，而在于让群体变得更“聪明”地学习——更精准地采样、更安全地探索、更主动地求助、更高效地同步。上述方法均可在 LWD 现有的版本化快照架构上增量式集成，无需推翻重来。

---

附录 E：LWD 使用的强化学习算法溯源

LWD 使用的强化学习算法并非单一经典算法的直接应用，而是 Implicit Q-Learning (IQL) 与 Q-learning with Adjoint Matching (QAM) 的深度融合变体，并针对集群部署场景做了关键的分布式改造。具体来说，它的 RL 血统可以拆解为以下三个层面：

E.1 价值学习：IQL 的分布式变体 (DIVL)

LWD 的价值估计核心源自 Implicit Q-Learning (IQL) [Kostrikov et al., 2021]，但做了本质性修改：

• 继承自 IQL 的核心思想：支持集内优化。即只从数据集已有的动作中寻找高价值行为，避免查询 OOD 动作导致的价值高估。这通过非对称损失函数实现，无需显式的 ${\max }_{a}Q(s,a)$ 操作。
• 关键变体改造：将 IQL 的标量 Expectile 回归替换为分类分布式价值模型 + 分位数提取。
  • 原版 IQL：直接拟合一个标量 $V(s)$，使其偏向数据集中 Q 值的高期望分位点（Expectile）。
  • LWD (DIVL)：先拟合完整的价值分布 $p_{\psi }(v|s)$，再从中提取 $\tau$-分位数作为 TD 目标。
• 新增自适应机制：利用价值分布的熵动态调整乐观参数 $\tau$，这是原版 IQL 不具备的。

理论等价性：论文 Proposition 1 证明了在理想条件下，DIVL 的“拟合分布+提取分位数”两步法与 IQL 的“直接非对称回归”具有相同的最优解。因此 DIVL 是 IQL 在保持理论最优性的前提下，增加了不确定性感知能力的工程增强变体。

E.2 策略提取：QAM 的 Flow-VLA 适配变体

策略更新部分源自 Q-learning with Adjoint Matching (QAM) [Li & Levine, 2026]，但针对 VLA 架构做了定制：

• 继承自 QAM 的核心思想：用伴随法将轨迹级策略优化转化为沿参考流的局部回归，避免对多步 ODE 生成过程做端到端反向传播。
• 关键变体改造：
  • 原版 QAM：在仿真中从头训练 Flow 策略，全参数更新。
  • LWD：应用于预训练的 Flow-based VLA，在线阶段冻结 VLM 骨干，仅更新 Action Expert；参考策略 $f_{\beta }$ 固定为离线 BC 初始化后的副本，贯穿整个训练过程作为 KL 正则化锚点。
• 与 DIVL 的耦合：原版 QAM 使用标准 Critic 梯度，LWD 中使用的是 DIVL 学到的分布式 Critic 的动作梯度，使策略更新信号保留了多模态价值信息。

E.3 训练范式：Cal-QL 风格的统一目标 Offline-to-Online

虽然 LWD 没有直接使用 Cal-QL [Nakamoto et al., 2023] 的算法，但其训练哲学高度一致：

• 统一 RL 目标：离线和在线阶段使用完全相同的 DIVL + QAM 损失函数，仅数据来源不同。这解决了传统 Offline-to-Online RL 中“离线保守、在线激进”的目标切换导致的价值尺度失配问题。
• 混合回放：与 Cal-QL 类似，采用离线/在线数据混合采样（LWD 固定 1:1），用离线数据校准价值估计，用在线数据驱动策略改进。

E.4 总结对照表

组件	原始算法	LWD 变体名称	核心改动	改动动机
价值学习	IQL	DIVL	标量 Expectile → 分类分布 + 自适应 τ 分位数	保留集群数据中的多模态回报，自适应乐观
策略提取	QAM	QAM for Flow-VLA	全参训练 → 冻结 VLM + 固定参考策略锚点	适配大模型架构，防止在线灾难性遗忘
训练范式	Cal-QL (哲学)	Unified Offline-to-Online	两阶段共享同一 DIVL+QAM 目标	消除阶段鸿沟，稳定持续学习

因此，如果要用一句话概括 LWD 的 RL 身份：

LWD = IQL 的分布式自适应变体 (DIVL) + QAM 的 Flow-VLA 适配变体 + Cal-QL 风格的统一目标训练范式

它不是某个现有算法的简单套用，而是针对“集群级真实世界 VLA 后训练”这一特定问题，对 Offline RL 和 Generative Policy Optimization 两个前沿方向进行的系统性融合创新。