文献：Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation
会议：Robotics: Science and Systems（RSS 2026，机器人科学与系统会议）；
作者：Songlin Wei, Hongyi Jing, Boqian Li, Zhenyu Zhao, Jiageng Mao, Zhenhao Ni, Sicheng He, Jie Liu, Xiawei Liu, Kaidi Kang, Sheng Zang, Weiduo Yuan, Marco Pavone, Di Huang, Yue Wang。
机构：USC Physical Superintelligence (PSI) Lab；NVIDIA；WorldEngine。
关键词：Humanoid Loco-Manipulation（人形机器人移动操作）、Vision-Language-Action（视觉—语言—动作）、Egocentric Video（第一视角视频）、Flow Matching（流匹配）、MM-DiT（多模态扩散 Transformer）、Real-Time Chunking（实时动作分块）、Reinforcement Learning Tracking（强化学习跟踪控制）。
论文地址：arXiv:2603.12263｜论文 HTML 全文｜论文 PDF
项目主页：https://psi-lab.ai/Psi0/

---

1. 文献核心结论

Ψ₀ 研究的问题是：如何利用数量充足、获取成本相对较低的人类第一视角视频，帮助人形机器人在较少真实遥操作数据的条件下学习长时序、灵巧、全身协调的移动操作技能。 论文认为，直接把人类视频和不同机器人的控制轨迹混在一起，以统一动作分布训练一个单体策略，会把形态差异、自由度差异和动力学差异同时压给模型，导致数据利用率偏低。

其核心方案不是简单扩大预训练数据量，而是让异构数据承担不同学习目标：先用人类第一视角视频学习视觉—任务语义，再使用真实人形机器人示范学习关节空间动作分布，最后以少量任务内示范快速适配。 系统执行层采用三级结构：System-2 负责视觉语言表征；System-1 负责生成连续动作块；System-0 使用已有强化学习控制器稳定跟踪下肢目标。

关键实验结果是：采用约 829 h EgoDex 和 31 h Humanoid Everyday 数据建立基础能力，每个新任务再用 80 条遥操作轨迹微调。论文在 Unitree G1 真机上比较 8 项多步骤任务，Ψ₀ 完整任务成功次数合计 57/80（71.25%），GR00T N1.6 为 23/80（28.75%），相差 42.5 个百分点。这里是按论文公开的每任务 10 次试验汇总计算，不能泛化成所有环境中的成功率。

图 1（原论文 Fig. 1）人形机器人移动操作任务场景。展示 Ψ₀ 在茶水间完成取杯、推车、擦拭、抓取与放置、推动冰箱门等不同动作。来源：Wei et al., Ψ₀, arXiv:2603.12263v1, Fig. 1。原图。

图 1 直观说明了问题的难度：机器人既要移动底座、调整躯干，又要完成持续物体接触、精细手指操作和双臂协同，而不是独立完成一个桌面抓取动作。

---

2. 研究背景、科学问题与方法定位

2.1 机器人示范稀缺与异构数据差异

大规模 VLA 的常见训练路径是汇集机器人示范、跨平台数据与人类视频。对人形机器人来说，这一路径遇到三个瓶颈：

1. 数据成本与覆盖范围。 高质量全身遥操作昂贵；长时序任务不仅包括抓取，还包括行走、转身、下蹲、接触保持和错误恢复。
2. Embodiment Gap（本体形态差异）。 人的手指、手腕、腰部运动和机器人关节拓扑并不一致，动作频率和动力学也不同。直接在统一低层动作分布上共训练存在冲突。
3. 实时部署。 数十亿参数的 VLA 推理延迟可达到约 160 ms；如果串行执行“观察—思考—动作”，会造成动作块交界处停顿和抖动。

作者的研究问题可以概括为：

$$\text{Scalable Human Videos}+\text{Limited Humanoid Data}⟶\text{Reliable Long-Horizon Humanoid Loco-Manipulation}$$

关键不在于把人和机器人的低层动作硬对齐，而在于分离通用感知与任务表征的学习、机器人本体动作分布的学习以及稳定的物理执行。

2.2 与典型人形 VLA 的区别

表 1　Ψ₀ 与典型训练路线的定位比较

路线	主要训练思路	主要动作建模	与 Ψ₀ 的区别
跨本体联合共训练	混合人类、不同机器人数据	统一动作或任务空间	Ψ₀ 把人类感知预训练与人形关节后训练分阶段进行
EgoVLA 一类人类视频方法	第一视角视频学习人手/末端先验	任务空间动作、再适配机器人	Ψ₀ 最终由独立专家直接预测人形关节空间动作
π₀.₅ / GR00T 类 VLA	大规模机器人数据与预训练	视觉语言条件下动作块	Ψ₀ 强调高质量第一视角数据和少量人形示范的组合配方
Ψ₀	视频预训练 → 人形后训练 → 任务微调	36 维高层全身动作 → 下肢 RL 跟踪	以 System-0 保持运动稳定性，而不是把全身底层关节控制全部交给 VLA

表 1 是技术路线的概括性比较，不表示各基线在论文中使用了完全相同的预训练资源。实际基线适配设置见第 9 节。

---

3. 系统总体技术路线：三系统分层架构

3.1 感知、动作生成与底层控制

论文的流程可写为：

$$\underset{\text{观测与语言}}{\underbrace{(I_t,q_t,\ell )}}\stackrel{\text{System-2: Qwen3-VL}}{\to }{z}_t\stackrel{\text{System-1: MM-DiT}}{\to }{a}_{t:t+H}\stackrel{\text{System-0: AMO}}{\to }{q}_{\mathrm{lower}}^{\mathrm{des}}$$

其中，$I_t$ 是头部相机图像，$q_t$ 包含本体状态，$\ell$ 是自然语言指令，$z_t$ 是视觉语言特征；MM-DiT 输出动作序列而不是只输出当前一个关节目标。

图 2（原论文 Fig. 2）Ψ₀ 模型训练和部署框架。左侧是基于人类第一视角视频的离散动作 token 预训练，中间是条件流匹配动作专家的后训练，右侧是 RL 下肢跟踪控制与全身动作执行。来源：Wei et al., arXiv:2603.12263v1, Fig. 2。原图。

System-2（视觉语言主干） 使用 Qwen3-VL-2B-Instruct，主要负责从视觉观测与任务指令提取可迁移语义特征。System-1（动作专家） 为约 500M 参数的 flow-based MM-DiT，以 VLM 特征、本体状态和带噪动作块为条件，预测未来动作。System-0（控制器） 为已有的 AMO 强化学习跟踪策略，处理下肢动作命令与关节控制之间的映射。

必须区分：Ψ₀ 并不是把 VLM、扩散动作专家、RL 下肢策略三者从头联合强化学习。 论文的主要学习对象是 VLM 的视觉动作表征与动作专家；底层 AMO 作为现成控制模块接入。

3.2 系统的训练对象与冻结策略

论文开头称高层两个模块构成端到端策略，但具体实验配置是：第一阶段训练 VLM；第二阶段冻结 VLM，仅训练动作专家；第三阶段真实任务微调同样只训练动作专家、保持 VLM 冻结（原论文 §IV-A3 与附录 §VI-C）。因此不能把真实实验误写成“三个阶段始终全参数联合训练”。

---

4. 观测输入、动作空间与自由度映射

4.1 VLA 观测输入

论文给定：

o t = { I t , q t } , π ( a t : t + H ∣ I t , q t , ℓ ) o_t=\{I_t,q_t\},\qquad \pi(a_{t:t+H}\mid I_t,q_t,\ell) ot​={It​,qt​},π(at:t+H​∣It​,qt​,ℓ)

论文使用 Unitree G1 头部 Intel RealSense D435i 的图像、自然语言任务指令以及本体信息。实现说明明确指出关节状态包括双臂/双手关节位置及躯干相关变量；后训练使用 28 维手臂和手部状态，并填充到 32 维状态容器以兼容下游结构。

表 2　系统输入输出维度（原论文 §III-A、§IV-A、附录 §VI-B）

变量	维度	含义	去向
$I_t$	RGB 图像	G1 头部第一视角相机	VLM
$\ell$	文本	目标任务语义	VLM
$q_t$	按训练阶段组织	手臂/灵巧手状态、躯干等本体信息	动作专家
$z_t$	隐层特征	VLM 输出的视觉语言语义	MM-DiT
$a_{t:t+H}$	$H\times 36$（约定时间步定义见正文）	未来连续高层全身动作块	动作执行器
$q_{\mathrm{lower}}$	15	腰部 3 维 + 双腿 12 维关节目标	下肢控制
$q_{\mathrm{upper}}$	28	双臂 14 维 + 双手 14 维	上肢执行

4.2 36 维动作空间的逐项展开

表 3　Ψ₀ 在真实机器人上的 36 维高层动作

动作项	维度	物理意义	控制接口
$q_{\mathrm{hand}}$	14	双侧 Dex3-1 灵巧手关节目标	上肢直接输出
$q_{\mathrm{arm}}$	14	双臂关节目标，各 7 维	上肢直接输出
${\mathrm{torso}}_{rpy}$	3	躯干 roll、pitch、yaw 命令	AMO
$h_b$	1	机身高度参考	AMO
$v_x,v_y$	2	平面平移速度参考	AMO
$v_{yaw}$	1	航向角速度参考	AMO
$p_{yaw}$	1	目标航向角参考	AMO
总计	36	28 维上肢关节目标 + 8 维运动命令	分层执行

用原论文形式表示：

a = { q h a n d , q a r m , t o r s o r p y , h b , v x , v y , v y a w , p y a w } ∈ R 36 . a=\{q_{\mathrm{hand}},q_{\mathrm{arm}},\mathrm{torso}_{rpy},h_b,v_x,v_y,v_{yaw},p_{yaw}\}\in\mathbb R^{36}. a={qhand​,qarm​,torsorpy​,hb​,vx​,vy​,vyaw​,pyaw​}∈R36.

注意 $p_{yaw}$ 是期望航向角，$v_{yaw}$ 是航向角速度；二者并不相同。36 维不是 36 个电机的直接关节角，而是一个混合控制接口。

4.3 从 36 维高层动作到 43 维全身关节动作

$$\underset{\text{姿态、高度、平移/转向命令}}{\underbrace{a_{\mathrm{lower}}\in {\mathbb{R}}^8}}\stackrel{\mathrm{AMO}}{\to }\underset{\text{腰部 3 + 双腿 12}}{\underbrace{q_{\mathrm{lower}}\in {\mathbb{R}}^{15}}}.$$

上肢则输出 $q_{\mathrm{upper}}=(q_{\mathrm{arm}},q_{\mathrm{hand}})\in {\mathbb{R}}^{28}$，因此用于全身执行的目标自由度为：

$$15+28=43.$$

这个 43 维 结合了 G1 的躯干、腿部、双臂和两只灵巧手，并非单纯 G1 本体原装 29 维关节数。AMO 的作用是让底层行走稳定性不必完全由 VLA 的高维动作专家自行学习。

---

5. MM-DiT 动作专家与 Flow Matching 原理

5.1 采用 Flow Matching，而不是自回归逐关节输出

对于真实机器人动作，作者没有继续用 VLM 离散地逐 token 生成几十维关节指令，而是通过连续生成模型一次性预测动作块。设原始真实动作块为 $a$、高斯噪声为 $ϵ\sim \mathcal{N}(0,I)$，流时间步 $\tau \in [0,1]$，论文定义的带噪插值为：

$$a^{\tau }=\tau a+(1-\tau )ϵ.$$

对应的原论文式 (2) 为：

$${\mathcal{L}}_{\mathrm{fm}}=\mathbb{E}\left[\Vert v_{\rho }^{\mathrm{flow}}(z_t,a_t^{\tau },\tau )-(ϵ-a_t)\Vert \right].$$

$v_{\rho }^{\mathrm{flow}}$ 是动作专家网络预测的速度场；$z_t=f_{\theta }^{\mathrm{vlm}}(o_t,\ell )$ 是视觉语言条件。注意论文在式 (2) 中使用范数符号，这里忠实保留，没有擅自改写为平方范数。

原文一致性提示： 若严格按照论文定义的插值 $a^{\tau }=\tau a+(1-\tau )ϵ$ 对 $\tau$ 求导，结果是 $a-ϵ$，而式 (2) 写成 $ϵ-a$；这涉及时间参数方向/目标速度定义的符号约定。仅凭正文无法确定实际实现采用哪一种积分方向，复现时必须进一步核对仓库的目标构造与采样更新，不能直接忽略该符号差异。

$\tau$ 是连续流匹配噪声时间变量，并不等于固定的“16 个离散步骤”；推理数值积分步数与动作块长度也不能混为一谈。

5.2 MM-DiT 与普通 DiT 的结构差异

图 3（原论文 Fig. 3）用于 VLA 的 MM-DiT 与普通 DiT 动作头的结构比较。MM-DiT 对视觉语言（VL）流和动作（A）流分别施加时间调制，然后在统一 Joint Attention 中融合；普通 DiT 使用动作自注意力及跨注意力注入。来源：Wei et al., arXiv:2603.12263v1, Fig. 3；此在线图源为原论文插图的镜像。论文原文。

传统 DiT 形式可概括为先在动作 token 内进行 Self-Attention，再从 VL 特征执行 Cross-Attention；MM-DiT 将 VL 与 Action 两组 token 作为不同模态流，在同一注意力机制中联合融合：

$$Q=[Q_{\mathrm{VL}};Q_{\mathrm{A}}],K=[K_{\mathrm{VL}};K_{\mathrm{A}}],V=[V_{\mathrm{VL}};V_{\mathrm{A}}],\mathrm{Attn}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d}}\right)V.$$

此式是基于论文结构图的通用注意力机理表达，不是论文原式。网络还利用 $\tau$ 对两条模态流分别实施 FiLM（Feature-wise Linear Modulation，逐特征线性调制），让视觉语言特征与带噪动作特征在每层充分交换信息。作者通过动作头消融显示，MM-DiT 优于 naive DiT。

5.3 为什么不是 VLM 直接生成所有动作

VLM 自回归生成连续多步的高维动作 token，推理与训练开销都较大。Ψ₀ 把 VLM 当作可迁移感知语义编码器，将密集的动作生成交给动作专家，从而避免把 30 Hz 控制的每一个动作维度都转成语言模型 token 逐一生成。

---

6. 三阶段训练：从人类视频到机器人动作

6.1 阶段一：人类第一视角视频预训练 System-2

预训练数据来自 EgoDex（约 829 小时）。为缓解人类视频和 G1 相机画面的视觉差异，后续还使用 Humanoid Everyday 视频进行补充。附录 §VI-A 具体写明：前 200k 步使用 EgoDex，后 30k 步使用 Humanoid Everyday，共约 230k 步；这与“把两类数据同时随机混合共训练”不是同一回事。

此阶段采用人手与机器人末端的统一任务空间动作表示。每侧手部：

a l , a r = { T w r i s t , P t h u m b , P i n d e x , P m i d d l e , P r i n g , P p i n k y } ∈ R 24 . a_l,a_r=\{T_{\mathrm{wrist}},P_{\mathrm{thumb}},P_{\mathrm{index}},P_{\mathrm{middle}},P_{\mathrm{ring}},P_{\mathrm{pinky}}\}\in\mathbb R^{24}. al​,ar​={Twrist​,Pthumb​,Pindex​,Pmiddle​,Pring​,Ppinky​}∈R24.

腕部使用 3 维位置 + 6D Rotation（六维旋转表示），共 9 维；五根指尖的三维坐标共 15 维：

$$9+5\times 3=24,2\times 24=48.$$

这 48 维是预训练任务空间表示，不是最终部署的 36 维高层控制动作。 6D Rotation 不是 XYZ + Roll/Pitch/Yaw，而是由两个三维向量表征一个旋转矩阵的连续表示方式。

作者使用 FAST（Frequency-space Action Sequence Tokenization） 将连续动作变成离散 token；以 50 万条随机动作样本训练 tokenizer。VLM 只自回归预测下一步动作，而不预测整条动作块：

$$p_{\theta }(u_{1:N}\mid I_t,\ell )=\prod _{i=1}^N{p}_{\theta }(u_i\mid u_{<i},I_t,\ell ).$$

这里 $u_i$ 是一个动作离散 token；本式是对论文式 (1) 的索引消歧表示。下一步监督足以促使 VLM 学习物体、意图和运动语义，却显著减轻 token 数量与模型优化成本。

6.2 阶段二：Humanoid Everyday 上后训练 System-1

该阶段冻结已经获得语义能力的 VLM，从头训练约 500M 参数的 MM-DiT 动作专家。输入是机器人视觉语言特征、本体状态与带噪关节空间动作；监督目标是连续动作块对应的流匹配速度场。

Humanoid Everyday 包含 31 小时、约 300 万帧、260 项任务、7 个类别，涵盖不同人形与灵巧手配置。不同灵巧手的关节次序经重排对齐；在实际后训练中，数据集主体具有 28 维双臂/双手动作，缺少的下肢动作项通过 padding 填充到统一 36 维动作、32 维状态容器。这种 padding 是接口兼容措施，不能理解成数据集中每一帧都包含真实测量到的 8 维下肢监督。

6.3 阶段三：新任务少量示范微调

每个新任务使用 80 条真实遥操作轨迹，根据其物理任务环境微调动作专家。原论文实验实现是冻结 VLM、微调动作专家 40,000 步。该阶段借助已有的任务语义先验和关节动作先验，减少从零学习的难度。

表 4　论文报告的训练阶段与主要设置

阶段	数据/目标	主要训练参数	计算资源及训练时间	VLM 状态
预训练	EgoDex；后续 HE 补充，预测下一步 48 维任务空间动作 token	约 230k 步，全局 batch 1024	64×A100，约 10 天	训练
后训练	HE；流匹配训练 36 维接口的动作专家	30k 步，batch 2048，LR $10^{-4}$	32×A100，约 30 小时	冻结
任务微调	每任务 80 条真机轨迹；36 维动作块	40k 步，batch 128，余弦 LR（初值 $10^{-4}$）	依任务设置	冻结

附录的 FAST tokenizer 消融表使用 重建 L1 损失 $5.83\times 10^{-4}\to 1.95\times 10^{-4}$，平均 token 数 $2.08\to 13.04$；正文另给出了约 $0.005$ 的损失与约 $20$ tokens 的概括。二者数值口径不完全一致，不能当作同一统计指标直接互换；为便于复现，表 4 和上述表述保留了明确章节来源。

---

7. RTC：解决 VLA 推理延迟导致的动作抖动

7.1 为什么简单 Action Chunking 还不够

模型规模超过 2.5B 参数，单次前向约 160 ms。如果动作预测后再等待网络响应，机器人会形成周期性停顿；如果提前异步生成下一块动作，两块之间又可能出现关节目标不连续。

图 4（原论文 Fig. 4）RTC 对动作块连接处关节角轨迹的影响。旧动作块（橙色）、无 RTC 的新动作块（青色）和使用 RTC 的新动作块（粉色）对比，说明 RTC 有助于抑制切换不连续。来源：Wei et al., arXiv:2603.12263v1, Fig. 4；使用原图镜像。

这里必须区分三种执行方式：串行 Stop-Think-Execute 会停顿；普通异步 chunking 能减少停顿，但两个独立预测的动作块可能跳变；Training-time RTC 则通过训练阶段的动作补全监督提高前后块兼容性。

7.2 Training-time RTC：条件动作补全

训练时随机选择一个动作前缀长度 $d$，将前 $d$ 个 token 作为不再添加噪声的已承诺动作，排除出 flow-matching 损失；对其余 token 施加噪声并训练后续轨迹生成：

d ∼ Uniform ⁡ { 0 , … , d max ⁡ } , d max ⁡ = 6. d\sim\operatorname{Uniform}\{0,\ldots,d_{\max}\},\qquad d_{\max}=6. d∼Uniform{0,…,dmax​},dmax​=6.

用掩码表示的损失可写为：

$${\mathcal{L}}_{\mathrm{RTC}}=\mathbb{E}\left[\sum _{i=d+1}^H{m}_i\Vert v_{\rho }(z_t,a^{\tau },\tau {)}_i-u_i^{\star }\Vert \right],$$

其中 $u_i^{\star }$ 表示与论文式 (2) 方向定义一致的目标速度；该式是对原文掩码训练机制的说明性形式，不是论文新编号公式。推理时将先前承诺、尚待执行的动作作为固定前缀，后续轨迹作为条件补全，从而降低切块处冲击。

7.3 为什么不使用 Test-time RTC

论文尝试过在推理时用梯度引导调整 flow matching 速度场，但发现对其模型的引导不稳定，因此最终选择 training-time RTC。实验表明 RTC 可提高动作连续性、减轻部分碰撞和切换问题，但不意味着在任意任务上都会提高总成功率；主消融表中无 RTC 与有 RTC 的完整任务成功率均为 9/10。

---

8. 单人遥操作与真实示范采集

8.1 为什么要分离上半身与行走命令

若把操作者完整身体姿态一比一重定向到人形机器人，感知噪声和足端漂移会在下肢放大；若操作者只使用双手柄，灵巧手的多个手指动作又难以独立控制。Ψ₀ 的硬件采集框架因此采取三路明确分工：

• 上肢位姿：PICO 头显 + 双手腕追踪器提供头和腕的目标位姿，通过 **Multi-target Inverse Kinematics（多目标逆运动学）**求解躯干与机械臂关节；
• 灵巧手操作：MANUS 手套跟踪手指动作，再进行灵巧手 Retargeting（运动重定向）；
• 下肢行走：腰部与脚部追踪器产生 $(v_x,v_y,v_{yaw},p_{yaw})$ 等高层命令，再交给 RL 下肢策略稳定执行。

图 5（原论文 Fig. 5）单人真实机器人遥操作设备。使用 PICO VR 头显、MANUS 灵巧手手套、手腕/腰部/足部追踪器，将上肢操作与行走命令分离。来源：Wei et al., arXiv:2603.12263v1, Fig. 5。原图。

其优势是用明确控制接口约束底层稳定性，用多目标 IK 和灵巧手重定向保留操作精度。这种遥操作架构与后续 VLA 36 维动作接口天然匹配，也降低了高质量长时序数据的采集难度。

---

9. 真机实验：平台、任务与基线

9.1 硬件与评价协议

真实平台为 Unitree G1 + 两只 7-DoF Dex3-1 灵巧手 + 头部 Intel RealSense D435i；原 G1 控制关节与双手组合构成上文所述的 43 维关节目标空间。

论文设置 8 个长时序真实任务，每任务包含 3–5 个子任务，多数任务动作序列超过 2000 步 @30 Hz（即约 67 秒以上）。对每种方法、每项任务分别进行 10 次试验。作者允许在中间子任务失败时人为辅助继续后续执行，以统计子任务能力，但完整任务只有所有子任务全部完成才算成功。因此子任务统计不能当作无干预的端到端成功率。

图 6（原论文 Fig. 6）真实机器人八项长时序评测任务。任务 1—8 依次涉及开盖/水龙头、喷洒擦拭、取瓶转身倒水、倒料推车、推车取葡萄、玩具入篮并递交、抱袋下蹲放置以及抽托盘后丢弃罐体。来源：Wei et al., arXiv:2603.12263v1, Fig. 6。原图。

9.2 与各类开源基线对比

基线包括：π₀.₅、GR00T N1.6、InternVLA-M1、H-RDT、EgoVLA、Diffusion Policy 和 ACT。作者把各模型适配到相同下游动作/状态和相机输入，再对每任务使用相同的 80 条演示训练，但不同方法的预训练规模和架构并不相同。尤其 π₀.₅ 原发布的动作维度不足，论文将动作头扩展到 36 维；GR00T 的 RTC 代码未完全开放，主实验采用标准顺序推理，属于解释对比公平性时应保留的限定。

表 5　八项真实任务的完整成功次数（原论文 Fig. 7 与项目主页评测表）

任务	Ψ₀	GR00T N1.6	π₀.₅	主要技能
T1 开盖、开水龙头、灌水	6/10	2/10	2/10	灵巧手指与双臂协作
T2 喷水、擦碗、收布	7/10	4/10	3/10	接触操作与擦拭
T3 取瓶、转身、倒水	8/10	4/10	2/10	转身与倾倒
T4 取罐、倒料、推车	7/10	3/10	1/10	操作与移动组合
T5 推车、取葡萄、摆盘	6/10	4/10	3/10	行走推车与抓取
T6 玩具入篮、转身递交	9/10	0/10	5/10	携物转身与交接
T7 抱袋、下蹲、放矮桌	9/10	5/10	2/10	双臂携物与下蹲
T8 拉托盘、转身丢罐	5/10	1/10	1/10	精细拉取与行走
合计	57/80	23/80	19/80	统计为完整任务成功次数

其中 T5、T6 的编号严格以原论文 Fig. 6 内的标签为准；项目主页个别表格按描述顺序排列时与原图标签次序不同，本表按任务文字而非行号匹配结果，防止将两项数据对调。

图 7（原论文 Fig. 7）真机基准结果。左为八项完整任务成功率，右为按抓取、放置、倒水、转身、下蹲、行走等技能聚合的能力雷达图。来源：Wei et al., arXiv:2603.12263v1, Fig. 7；使用原图镜像。

9.3 怎样解读“优于基线 40%”

在公开的八任务、每任务十次的试验口径下，按表 5 汇总：

$${\mathrm{SR}}_{{\Psi }_0}=\frac{57}{80}=71.25\%,{\mathrm{SR}}_{GR00T}=\frac{23}{80}=28.75\%.$$

二者差距为 42.5 个百分点（percentage points）。这比模糊表述“高 40%”更精确。结论局限于论文报告的这些任务、示范规模和基线复现设置，不代表通用未见任务零样本成功率。另需注意图 7 中的颜色图例和任务编号不应与图 6 交叉误读。

---

10. 附录技术细节：RTC 训练与异步执行

10.1 前缀固定与剩余动作块生成

图 8（原论文 Fig. 8）Training-Time RTC 训练示意。前 $d$ 个动作 token 为固定干净前缀（$\tau =1$，不计算损失），其余动作 token 参与流匹配损失。来源：Wei et al., arXiv:2603.12263v1, Fig. 8；使用原图镜像。

图 8 的关键不是“简单重复上一块输出”，而是把已承诺动作作为条件，令下一块的后续时间点根据这一固定前缀生成。$d_{\max }=6$ 是训练时随机前缀的最大步数，不是整个动作块只含 6 个时间点。

10.2 Client–Server 运动控制系统

图 9（原论文 Fig. 9）实时动作分块部署系统。机器人客户端负责传感、动作接收和执行；服务器端以 30 Hz 控制循环组织共享观测与动作缓存，推理循环异步生成新动作块。来源：Wei et al., arXiv:2603.12263v1, Fig. 9。原图。

按原文的部署细节，服务器控制循环为 30 Hz，机器人客户端的动作执行/低层跟踪循环为约 60 Hz；模型推理线程另行异步运行，低频更新共享动作缓存。三者概念不同：

• 30 Hz： 服务器动作调度和推理触发所依赖的主控制周期；
• 约 60 Hz： 客户端读取并执行缓存关节参考的低层执行周期；
• 约 160 ms： 文中报告的一次 VLA 前向推理量级，不是低层 60 Hz 关节跟踪周期。

异步机制避免推理线程阻塞关节执行线程，但依然需要处理观测延迟、动作块接缝、缓存过期、异常状态和通信中断。后四类是实际部署时值得补充的工程风险；论文没有给出适用于所有故障条件的形式化安全保证。

---

11. 附录技术细节：全身遥操作控制链路

图 10（原论文 Fig. 10）单人遥操作系统数据流。手指位置通过 Retargeting 映射到手部关节；头部与双手腕位姿通过 Multi-Target IK 计算双臂和躯干目标；腰部速度和脚部航向经滤波后交给 RL 行走策略生成下肢目标。来源：Wei et al., arXiv:2603.12263v1, Fig. 10。原图。

11.1 Multi-target IK 与上肢求解

多目标 IK 是同时满足头部、左右腕部等多个任务目标的运动学优化。典型的任务形式可写为：

$$\underset{q}{\min }\sum _i{\Vert \mathrm{Log}\left(T_i^{\mathrm{des}}(T_i(q){)}^{-1}\right)\Vert }_{W_i}^2+\lambda {\Vert q-q_{\mathrm{ref}}\Vert }^2.$$

该式为常见的多目标 IK 原理示意，不是 Ψ₀ 论文逐项公开的求解器目标函数。 原文确认使用 multi-target IK，但未在正文中完整指定此处的权重矩阵、数值求解器、碰撞项或零空间参数，因此不能称其必然采用某一特定的 QP、SLSQP 或阻尼最小二乘配置。

11.2 灵巧手重定向与行走分离

手套产生的人手三维指尖信息需要转换到 Dex3-1 可实现的手指关节配置；机器人不是直接复刻人手的 21 个手指关节。下肢也不逐关节跟踪操作者所有腿部动作，而使用速度和方向命令，由 AMO 跟踪稳定的机身运动。由此形成任务侧灵活、执行侧受结构约束的控制路径。

---

12. 消融实验：哪些模块真正有效

12.1 分阶段数据与动作架构的消融

论文在右手放玩具、左手放玩具、双手抬盒的三阶段长时序任务上进行主消融。

表 6　核心模块消融（原论文 Table I；成功率为 10 次中的完整成功次数）

VLM/数据设置	关节动作专家设置	RTC	右手放置	左手放置	双手抬盒	完整成功
未做动作预训练；Naive DiT	仅任务内训练	否	1/10	1/10	1/10	0/10
未做动作预训练；MM-DiT	仅任务内训练	否	9/10	2/10	3/10	2/10
EgoDex 预训练	MM-DiT 任务内训练	否	8/10	6/10	6/10	6/10
EgoDex + HE 预训练	MM-DiT 任务内训练	否	8/10	8/10	9/10	8/10
上述预训练 + HE 后训练	MM-DiT 任务内训练	否	9/10	9/10	10/10	9/10
完整 Ψ₀	MM-DiT 任务内训练	是	9/10	9/10	9/10	9/10

这组实验区分了三件事情：模型架构（MM-DiT 明显优于 naive DiT）、数据表征预训练（EgoDex 提升明显）和机器人本体后训练（从 8/10 提升到 9/10）。RTC 的主作用是改善连续性与执行品质，不能从表 6 直接得出“RTC 使最终成功率提高”。

12.2 预训练数据量与来源

表 7　两类数据消融（原论文 Tables V、VI）

对照设置	实验 1 完整成功	实验 2 完整成功	解释
完整 Ψ₀	8/10	7/10	参考模型
仅使用 10% EgoDex 预训练	1/10	6/10	部分任务明显退化
仅使用 HE 进行预训练	4/10	4/10	精细操作相关任务不足

这里揭示的不是“人类视频已经解决了机器人运动控制”，而是规模足够、视角匹配、行为丰富的人类数据有助于建立可迁移的感知和任务先验，然后仍需机器人专有示范来学习关节级动力学和动作分布。

12.3 Multi-task Fine-Tuning 的负面结果

图 11（原论文 Fig. 11）Multi-Task Fine-Tuning。将多个下游任务联合微调与分别微调进行比较，联合微调导致单项任务成功率下降；论文标注的三项下降幅度分别为 70、10、20 个百分点（图中写作 −70%、−10%、−20%）。来源：Wei et al., arXiv:2603.12263v1, Fig. 11；ResearchGate 原图镜像页｜arXiv 原文对应附录。注：ResearchGate 可能限制直接图片加载，若图像不显示请点击原图镜像页或论文 PDF 的 Fig. 11。

这是一项非常重要的负面证据。 虽然 Ψ₀ 拥有通用基础模型，但论文当前的效果仍主要依赖单任务适配；多个任务直接合并微调会使部分技能明显退化。作者将其暂时归因于训练目标分散、导致欠拟合，尚不能将这一猜想当成已证明的唯一原因。

12.4 结论中不要忽略的消融限定

作者还报告把 RTC 加到 GR00T N1.6 后，其单一消融任务总成功率从 7/10 变为 6/10（原论文 Table IV）；可见 RTC 不是普遍提升任务成功率的万能组件。所有实验中的高性能都与给定任务、数据质量、微调策略和硬件配置有关。

---

13. 论文的主要创新点与学术贡献

13.1 将“人类视频学习语义”与“机器人数据学习关节控制”解耦

这是全文最关键的思想贡献。以人类视频监督 VLM 形成与操作相关的视觉动作先验，而把真实人形机器人关节分布交给独立动作专家去学习。两阶段采用不同动作表示：48 维任务空间预训练表示与36 维高层关节/运动命令，有效减少跨形态混合建模的矛盾。

13.2 用 MM-DiT 解决视觉语言与高维动作块的深层融合

论文将视觉语言特征与动作 token 的联合注意力和分支时间调制引入人形 VLA，避免仅在少数跨注意力位置注入语义条件。对多自由度长动作序列而言，这比普通 DiT 的动作条件方式更有效；消融实验对此提供支持。

13.3 采用分层动作接口连接 VLA 与已有 RL 行走控制

高层输出28 维双臂/双手关节目标 + 8 维躯干/行走命令，底层 AMO 将后者转换为15 维下肢关节目标。它不是纯端到端所有关节直接生成，而是把高层语义规划能力与具有稳定性先验的运动控制器连接起来。

13.4 Training-time RTC 缓解大模型推理延迟的控制缺口

将动作序列前缀条件化加入训练，使系统能在新动作块生成期间持续执行旧动作块，降低关节轨迹跳变。论文同时给出了 30 Hz 控制环、约 60 Hz 执行环以及异步推理的工程实现路径。

13.5 构建可采集高质量全身操作数据的单人遥操作系统

通过 VR 追踪、多目标 IK、MANUS 手套和 RL 行走策略，实现手、臂、躯干及底盘命令的分工。数据采集管线与模型动作接口的共同设计，是数据利用率提高的重要组成部分。

13.6 真机长时序基准和对比消融提供了可复核证据

使用 8 项、每项 10 次真实世界任务，并明确保留 80 条示范/任务、任务内微调、基线适配等实验前提。这一成果的研究价值在于以较少的真实人形示范，在特定复杂任务集合上取得更强表现，而不是证明所有未知场景中的通用零样本能力。

---

14. 方法的局限与尚未解决的问题

1. 零样本通用性尚未由这些实验直接证明。 真机测试针对每个任务使用 80 条示范做了微调，“foundation model”不意味着完全无数据直接泛化至任意任务。
2. 多任务联合微调尚不稳定。 Fig. 11 已显示多个任务联合训练可能造成负迁移或欠拟合。
3. 没有端到端学习底层行走稳定性。 AMO 是预先训练的控制器，模型性能依赖其工作范围、跟踪能力和控制接口设计。
4. 高度依赖单一头部 RGB 视角和可用的示范质量。 自遮挡、物体接触、光照、相机视角变化均可能限制动作生成；论文未声称解决所有视觉失效场景。
5. 推理延迟仍需系统级补偿。 RTC 改善块连接而非消除网络推理本身的耗时；通信、控制饱和和安全监控仍属必要工程工作。
6. 未提供统一的接触安全或碰撞无条件保证。 与具有形式化约束的 MPC/WBC 不同，文中主要通过模仿、动作连续性和底层 RL 控制得到实验稳定性。
7. 计算成本高。 VLM 预训练采用 64×A100 约 10 天，因而其“数据效率”不等价于“任何实验室都能低成本从零训练”。
8. 原文局部口径需逐项核对。 VLM 冻结策略以实现细节为准；FAST token 和损失统计在不同段落有口径差异；Flow Matching 式 (2) 的符号需与开源代码核验。

---

15. 参考资料及复现入口

1. Wei, S., Jing, H., Li, B., et al. Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation. Robotics: Science and Systems (RSS), 2026. arXiv:2603.12263；arXiv HTML v1。
2. USC PSI Lab. Ψ₀ project page. https://psi-lab.ai/Psi0/。项目页确认会议录用状态、公开数据构成和真机结果。
3. Physical Superintelligence Lab. Psi0 open-source repository. https://github.com/physical-superintelligence-lab/Psi0。含训练、推理、真实机器人部署与基线适配流程；仓库后续新增 SONIC/SIMPLE 等内容，不应全部等同于 2026 年 3 月论文原始实验。
4. SIMPLE: Simulation-Based Policy Learning and Evaluation for Humanoid Loco-manipulation. 项目。作为 Ψ₀ 仓库后来支持的仿真评估系统单独参照。