论文“PhysicalWords: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation”，来自英伟达、北大和伯克利分校，2026年10月。

PhysWord 的主要贡献，是用动作语义组织未来感知预测，让 VLA 的中间表示更适合控制和跨阶段复用。实验较充分地支持其有效性，但尚不足以证明它获得了通用的物理推理能力或可独立组合的技能库。

1．PhysWord 到底做了什么？

PhysWord概览如图所示：

论文试图解决一个表征问题：语言中的 pick、insert 能描述动作类别，却没有表达抓取位置、接触变化等细节；连续潜变量可以保留这些信息，但同一种动作在不同场景中可能缺乏共同的组织方式。

它因此把一个 Physical Word 定义为“动作标签＋与场景相关的连续隐状态”。例如，两个场景都预测 pick，但对应的隐状态可以分别表达抓纸和抓羽毛球时不同的未来感知信息。

关键是对同一个隐状态施加两种监督：

其中，w 是动作标签，g_{future} 是未来图像或触觉经过编码器得到的特征。未来观测只在训练中提供监督，推理时需要模型自行预测。

这里有三个重要细节（§3.3–3.4）：

• 16 类动作语义。 包括 approach、move、pick、place、rotate、insert 等，由 VLM 对示范轨迹进行分段标注。
• 视觉和触觉分开表示。 例如 pick_v 与 pick_t，分别对齐未来视觉和触觉特征，避免一个隐藏状态同时承受两种不同特征空间的监督。
• 沿未来时间排列。 默认动作预测长度 H = 16，每隔 s = 4步预测一次 Physical Words，形成四个未来时间点的预测，而非只预测最终状态。

整体流程可以理解为：

当前观测与历史 → 预测接下来各阶段的动作词及其感知表示 → 据此生成连续机器人动作。

架构上，它将 Cosmos 的时序感知分支与 Qwen3-VL 的推理和动作分支通过共享注意力连接，最后用流匹配生成动作块。训练同时包含视频预测、动作词分类、未来特征对齐和动作生成四项损失。

需要准确理解的是：Physical Word 本身不是一段可直接执行的技能程序。 它是动作生成器使用的中间表示；具体控制仍由整个策略网络完成。

2．贡献在哪里，证据有多强？

如图所示PhysWord框架：

第一，提出了一个明确且有效的“语义约束未来潜变量”方案。

这是我认为最核心的贡献。其价值主要来自监督结构：动作词让表示保留跨场景的共同语义，未来特征让表示保留具体场景的细节。

消融实验对此提供了较直接的支持（图3）：

监督方式	Put Bottle	Lift Can	LIBERO-Long
仅视觉潜变量	77%	83%	97.0%
仅动作词	77%	67%	97.4%
动作词＋视觉潜变量	87%	89%	99.6%

因此，性能提升不能简单归结为“多预测几个动作标签”。标签监督与未来特征监督确实表现出互补性。直接监督隐藏状态也优于先经过一个可学习 MLP 再对齐，进一步支持其设计选择。

第二，把语义、时间和触觉整合进了统一预测接口。

视觉与触觉分别编码，沿未来时间联合组织，使模型可以同时利用动作阶段与接触状态的预测。没有触觉的数据则省略触觉部分，便于混合训练。

表6也区分了当前触觉与未来触觉预测的作用：完整模型在两个任务上为 93%/95%，去掉当前触觉为 88%/87%，去掉未来触觉预测为 87%/89%。这说明触觉预测确实提供了额外价值。

第三，实验覆盖了仿真、真实机器人和一定程度的任务扩展。

评测	PhysWord	对照结果	差值
UniVTAC	90.3%	N0-VTLA：83.1%	+7.2 个百分点
LIBERO-Long	99.6%	UniWAM：98.4%	+1.2 个百分点
四项真实任务平均	71.7%	FTP-1：55.0%	+16.7 个百分点
真实任务未见配置平均	63.3%	FTP-1：35.0%	+28.3 个百分点

更有说服力的是扩展任务消融：连续三次取放纸张时，完整模型成功率为 70.0%，去掉动作词监督、保留潜变量推理后降至 36.7%；扩展打包任务则从 66.7% 降至 50.0%（表9）。

这支持一个较具体的结论：语义结构有助于模型识别阶段切换，并重新启动已经学过的行为。

3．主要不足与结论边界

① “预测未来特征”与“理解物理规律”之间，仍有明显距离。

模型对齐的是视觉编码器和触觉编码器的特征，没有显式预测力、摩擦、质量、接触约束等物理量，也没有展示针对候选动作的反事实推演与比较。

因此，现有证据更支持“学到了有利于控制的未来感知表示”。如果要进一步主张物理推理，还需要测试未见摩擦、质量、刚度、外力扰动等条件下的预测与控制能力。

② “可复用技能”的证据，主要来自已学行为的重复和阶段重访。

长程扩展实验是重复取放、增加打包对象、重新关闭被打开的箱盖。这些很有价值，但还没有系统验证：

• 已知动作在全新顺序和约束下的组合；
• 新工具、新接触机制中的迁移；
• 不经微调迁移到新机器人；
• 单独替换某个 Physical Word，能否稳定改变对应行为。

此外，UniVTAC 每个任务单独训练策略。它证明了多种任务上方法有效，却不能直接证明存在一个统一的可组合技能库。

③ 表征分析不足以证明“保留物理细节的语义抽象”。

作者展示了类内距离降低、t-SNE 聚类更清晰和注意力更集中。但增加分类监督后，同类表示更接近，本来就是可能出现的结果。

关键还需要回答：同样是 pick，表示是否仍能区分即将滑落、抓取过紧、接触不足等对控制重要的状态？

建议补充物理状态探针、扰动预测，以及对动作词和连续隐藏状态分别进行干预的实验。这样才能更清楚地判断中间表示对行为的因果作用。

④ “预测触觉可以替代传感器”需要限定适用范围。

附录中，不使用在线触觉后，UniVTAC 平均成功率仅由 90.3% 降至 89.0%；真实取纸任务从 93.3% 降至 90.0%，结果值得关注。

但它仍然：

• 依赖带触觉数据训练；
• 用训练示范开头的触觉观测初始化；
• 持续接收视觉反馈；
• 未充分测试意外滑移、隐藏接触变化和外力扰动。

预测触觉能够提供“预计会发生的接触”，但无法凭空提供视觉中不可见、又未被模型预期到的新信息。较稳妥的结论是：在这些任务分布下，可以用预测触觉维持较强性能；尚未证明触觉测量普遍可以省略。

⑤ 总体性能提升仍存在架构与训练因素的混合影响。

系统同时使用两个预训练骨干、时序观测、视频预测、触觉及约 7,400 多小时示范数据。作者提供了不少有价值的消融，去掉 Cosmos 的 Lite 版本仍达到 86.4%，说明效果并非完全依赖视频分支。

不过，与外部基线相比，预训练来源、模型结构、输入处理与训练配置并未完全一致。论文称其操作数据量小于部分基线，但数据小时数不能消除这些差异。因此，应把组件消融的证据与完整系统排名的证据分别理解。

⑥ 表征设计和部署仍有实际瓶颈。

未来视觉目标被池化成一个向量，可能削弱局部接触几何信息；左右末端的 Physical Word 序列禁止直接交叉注意力，可能限制协同动作的显式预测，尽管最终动作模块仍能访问双方信息。

运行方面，优化后单张 H100 达到 10.6 Hz，实际部署通过异步动作块执行衔接。这是可用的系统实现，但尚不代表低成本设备上的高频接触反馈能力。

实际成功率也显示了边界：HDMI 插入仅 34%，真实羽毛球插入与拧螺丝均为 60%。因此，平均成绩提升并未解决所有精细接触问题。

4．最值得补做的实验

如果要进一步确立方法贡献，优先考虑三项：

1. 严格匹配骨干、数据、计算量和推理长度，比较无中间预测、纯词预测、纯潜变量、PhysWord，并增加固定随机类别编码的对照，区分语言语义与一般分类正则化的作用。
2. 测试真正未见的组合与物理扰动，尤其是动作顺序变化、双臂配合，以及摩擦和接触状态改变。
3. 对中间表示做干预：替换词标签、交换同词不同场景的隐藏状态、屏蔽预测表示，观察动作是否按预期变化。

---

该方法用少量语义标签组织高维未来预测，能够改善机器人策略的学习与阶段切换。 现有实验已经使这一点具有可信度；更强的物理推理、技能组合和传感器替代主张，则仍需要专门验证。