先还原一个几乎每个做机器人学习的团队都遇到过的现场。模型在自己的工位、自己的台面、自己那套相机标定下训得很好,预测动作后果的误差可以接受;把它搬到隔壁房间、换一张桌子、或者只是把相机整体平移二十厘米,同一个动作的预测就开始漂。常见的归因有三条:视觉泛化不够、数据不够多、场景表示不够丰富。这三条都对,但它们都跳过了另一个问题:动作本身是怎么被写进输入里的。

这篇论文把这个问题单独拎了出来。环境表示和干预表示是两件事:一个模型可以准确告诉你物体在哪,却不知道哪些动作坐标的变化不改变物理交互、哪些局部差异会改变后果。同样一刀、同样的相对路径,写在固定的世界坐标系里、写在水果本体的坐标系里、写在接触面局部坐标系里,数值完全不同。如果表示选错,物理上等价的两个动作会被当成两个独立样本去学,物理上不同的两个交互会被压成同一个输入去猜。

作者用一个可精确计算后果的削皮模拟器,把这三种表示放在完全相同的物理样本、相同的预测器、相同的训练目标下比较,配对跑了五个种子。结论用一句话概括:在 72 个场景的决策实验里,世界坐标的预测误差是 1.025,物体坐标 0.898,表面坐标 0.561;在反事实动作选择上,归一化后悔值从 0.653 降到 0.226,降幅 65.3%。但代价同样具体:表面坐标依赖局部坐标系的准确性,原点噪声的标准差到 0.840 毫米,它相对物体坐标的优势就翻盘了;而数据增广只能补回 0.0015 的误差,或者用干净条件下的精度去换鲁棒性。

一把刀削一个水果:为什么这个任务能把「表示」单独拎出来

后果短、可观测、能算准

选削皮不是因为它重要,而是因为它干净。一刀下去,材料的去除完全由刀路、接触位置、穿透深度、刀面倾角和局部果皮厚度决定;后果是几何的,可以被一个确定性模拟器逐点算出来,不需要处理断裂、粘附、力控瞬态这些还没有可靠模型的东西。

这正是受控实验需要的性质。RLBench、ManiSkill2 这类基准更接近真实使用,但同一个任务里同时变化的东西太多:抓取姿态、视觉外观、长程规划、物体参数,很难说清涨跌来自哪个变量。这里只留一个可观测的物理后果,把抓取选择、重定向和长程力控排除在外。

状态、动作、后果各是什么

论文把一次试验的物理状态写成四元组 X = (Σ, G, h, q):果面几何、水果在世界系里的刚体位姿、目标果皮厚度场、以及果面上已经累计的去除深度。动作是六元组 A = (p_0, ψ, L, d, α, w_b):果体坐标系下的初始接触点、切向方向角、规定行程长度、名义穿透深度、刀面倾角、刀宽。后果是四个标量 Y = (C, U, O, V):覆盖率、残留果皮、果肉损失、深度不均匀度。四个量分开报告,因为覆盖率可以靠切得过深刷上去,只看一个数会被骗。

关键在于,这四个后果都在果体坐标系下定义,而不是世界坐标系。这一点决定了整篇文章的立场:如果输出是世界坐标系下的去除几何,那么共同刚体变换下它应该等变地一起变换;但这里的目标是附着在水果上的材料去除,它在共同刚体变换下不变。目标怎么定义,决定了表示该不该不变。

几何 oracle 先算答案,再换坐标

顺序很重要。模拟器先算出一刀的去除场,再把同一个物理交互编码进三种坐标表示,喂给预测器(图 1)。也就是说,真值标签与表示无关,任何预测误差的差异只能来自坐标描述或学习器对它的处理。

水果是一个被平滑扰动的球,标称半径 40 毫米,形状由十个方向多项式模态合成,最小半径不低于 0.82 倍标称值;果皮厚度场用另外八个模态独立生成,标称 1.5 毫米,裁剪在 0.60 到 1.45 倍之间。学习实验用 642 顶点、1280 面的网格,几何不变性检查用 2562 顶点、5120 面的高分辨率网格。

作者还做了一次数值自检:对整个水果与刀的系统施加 100 次共同刚体变换,稠密去除场的最大变化是 6.38×10⁻¹⁷ 米。这个数字的含义是,标签在数值上严格不变,后面的任何差异都不是物理造成的。

这不是一个操作 benchmark

先说清楚它不是什么:没有真机,没有真实削皮,没有闭环力控,也不追求预测精度的 state of the art。预测器被刻意做得小:每个采样点七个特征(三维位置、三维法向、果皮厚度),八个刀路采样点加刀宽和刀角,动作编码器隐层 64 和 48,逐点层 96、96、64,最大池化与平均池化拼接,输出头 96、64,回归四个后果量。作者的表述是网络容量不是贡献点,这句话要当真。

所以这篇论文的价值不在「削皮做好了」,而在它把「动作表示」变成了一个可以被单独操纵、单独测量、单独否证的变量。

图 1
图 1|模拟器里的三件事:三种坐标系叠在一起的水果与刀、刀面接触的放大视图、一刀走完留下的去除带。

两种失效、两条判据:不变性和充分性不是一回事

第一种:把等价的交互当成不同样本

设想水果和刀一起做一个刚体变换,相对运动、接触条件、材料状态全都没变。附着在水果上的材料去除当然也没变。但在世界坐标系里,这条轨迹的每一个数都变了。一个在世界坐标里学习的预测器 W_θ(R(X, A)),必须从有限的样本里自己发现「这些不同的坐标其实描述同一件事」。

这不是不可能,而是有代价:有限的训练覆盖下,等价的交互没有被显式合并,学习器就得为每一种位姿单独收集证据。作者把这种代价称为有限数据负担,并且强调它是归纳偏置的问题,不是能力上限的问题:数据足够多、增广足够好、或者换成等变架构,世界坐标的预测器也可能学会这个关系。相对坐标的优势只是把这段结构在训练之前就写进了输入。

第二种:把不同的交互压成同一个输入

反过来的错误更严重。刀走完全相同的局部路径、相同的穿透深度,但两块果皮的厚度不同:一刀可能露出果肉,另一刀还留着残余。如果果皮厚度这个变量在整个预测输入里根本不存在,那么这两个物理上不同的交互会得到完全相同的输入张量。

这时候不管网络多大、训练多久,都不可能同时对。因为输入相同,任何确定性函数只能给出同一个输出,而两个正确答案不同。这不是优化问题,是信息问题。这也是全篇最硬的一条论证:它不依赖任何实验结果,只依赖输入碰撞这个事实。

判据写成两行公式

论文把两条要求写成了两个条件。第一条是保持后果的不变性:如果变换只改变交互的坐标描述、不改变物理条件和附着在果体上的后果,那么表示应该把这两个输入映射到同一个表示上。

R(Z)=R(TZ) R(Z) = R(TZ) R(Z)=R(TZ)

第二条是预测充分性:给定表示之后,后果的条件分布不应该再依赖被丢掉的原始信息。

P(Y∣Z)=P(Y∣R(Z)) P(Y|Z) = P(Y|R(Z)) P(Y∣Z)=P(Y∣R(Z))

两条不能互换。第一条做得不够,泛化就变得数据密集;第二条做得过头,预测就变得不可能。而且两条都依赖预测目标:同一个交互,如果目标是果体坐标系下的去除量,它不变;如果目标是世界坐标系下的去除几何,它就该等变;如果重力方向、障碍物、外部约束变了,那连不变性都不能假设。

第三种失效:表示对了,模型没学会

前两种是表示层面的问题,第三种是学习层面的。即使坐标框架在物理上完全合理,一个没有约束的预测器仍然可能对输入里无关的原点或朝向变化敏感。作者把它拆成三个机制,后面用三组实验分别处理:

  • 局部坐标系原点抖动:物理交互没变,但输入里的坐标整体平移了,模型可能跟着变。
  • 接触面选错:给模型的局部几何不是真实接触的那一块,等于观测信息缺失。
  • 实际执行偏离指令:刀的穿透深度真的变了,物理后果本身变了,这时候要求不变反而是错的。

这三种在误差曲线上可能长得差不多,但补救措施完全不同:第一种要坐标不变性,第二种要更好的接触观测,第三种要执行轨迹的反馈。把它们混成一个「定位误差阈值」,是工程上最常见的误判。

图 2
图 2|两种基础变化的对照:上为同一交互的两个世界位姿,果体坐标下后果相等;下为同一刀路、不同果皮厚度,后果不等。

评测怎么设计:训练在一个区域,测试在另一个区域

三种表示只差一行坐标变换

三种表示的物理输入完全相同:同样的采样点、同样的法向、同样的果皮厚度、同样的刀路物理量。唯一的区别是坐标系。

表示刀位姿写在哪个系消掉的变化仍然保留的变化
世界坐标固定的工作空间系无整个系统的位姿、接触位置、朝向
物体坐标水果本体系水果与刀的共同刚体变换接触点在果面上的位置、刀相对果体的朝向
表面坐标接触点局部系共同刚体变换、等价接触点的位置局部曲率、法向、果皮厚度、刀与面的关系

从世界到物体是一次逆变换:刀在果体系里的位姿 G_b^B(τ),等于水果位姿的逆乘以刀在世界系里的位姿 G_b^W(τ)。

GbB(τ)=G−1GbW(τ) G_b^B(\tau) = G^{-1} G_b^W(\tau) GbB​(τ)=G−1GbW​(τ)

共同刚体变换在这里会被精确抵消,因为左乘的变换和它的逆成对出现:

(gG)−1g GbW(τ)=G−1GbW(τ) (gG)^{-1} g\,G_b^W(\tau) = G^{-1} G_b^W(\tau) (gG)−1gGbW​(τ)=G−1GbW​(τ)

从物体到表面是第二次变换:在接触点处用外法向和两个正交切向构造局部标架,再把刀的位姿换到这个标架下。注意切向是由固定的物体轴参考和法向决定的,与刀的方向无关,否则表示本身就会随动作变化而旋转,等价性就没了。

五块数据、五个种子、一个指标

五块实验各有独立的物理样本与划分,读数字时必须分清:

  • 全局位姿与等价接触:等厚球体,600 训练、150 验证、300 测试。
  • 不规则水果的坐标系研究:14 个水果,700 训练、140 验证、280 测试。
  • 机制稳健性:独立重新生成三个水果库队列,每个队列五个模型种子。
  • 物理充分性:14 个基础几何、1000 训练、220 验证、90 组配对厚度干预。
  • 决策评估:72 个共享场景,每个场景 18 个候选动作。

主对比全部是配对五种子,也就是同一组初始化种子跑不同表示,报告配对差值与方向。作者自己写明了统计口径的局限:五个非零配对差值下,双侧精确 Wilcoxon 检验能取到的最小 p 值是 0.0625,所以结论主要靠配对效应和响应曲线的方向,而不是显著性门槛。

指标是归一化均方根误差(NRMSE):每个后果通道先除以测试集标准差,再算分量平方误差的均方根。分量 RMSE 也保留,避免聚合分数掩盖是哪个物理量在驱动差异。

最关键的对照:数据增广

如果相对坐标的优势只是因为「它见过的变化更少」,那么给世界坐标多喂几个视角应该就能追平。作者做了这个对照:保持同样的 600 个物理训练交互,每个交互额外生成四个刚体变换视角,标签不变。

这个对照检验的是「增广能否替代解析地编码刚体关系」,而不是「增广有没有用」;作者也写明它没对齐更新次数,不能说明等变架构的好坏。

决策层怎么量:72 个场景 × 18 个候选

预测误差小不等于选得对。作者加了一层决策评估:每个场景固定水果、接触点、切向、行程、刀宽和全局位姿,只变六个穿透深度和三个倾角,共 18 个候选动作。模拟器给出每个候选的真实代价,模型用自己的预测算估计代价,然后比较两者选出的动作。

代价函数把残留果皮、果肉损失和深度不均匀度按固定权重合成,果肉损失的权重是残留果皮的两倍:

J=Uhref+2Ohref+0.35V J = \frac{U}{h_{\mathrm{ref}}} + 2\frac{O}{h_{\mathrm{ref}}} + 0.35V J=href​U​+2href​O​+0.35V

其中 h_ref 取 1.5 毫米;U、O、V 分别是残留果皮、果肉损失与不均匀度。

评价指标有四个:成对排序准确率、Spearman 秩相关、oracle 最优落在前三的召回率、归一化后悔值。后悔值 ΔJ 定义为模型选中的动作与真实最优动作的代价差,再除以该场景候选代价的极差。这几项不是一回事。

# 仅示意:论文的配对评测协议(数值取自原文,不是可运行代码)
物理样本: 同一批 (果面采样点, 刀路) -> 几何 oracle 先算真值 [C, U, O, V]
for 表示 R in {World, Object, Surface}:
    用同一组 5 个初始化种子训练同一个 PointNet 预测器
    输入只换坐标系, 物理缩放与输出标准化保持一致
    在测试区域上算 NRMSE, 并记录每个种子的配对差值方向
对照 A: World + 每样本 4 个刚体视角      -> 同样本数, 更新次数不同
对照 B: Surface + 2 毫米原点噪声增广     -> 等更新次数
决策层: 72 场景 x 18 候选 -> 排序准确率 / 前三种子召回 / 归一化后悔值

实验一:等价变换也要交「有限数据税」

全局位姿:世界坐标一路上涨到 1.0017

第一组实验最干净:刀相对水果的路径不变,整个水果与刀的系统改变世界位置和朝向。几何 oracle 在果体坐标下返回完全相同的去除场,前面那个 6.38×10⁻¹⁷ 米就是这个意思。所以后面任何误差变化都不是物理造成的(图 3)。

没有位姿变化时,世界坐标与物体坐标完全重合,五个种子的平均 NRMSE 都是 0.8584。这个零差距本身就是一个控制组:它说明两种表示在同一个起点上,后面的分叉是位姿变化引入的。

位姿范围一拉开,两条曲线就分开了。世界坐标从 0.8584 涨到 ρ=0.25 时的 0.8984,ρ=0.50 时到 1.0004,最大范围时 1.0017;物体坐标因为共同运动被构造性抵消,始终停在 0.8584。最大的配对差值是 0.1433,相当于物体坐标误差的 16.7%,五个种子全部同向。

值得注意的是曲线形状:世界坐标在 ρ=0.5 之后基本走平。作者把这个平台解释为有限范围内的学习惩罚,而不是一条可以外推的缩放律。这个说法是克制的:它只说明在这套数据规模与网络容量下有个上界,并没有说位姿再多也不会更差。

换接触点:物体坐标也开始掉队

第二组把坐标冗余往物体内部推了一层。水果是对称球体、厚度均匀,全局位姿固定,同一个局部切削关系被搬到果面的不同位置。在理想对称下,每次搬动都保持局部几何和切削关系不变,但物体坐标系里的接触点坐标和刀的朝向都变了。

结果是:不做重定位时,物体坐标 0.8584、表面坐标 0.8572,几乎一样;随重定位角增大到 30°、60°、120°,物体坐标升到 0.8772、0.8904、0.9250,表面坐标始终在 0.857 附近,120° 时是 0.8561。120° 处表面坐标比物体坐标好 0.0689,相对约 7.4%,五个种子同向。

两个实验的量级不同:去掉整体摆放收益 0.1433,去掉对称物体上的位置收益 0.0689,不能相加。但方向一致:动作坐标越贴近后果真正依赖的那层关系,有限数据的学习负担越小。

增广只补回 0.0015

这是整篇论文里我最想让做部署的人看一眼的对照。世界坐标加四个增广视角之后,五个种子的平均 NRMSE 是 1.0002;不加增广的世界坐标是 1.0017;物体坐标是 0.8584。

也就是说,同样的 600 个物理交互下把每个复制成五个坐标视角,几乎没能把世界坐标拉回物体坐标的水平,差的 0.14 还在。作者很谨慎地写明这不代表增广没用,也不代表等变架构不行:这个对照只说明,在这套有限数据的设置里,把一个已知的刚体关系解析地写进表示,比让它从增广样本里自己浮现更省。

我认同这个措辞,但还想补一句工程上的提醒:这个对照的更新次数没有对齐,所以它不能回答「等算力下增广能不能追平」。真正能回答这个问题的是后面那个等更新预算的噪声增广实验,而那个实验的答案是「能补一部分,但要拿干净精度换」。

这条曲线是平台,不是斜率

把世界坐标那条曲线读成「位姿变化每增加一点,误差就线性增加多少」,是错的。它在 ρ=0.5 之后走平,说明在这套设置里误差被数据覆盖而不是被位姿幅度主导。工程含义是:如果你只打算在很小的位姿范围内部署,世界坐标未必不能接受;真正致命的是大范围、多房间、多台面的部署,那正是这条曲线抬起来又走平的区域。

图 3
图 3|等价变换的代价:位姿范围、接触重定位与四视角增广三种条件下的预测误差。

实验二:把厚度藏起来,误差下限可以被证明

90 组配对干预的物理效应

果皮厚度是这篇论文选来做「必要信息」的变量,因为它可以被干净地单独改动:同一个水果出两个版本,刀路、接触点、全局位姿完全相同,只把厚度场按 0.8 和 1.2 缩放。刀的几何扫掠没变,但残留多少、露出多少果肉变了。

90 组配对干预的统计是:厚度尺度从 0.8 到 1.2,平均覆盖率变化 −0.247,残留果皮增加 0.271 毫米,果肉损失减少 0.336 毫米,不均匀度变化 −0.128。方向都符合物理直觉:皮越厚,留在目标边界之上的材料越多,被算成过切的部分越少。

这组数字证明它是一个真的物理变量,而不是可以被归一化掉的 nuisance。

输入碰撞:两个张量一模一样

然后作者做了一个很狠的消融:完整表面坐标模型接收局部厚度场;厚度盲版本把这一通道换成一个常数。除此之外,架构、物理动作输入、输入维度完全相同。

于是每一组配对干预里,盲版本收到的两个输入张量在数值上完全一样,而模拟器给它们的后果不一样。这不是「预测得不够准」,是「这两个问题在它眼里是同一个问题」。五个种子下,完整表面模型的 NRMSE 是 0.3888±0.0100,盲版本是 0.8596±0.0488,配对差 0.4708,相对降低约 54.8%,五个种子全部同向。

这个实验的设计比数字更值得学:它不比「加了厚度特征涨几个点」,而是构造输入完全碰撞的极端情形,让失败变成逻辑必然。

下界是可以写出来的

论文进一步给出了这个碰撞的误差下界。设两个等权交互的真实后果是 y₁ 和 y₂,但它们的表示输入都是 r,那么任何确定性预测的均方误差都满足:

∥y^(r)−y1∥2+∥y^(r)−y2∥2≥12∥y1−y2∥2 \Vert \hat{y}(r)-y_1 \Vert^2 + \Vert \hat{y}(r)-y_2 \Vert^2 \geq \frac{1}{2}\Vert y_1-y_2 \Vert^2 ∥y^​(r)−y1​∥2+∥y^​(r)−y2​∥2≥21​∥y1​−y2​∥2

推导只用到一个事实:两个输入相同,预测只能是同一个点,而到两点的距离平方和在中点取最小,最小值是两点距离平方的一半。这个界与网络结构、训练过程、数据量都无关。只要 y₁ 不等于 y₂,下界严格为正。

这条不等式值得记住,因为它把两类失败彻底分开了:坐标冗余带来的是有限数据的负担,可以通过更多数据、更强先验、更好的架构缓解;信息缺失带来的是不可约的误差,只能靠改输入解决。工程上分不清这两件事,就会一直在错误的地方加数据。

几何外推另有一条边界

厚度实验还顺带测了另一件事:表面坐标能不能跨水果泛化。三个种子的结果:同一批水果上的新刀路,标准化误差 0.4367;没见过的水果但局部几何熟悉,0.3860;曲率和尺寸都陌生的水果,3.8493。物体坐标对应是 0.8757、0.8409、4.1642。

这组数字给出了一个很重要的边界:局部坐标系能重排已有的物理信息,但不能凭空造出没见过的几何。曲率和尺度一变,误差涨了近十倍,比厚度盲的惩罚还大。所以「换成表面坐标就能泛化」是过度解读,正确的说法是「换成表面坐标能消掉位置带来的冗余,但外推到新几何仍然要靠数据覆盖」。

图 4
图 4|左为保留与去掉厚度通道的误差,右为原点噪声下表面与物体坐标的误差随 σ 的变化。

实验三:坐标系自己漂了,物理一点没变

0.5678 的优势,1 毫米就翻盘

换到不规则水果、五个种子的统一实验里,坐标框架准确时,表面坐标的 NRMSE 是 0.5678±0.1312,物体坐标是 0.8951±0.0106,相对降低约 36.6%。这是整篇论文里表面坐标最漂亮的一组数字。

然后作者开始扰动局部坐标系的原点:给三个局部坐标分量各加独立高斯噪声,但保持真实接触面片、真实刀路、真实后果不变。注意扰动构造:果面点与刀路点同时相对一个错了的原点表示,坐标各平移 δ,差 (a−δ)−(p−δ) 仍是 a−p,刀面间距精确不变。

按道理,一个真正学到了相对关系的预测器不该受影响。但一个在绝对局部坐标上运行的 PointNet 没有这个保证。实测:σ=1 毫米时表面坐标涨到 1.0324,σ=2 毫米时 1.4583,σ=6 毫米 2.2914,σ=8 毫米 2.7989,σ=12 毫米 3.4659。它相对物体坐标的优势在 0 到 1 毫米之间就已经反转。

这里要强调 σ 的定义:它是每个坐标分量的标准差,三轴合成后的欧氏均方根大约是 1.73 倍。所以「1 毫米」并不是一个很宽松的容错。

交叉点不是一个物理常数

只看上面那条曲线,很容易得出「表面坐标只耐受 1 毫米原点误差」。作者换了三个独立生成的水果库队列,每队列五个种子、每个冻结模型三次噪声抽样,看交叉点落在哪里。

结果:各向同性原点噪声的中位首次交叉是 0.840 毫米,只沿法向的噪声是 0.829 毫米,只沿切向的噪声是 6.829 毫米(15 个模型里 13 个在 12 毫米内交叉)。各向同性下 15 个模型里 14 个在 1 毫米前交叉;剩下那个在 6.21 毫米附近才交叉,但它的干净条件精度本来就差得多。系统性原点偏置的中位交叉是 1.318 毫米。

这组数字推翻了「一个阈值」的想法:交叉点取决于扰动法则、方向、预测器和用来比较的干净基线。法向扰动在全部 15 个模型里都比切向更有害,这个方向性不能由随机初始化解释。作者据此明确写道,6 到 8 毫米那个区间可以在切向主导的误差下出现,但更晚的交叉并不代表模型更准。

一起减去质心,这一项敏感性消失

既然失效来自共同平移,那最直接的补救就是把共同平移代数地消掉:从每个面片点和刀路点里同时减去采样面片的质心。这样原点漂移对两者的影响被同一个量抵消。

效果是决定性的:15 个独立训练的居中模型,在 0 到 12 毫米的所有平移水平上,平均 NRMSE 的变化小于 5×10⁻⁸,而且没有一个失去相对干净物体坐标的优势。

但作者马上补了一句,这句话我认为是全篇最实用的提醒之一:居中只消除了这一个表示层面的 nuisance,它没有解决估计表面朝向、找对接触面片、观测实际执行动作这三件事。

三种失效要分开治

同一套扰动框架下,另外两种机制的曲线完全不同。

朝向误差有方向性:绕法向旋转(偏航)到 15°,表面坐标的 NRMSE 几乎不动,维持在 0.516 附近;但把估计的法向倾斜 6°、10°、15°,误差升到 0.759、0.949、1.140。居中的表面坐标对这个倾斜不那么敏感,但仍然不是旋转不变的。

接触面片选错是另一回事:不是坐标变了,是观测到的几何换了。在 6 毫米切向位置噪声下,表面坐标的误差是 1.011,居中版本反而更差,1.185。因为居中处理的是共同平移,处理不了「看错了地方」。

执行偏离则是第三件事:把实际穿透深度扰动 0.5 毫米标准差后重新用 oracle 算真值,归一化的真实后果变化是 0.811。只给指令轨迹的表面预测器 NRMSE 是 0.916,给它实测执行轨迹后是 0.636。这时候要求模型对偏离不变是错的,正确的做法是把执行反馈喂进去。

三种机制,三种药:坐标不变性、更好的接触观测、执行轨迹反馈。这段话我会直接抄进自己的实验记录里。

图 5
图 5|四种扰动分开看:法向倾斜、面片选错、执行轨迹与噪声增广各自的误差响应。

实验四:预测准不等于选得对

三套指标给出不一致的排序

决策实验用 72 个不规则水果场景、每个 18 个候选动作,五个种子,坐标框架准确。结果如下(图 6、图 7)。

指标世界坐标物体坐标表面坐标
预测 NRMSE(越低越好)1.0250.8980.561
成对排序准确率0.4840.6810.729
Spearman 秩相关−0.0330.4340.526
oracle 最优进前三15.8%50.3%77.2%
归一化后悔值(越低越好)0.6530.6810.226

表面坐标在三项排序指标上都最好,这符合直觉。但物体坐标这一列值得停下来看:它的成对排序准确率 0.681 明显高于世界坐标的 0.484,秩相关 0.434 也远好于 −0.033,可它的归一化后悔值 0.681 反而略高于世界坐标的 0.653。

作者的解释是,排序准确率是把大量成对比较平均掉,而后悔值只看被选中的那一个动作,误差集中在最优动作附近时,前面排对多少对都不管用。这个不对称在工程上非常重要:如果你的下游是「从一堆候选里挑一个执行」,平均排序好不代表最终选得对。

后悔值:0.653 到 0.226

表面坐标把平均归一化后悔值从 0.653 压到 0.226,相对世界坐标降低约 65.3%,五个种子同向。这正是标题里那个 65.3% 的来源。

但作者没有把它包装成完胜。同一张表里,精确命中 oracle 最优的比例是 5.0%、0.6%、37.8%——表面坐标高得多,可 37.8% 也意味着六成以上的场景没有选中真正最优的那个。论文自己写明表面坐标在种子间离散度很大,相邻低代价动作后果接近,所以成对准确率、前三种子召回和后悔值要一起看。

噪声下的排序也会掉

决策层也做了坐标系噪声的扫描。表面坐标的成对排序准确率从干净条件下的 0.729 掉到 2 毫米时的 0.665、12 毫米时的 0.555;归一化后悔值从 0.226 升到 0.412、0.568。

12 毫米时,表面坐标的排序准确率已经低于干净条件下物体坐标的 0.681,但它的平均后悔值 0.568 仍然低于物体坐标的 0.681。这两个指标又一次分叉。

论文在这里做了一件我很欣赏的事:它明确撤回了自己早期版本的一个说法——「表面坐标在整个噪声扫描中保持排序优势」在统一数据下不成立。这种自我修正比多报一个涨点有价值。

图 6
图 6|决策层的两张柱状图:左为成对排序准确率,右为归一化后悔值。

图 7
图 7|决策实验原始表:三种表示的预测误差、排序准确率与归一化后悔值。

数据增广能补多少:两次对照的账本

「多喂数据不就行了」是这类问题最常见的回答。论文做了两次不同性质的增广对照,结论并不统一。

全局位姿增广:几乎没补

第一次是刚体位姿增广:同样的 600 个物理交互,每个额外生成四个坐标视角,标签不变。结果世界坐标从 1.0017 变成 1.0002,几乎是噪声级别的变化;物体坐标保持 0.8584。

这说明在有限数据下,把等价关系做成样本让模型自己归纳,效率远低于直接写进表示。但要注意这个对照的边界:它没有对齐更新次数,所以它的结论是「同样本数下增广补不回来」,不是「增广无效」。

坐标噪声增广:补上鲁棒性,赔掉干净精度

第二次是对齐了更新次数的噪声增广,两个独立生成的水果库队列,每个种子配平物理样本数与优化步数。未增广的表面预测器干净条件下 NRMSE 是 0.559,6 毫米各向同性原点噪声下是 2.446;用 2 毫米原点噪声分布增广后,干净条件下变成 0.833,6 毫米噪声下是 0.924。

这张账单很清楚:噪声鲁棒性从 2.446 压到 0.924,代价是干净精度从 0.559 退到 0.833。样本数与更新次数都配平了,所以这不是预算变大,而是学到的输入不变性变了,用理想精度换的。

对照干净条件6 毫米原点噪声说明
未增广的表面坐标0.5592.446干净但脆
加 2 毫米噪声增广0.8330.924稳但钝
世界坐标加四视角增广1.0002未测补不回等价性

两次增广的差别在哪

第一次增广想让模型见过更多等价描述,第二次想让模型对原点抖动不敏感。等价性是可以解析消掉的确定性结构,噪声敏感性则要靠数据分布塑造,所以一个失败、一个成功但付费。

这也解释了为什么作者反复强调交叉点是「预测器、增广过程、扰动方向的联合性质」,而不是几何本身的内禀容差。换一套增广策略,那个 0.840 毫米就会变。

结论能不能迁移到你的模型

什么时候表面坐标是对的

压成一句可执行的判断:当你要「在同一物体或同一类表面的不同位置复用同一套动作-后果关系」,又能拿到可靠的局部几何与接触位置时,表面坐标是最合适的起点。它消掉位置冗余,保留曲率、法向、厚度这些真正决定后果的量。

什么时候物体坐标就够了

如果你的部署变化主要来自整个物体或整个工作区的位姿,接触点分布又相对集中,物体坐标的性价比更高:它已经把共同刚体变换精确消掉,实现只是一次逆变换,不需要估计局部标架,也就不引入新的噪声源。

三个必须先满足的前提

  • 局部坐标系的原点误差要压到亚毫米级,或者干脆做面片与刀路共同居中,把共同平移代数消掉。
  • 果皮厚度这类决定后果的物理量必须真的在输入里,不能被归一化或特征压缩吞掉。
  • 输出如果定义在世界坐标系,要的是等变而不是不变;两条要求不能混用。

在自己的数据上怎么验一遍

  • 先做输入碰撞检查:把两组物理后果不同、但你怀疑表示无法区分的样本找出来,看它们的输入张量是否数值相同。
  • 再做方向性扰动:把原点噪声拆成法向与切向分别加,看你的模型对哪个方向更敏感;论文里法向有害得多。
  • 最后做决策层评估:不要只看回归误差,用一小组候选动作算排序准确率和后悔值,两者的排序可能不一致。
  • 留一组只改坐标、不改物理的留出集,专门量有限数据税。
  • 输出若是世界几何,先确认要的是等变而不是不变,别照搬。
你遇到的变化论文里对应的实验被改变的量
换房间、换台面、整体平移全局位姿扫描整个水果与刀的世界位姿
同一物体换接触点等价接触重定位接触点在果面上的位置
相机标定漂移、原点抖动局部坐标系原点扰动估计出来的坐标原点
换水果尺寸或曲率几何分布偏移表面几何与厚度场

局限与失效场景

它的边界非常明确,读数字前先摆出来:

  • 只有仿真,没有真机。整个结论建立在一个确定性几何模拟器上,没有真实削皮,没有传感器噪声,没有力反馈。
  • 物理模型被刻意简化。只有规定好的短程单刀,没有断裂、粘附、力瞬态、刀具磨损,也没有闭环力控和多步任务。
  • 等价接触重定位只在受控几何下精确成立。不规则水果上局部曲率与厚度会变,所谓等价只是近似。
  • 网络容量被刻意压小,也没有和等变架构做性能对比。作者说明这是为了隔离表示变量,但这意味着结论不能推广成「等变架构不如相对坐标」。
  • 绝对误差普遍偏高。球体实验里三种表示的 NRMSE 都在 0.86 以上,决策实验里世界坐标是 1.025,这些数字之间只能做相对比较,不能当成可用的预测精度。
  • 统计强度有限。核心对比只有五个种子,五个非零配对差值的精确 Wilcoxon 最小 p 值是 0.0625,作者自己说这是描述性的,不是显著性门槛。
  • 外推到新几何会崩。曲率与尺度都陌生的水果上,表面坐标的误差从 0.4367 涨到 3.8493,这条边界比厚度盲的惩罚还硬。
  • 后果只有四个标量。真实的材料去除是一个空间场,用覆盖率、残留、过切、不均匀度四个数概括,会丢掉空间分布的信息。

合起来看,这篇论文的主张应读成「机制层面的因果分解」,而不是「某种表示一定更好」。

落地判断

什么团队值得试

如果你的痛点是「同一类操作在物体不同位置、不同台面上要重复采数据」,并且你的管线里已经有可靠的局部几何或接触估计,那么这套东西的投入产出比很高:它不需要改网络,只需要改输入的坐标系,再把居中那一步加上。

什么团队先别碰

如果你的失败主要来自视觉外观、抓取规划、长程任务分解,这篇论文帮不上;如果你的接触位置估计误差已经在厘米级,表面坐标会先把你惩罚一遍;如果你的输出必须是世界坐标系下的几何,要的是等变结构,不是不变性。

我会怎么排优先级

  1. 先量清楚你的部署变化属于哪一类:整体位姿、接触位置、坐标系漂移,还是新几何。四类的解法不同。
  2. 如果主要是整体位姿,先上物体坐标,一次逆变换的成本几乎为零。
  3. 如果需要跨接触点复用,再上表面坐标,并且默认加上面片与刀路共同居中。
  4. 把厚度这类物理量做成显式通道,并且用输入碰撞测试确认它没有被吞掉。
  5. 评估阶段一定加一层候选动作排序,别只看回归误差。

结论:三种失效,三种药

模型换房间就失效,最容易被归因到视觉和数据;这篇论文提醒的是,还有一层更靠前的原因:动作被写进了哪个坐标系。等价的交互没有被合并,学习器就要为每一种位姿单独交学费;必要的信息被丢掉,再多的数据也补不回来;表示对了但模型没学会不变性,则要靠居中、靠更好的观测、靠执行反馈分别去修。

三种失效对应三种不同的药,这是我认为最值得记住的地方。它没有给出「换成表面坐标就好了」的结论,反而用一条 0.840 毫米的交叉线说明:任何表示优势都有前提。

术语速查表

术语含义
世界坐标表示刀与果面都写在固定工作空间系里,共同位姿变化会改变输入
物体坐标表示刀位姿写成水果本体系的相对位姿,共同刚体变换被精确抵消
表面坐标表示刀位姿写在接触点局部标架下,额外消掉等价接触点的位置差异
保持后果的不变性只改变坐标描述、不改变物理后果的变换,应在表示层被消掉
预测充分性表示之后仍能区分后果分布不同的交互,否则误差不可约
输入碰撞两个物理后果不同的交互得到数值完全相同的输入
NRMSE各后果通道除以测试集标准差后的均方根误差
归一化后悔值模型选中动作与真实最优动作的代价差,除以该场景候选代价极差
共同居中从面片点与刀路点同时减去面片质心,代数消掉共同平移
几何 oracle在编码坐标之前先算出真值去除场的确定性模拟器
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐