0. 简介

Embedding Physics Priors in Robot Learning: A Survey 讨论机器人学习中的一个实际矛盾:真实机器人数据昂贵,运动链、重力、接触与材料形变又难以仅凭数据稳定外推;纯解析模型虽然有结构,往往遗漏环境和硬件中的关键效应。作者把物理知识进入学习系统的位置归纳为数据与表示、模型架构、训练损失三条路线,并比较其适用范围。本文从运动学、牛顿—欧拉与拉格朗日动力学、能量、摩擦、本构关系和执行器边界出发,再用夹取软物体的案例说明这些基础先验怎样分别接入视觉—语言—动作模型(VLA)与世界—动作模型(WAM)。

想象机械臂接到指令:“把桌上的软盒子拿起来,不要压坏。”相机可以识别盒子、桌面和目标位置,但目标位姿是否可达取决于运动链和关节限位,提升动作是否可执行取决于重力、惯性和电机能力;夹爪闭合时,力过小会滑落,力过大又会造成过量形变。决定动作能否执行的变量不全在图像里。机器人必须把几何、动力学、接触、材料和控制反馈连起来。这个场景贯穿全文,但它只是一个显微镜:同一套分析方式也适用于车辆转弯、无人机抗风和足式机器人落脚。

1. 物理先验究竟是什么

1.1 从力学方程到材料参数

综述把先验分为五组:支配方程;守恒、对称和不变性;几何与运动学结构;本构和交互模型;物理可实现性与一致性。物理先验不是杨氏模量这类材料常数的同义词:机器人运动链和关节轴向来自几何设计,质量与重力进入动力学,能量和功率限制输入输出关系,摩擦和碰撞决定接触模式,电机额定力矩与温升限制执行。它们的来源和可靠度并不相同:连杆长度通常可测,表面摩擦却会随灰尘、湿度和接触位置改变。把所有知识都叫作“物理定律”,会掩盖这种差别。

基础先验典型量与关系在机器人任务中的作用常见失配来源
运动学与几何连杆长度、关节轴、 S E ( 3 ) SE(3) SE(3) 位姿、雅可比矩阵判断可达性、末端速度和坐标变换标定误差、柔性连杆、工具安装变化
动力学与支配方程质量、惯量、重力、牛顿—欧拉或拉格朗日方程预测加速度、力矩和动作后果载荷变化、传动间隙、未建模接触
守恒、对称与功率动量、能量、无源性、旋转和平移等变性排除不合理演化,复用不同姿态的数据驱动与耗散未计入,外部做功未测到
材料与相互作用杨氏模量、泊松比、摩擦、阻尼、碰撞恢复描述软体形变、滑移与冲击速度、温度、表面状态和接触几何变化
物理可实现性惯性正定、阻尼半正定、关节及电机限幅排除不可能的参数和命令传感器故障、执行器老化、模式切换

这张表还说明了一个容易被忽视的层次:几何参数决定“能不能到”,动力学决定“怎样到”,接触与材料决定“碰到以后会怎样”。同一个抓取动作可能在第一层就因关节限位失败,也可能几何上可达却因力矩不足无法提升,最后还可能在接触阶段滑落。进一步看,先验可以是解析等式、参数范围、对称结构或不等式约束;只有明确它在哪个阶段起作用,才能设计正确的模型输入和评估指标。[1]

在这里插入图片描述

1.2 先验为什么既能帮忙也能添乱

当数据稀少时,物理结构缩小了模型需要搜索的函数空间:例如已知质量矩阵应正定,就无需让网络从碰巧出现的训练样本中重新发现这一点。但归纳偏置的价值以假设成立为前提。刚体模型用于柔软包装、恒定摩擦用于潮湿表面、线性弹性用于大幅压缩,都可能把错误写进预测。这里要厘清的是,强约束可以提供某一项结构性质,却不会自动提高所有任务指标;偏差、传感器噪声、控制延迟和未建模接触仍会进入闭环。[1]

直觉理解:按地图走路比在陌生城市乱走省时间,但地图若把临时封闭的桥画成通路,越严格地照着它走,越可能到不了目的地。物理先验也是一张有适用边界的地图。

2. 三条嵌入路线:位置比名称重要

2.1 数据、架构、损失各管一段

**物理引导(physics-guided)**把知识放入输入、数据、表示或推理阶段的外部修正,例如用关节角和模型预测力作为特征,或在采样后修正不可达动作。**物理编码(physics-encoded)**把规律写进模型计算结构,例如由学习到的动能和势能推导加速度。**物理约束损失(physics-informed)**在训练时惩罚方程残差或边界条件违反。三者可以同时出现;区分时要问:推理时哪一部分仍在运行,哪一部分只是通过训练后的参数间接留下影响。[1]

在这里插入图片描述

上图的重点不是三种颜色,而是**“进入系统的位置”决定约束的持续方式**。输入中的材料估计可能随传感器更新,编码在架构里的正定矩阵在每次前向计算时都成立,损失中的物理残差则主要约束训练期间访问过的状态。一个模型同时使用三条路线,不意味着它自动获得三重保证;每条路线仍须单独说明假设、约束强度和测试范围。

2.2 一张生命周期图比术语更直观

综述仓库另有一张沿数据准备、训练、推理三个阶段展开的图。进一步看,物理引导可能跨越整个流程,物理编码在训练与推理时都参与计算,物理损失通常在训练阶段使用。对工程系统而言,这一分布直接影响开销:在线物理筛选要满足控制周期,复杂损失主要消耗训练算力,严格架构可能让优化和部署接口更难设计。讨论一种方法“轻量”时,必须说清指训练成本、推理时延,还是采集物理参数的成本。[2]

在这里插入图片描述

这张图可以直接转成实现检查表:先问数据里有没有可辨识的接触事件,再问模型是否真的把状态与动作后果关联起来,最后问在线执行时由谁检查力、位移和滑移边界。训练时物理残差很小,不等于所有新状态都满足约束;若要在实际抓取时阻止过载,在线监督器、力控回路或具有可证明边界的控制方法仍有独立职责。

3. 从运动学到材料:基础方程怎样进入任务

3.1 运动链、雅可比与刚体动力学

对固定基座机械臂,关节位置 q q q 经正向运动学映射到末端位姿 x = f ( q ) x=f(q) x=f(q),小范围内的末端速度由雅可比矩阵 J ( q ) J(q) J(q) 把关节速度映射过去。位姿的旋转部分应在 S O ( 3 ) SO(3) SO(3)、整体刚体位姿应在 S E ( 3 ) SE(3) SE(3) 上处理;把旋转矩阵九个元素任意回归,再希望网络自己学会正交性,通常浪费数据。运动学先验首先回答动作是否有几何意义:目标是否可达、是否碰撞、末端速度是否与关节能力相容。轮式机器人还会遇到非完整约束,例如普通车轮无法不打滑地瞬间横向移动。[1][9]

x = f ( q ) , x ˙ = J ( q ) q ˙ , M ( q ) q ¨ + C ( q , q ˙ ) q ˙ + g ( q ) + J c ( q ) T λ = τ . x=f(q),\qquad \dot x=J(q)\dot q,\qquad M(q)\ddot q+C(q,\dot q)\dot q+g(q)+J_c(q)^{\mathsf T}\lambda=\tau. x=f(q),x˙=J(q)q˙​,M(q)q¨​+C(q,q˙​)q˙​+g(q)+Jc​(q)Tλ=τ.

动力学方程里的 M M M 是质量矩阵, C q ˙ C\dot q Cq˙​ 汇集速度相关项, g g g 是重力项, J c T λ J_c^{\mathsf T}\lambda JcT​λ 是接触力映射到关节的广义力, τ \tau τ 是执行器力矩。它们不是任意可以互换的“物理特征”:重力补偿要用姿态和载荷,接触项要有接触位置或模式,惯量既受连杆参数影响,也会因抓住新物体而改变。对 VLA 给出的末端轨迹,先做逆运动学和力矩可行性检查,往往比让动作网络通过失败样本重新学一遍机械臂结构更直接。[9]

直觉理解:地图上两点很近,不等于汽车能横着开过去;机械臂末端看似只需移动几厘米,也可能要求某个关节穿过机械限位。运动学说清路径形状,动力学再回答电机能否按这个速度把路径走完。

3.2 E E E、几何尺寸与接触刚度不是一回事

杨氏模量描述材料在指定条件下的应力—应变关系,单位是帕斯卡;一个物体在夹爪下表现出的刚度却还受厚度、接触面积、形状、边界固定方式和夹爪材料影响。在线性、小应变、均匀单轴压缩的教学近似中,设受压面积为 A A A、厚度为 h h h、压缩量为 δ \delta δ、法向力为 F n F_n Fn​,有下面的关系。同一材料做得更厚或接触面积更小,夹起来都可能显得更软,因此不能把单次力—位移斜率直接叫作材料的真实 E E E。

σ = F n A , ε = δ h , F n ≈ E A h δ , k e f f ≈ E A h . \sigma=\frac{F_n}{A},\qquad \varepsilon=\frac{\delta}{h},\qquad F_n\approx\frac{EA}{h}\delta,\qquad k_{\mathrm{eff}}\approx\frac{EA}{h}. σ=AFn​​,ε=hδ​,Fn​≈hEA​δ,keff​≈hEA​.

式中的 k e f f k_{\mathrm{eff}} keff​ 是该简化几何下的等效刚度,而不是材料常数。对于各向同性线弹性材料,剪切模量还满足 G = E / [ 2 ( 1 + ν ) ] G=E/[2(1+\nu)] G=E/[2(1+ν)],其中 ν \nu ν 是泊松比;近不可压材料的侧向鼓起、复杂接触边界、黏弹性和大形变都会让上式失准。对泡沫、织物、薄壁包装或水果,工程上更应把估计结果称为“当前夹持条件下的有效参数”,并报告估计所用的接触区域、载荷区间和速度,而非只给出一个看似精确的数字。[7]

难点提示:同一块海绵平放、立放、折叠后压下去,手感不同;材料并没有瞬间换一种化学组成,变的是几何和受力边界。机器人从夹爪力读到的是整个接触系统的响应。

3.3 为什么必须主动接触和辨识

单张图像通常能提供形状线索,却无法唯一确定内部材料、空腔和表面摩擦。机器人可以先做一个小幅、限力的探测动作,记录多组压缩量与法向力,在限定的线性区间估计斜率,再用几何近似换算 E E E。

def fit_youngs_modulus(compression_m, normal_force_n, area_m2, thickness_m):
    x = np.asarray(compression_m, dtype=float).reshape(-1)
    y = np.asarray(normal_force_n, dtype=float).reshape(-1)
    if area_m2 <= 0 or thickness_m <= 0 or x.size != y.size or x.size < 2:
        raise ValueError("Invalid geometry or measurements")
    slope = float(np.dot(x, y) / np.dot(x, x))
    if slope <= 0:
        raise ValueError("No positive stiffness identified")
    return slope * thickness_m / area_m2

这里用过原点的最小二乘斜率,是因为模型假设接触后零位移对应零力。真实数据常有预载、摩擦、传感器偏置和非线性;若拟合残差随压缩量系统性增加,就应停止把这一段数据解释成线性弹性。辨识的目标不是得到一个漂亮的 E E E,而是得到足够可靠的动作边界。若没有足够的探测幅度,多个 E E E、接触面积和厚度组合会产生近似相同的力曲线,参数本身便不可辨识。

4. 接触、能量和执行器:动作要受哪些边界约束

4.1 法向力必须同时满足两种相反要求

两指夹取物体时,增大法向力通常提高抗滑余量,却也增大形变。设两侧接触的保守摩擦系数下界为 μ min ⁡ \mu_{\min} μmin​、每指法向力为 F n F_n Fn​、物体质量为 m m m、竖直提升加速度为 a z a_z az​,理想库仑模型给出一个容易理解的必要筛选条件。它只检查准静态或简化动态的力平衡,不保证真实抓取稳定:接触斑块变化、旋转力矩、夹爪姿态、振动和触觉延迟都可能让物体在条件满足时仍然滑动。

2 μ min ⁡ F n ≥ m ( g + a z ) , δ max ⁡ p r e d = F n h E min ⁡ A ≤ δ a l l o w . 2\mu_{\min}F_n\ge m(g+a_z),\qquad \delta_{\max}^{\mathrm{pred}}=\frac{F_n h}{E_{\min}A}\le\delta_{\mathrm{allow}}. 2μmin​Fn​≥m(g+az​),δmaxpred​=Emin​AFn​h​≤δallow​.

第一个不等式给夹紧力下界,第二个给形变约束下的上界。若二者没有交集,系统应当更换接触位置、减小加速度、增加接触面积,或进行新的探测;单纯让语言模型“更小心”无法消除力学矛盾。进一步看, μ \mu μ 往往不能从法向压缩数据推得,它需要切向力与即将滑移时的观察;动态摩擦、粘附和柔软表面的形变耦合,还会使一个常数 μ \mu μ 只在局部条件下有效。[1]

这里的两条不等式若只排成公式,读者容易误以为“夹得更紧总更安全”。自绘解释图 2 应画出随每指法向力变化的两种风险,并并排呈现有交集和无交集两种情况;横轴只表示力从小到大,不设置任何未经实验测量的刻度。这样可以一眼看出为什么候选动作筛选必须允许“没有合格动作”的结果。

在这里插入图片描述

直觉理解:端水杯时,握得松会滑,握得太紧可能压坏纸杯。两条不等式就是给手指找一个同时“不滑”和“不压坏”的力区间;找不到区间时,应该换握法。

4.2 接触是混合系统,不是平滑曲线

机器人接近物体时还没有接触,触碰后力开始增长,随后可能进入粘着、滑动或脱离。状态在这些模式间切换,冲击和库仑摩擦附近还会出现不光滑行为。用一个连续网络拟合平均轨迹,可能把“刚碰到”的时刻抹平;在接触前后都套用同一个方程,也会产生错误梯度。综述因此单独讨论摩擦、碰撞和混合模型,而 ContactNets 一类工作专门研究非连续接触动力学。接触模式识别应进入模型输入或切换逻辑,尤其是在世界模型预测较长动作序列时。[1][8]

对于理想刚体的单侧接触,可以用间隙 ϕ ( q ) \phi(q) ϕ(q) 与法向接触力 λ n \lambda_n λn​ 写出互补条件:两物体分开时法向力为零,承载法向力时接触间隙为零。这是一种只适用于其建模假设的结构约束,不是软物体真实形变的完整方程;柔性物体可允许接触区发生压入和内部应变。将互补关系直接硬塞进可微训练,还会遇到非光滑优化问题,因此有人使用平滑近似或隐式层,但近似强度和梯度行为仍需验证。[1][8]

ϕ ( q ) ≥ 0 , λ n ≥ 0 , ϕ ( q ) λ n = 0. \phi(q)\ge 0,\qquad \lambda_n\ge 0,\qquad \phi(q)\lambda_n=0. ϕ(q)≥0,λn​≥0,ϕ(q)λn​=0.

4.3 能量、动量与无源性不能混为一谈

一个自由、无摩擦且不受外力做功的理想系统可以守恒能量;真实机械臂有电机输入、摩擦耗散和与环境交换的功,因此“能量必须恒定”反而可能是错误先验。对储能函数 H H H,无源性更常表达为输出能量不超过输入功与初始储能之和;如果未知外力持续做功,就必须把它也记入供能端。功率关系比口号式的能量守恒更贴近受驱动机器人。这类结构可用于端口哈密顿模型、能量整形和控制器设计,但无源的被学习模块仍不能单独证明整个闭环对所有接触都稳定。[1][10]

H ( T ) − H ( 0 ) ≤ ∫ 0 T τ ( t ) T q ˙ ( t )   d t (在定义的端口与耗散假设下) . H(T)-H(0)\le\int_0^T \tau(t)^{\mathsf T}\dot q(t)\,dt \quad\text{(在定义的端口与耗散假设下)}. H(T)−H(0)≤∫0T​τ(t)Tq˙​(t)dt(在定义的端口与耗散假设下).

这里要厘清的是,动量守恒也有前提:如果夹爪给物体施加冲量,单看物体动量当然会变化;只有选对系统边界并计入外部冲量,关系才有意义。对旋转、平移或机器人的形态对称性,等变网络可以利用重复结构减少样本需求,但只有变换确实保持任务物理意义时才能使用。比如把有重力方向的场景任意旋转,或把左右不对称的夹爪强行镜像,都会把错误不变性写入模型。[1]

难点提示:把电动车接上充电器后,电池能量上升不表示能量定律失效;判断应看电能从哪里流入、摩擦和热量从哪里流出。机器人也是一样,先画清系统边界,再谈守恒或无源性。

4.4 电机与传感器也是物理系统

一个轨迹即使满足几何、重力和接触方程,也可能要求电机输出超过额定力矩,或者在控制周期内发生无法实现的加速度变化。电机力矩、关节速度、力矩变化率、减速器间隙、温度以及通信延迟,都应进入可执行性判断;综述把执行器和传动系统也纳入先验范围。约束检查要以硬件实际接口为准:位置控制夹爪收到一个“2.6 牛”文本命令并不会自动变成力控,WAM 预测的细腻接触轨迹也不能修复驱动器饱和或过期的力传感器数据。[1]

4.5 换一类机器人,先验也要跟着换

软物体抓取只是便于把几何、力和材料关系放在同一条动作链中。车辆转弯时,更关键的是轮胎侧向力、路面附着、轴荷转移和车辆不能瞬间侧移的非完整运动学;无人机抗风时,要看机体惯量、重力、推力方向、气动阻力与电机转速上限;足式机器人落脚时,则要判断支撑接触、摩擦锥、质心运动和地面反力。三条嵌入路线仍然适用,但被嵌入的方程与失效方式必须随机器人变化。把抓取里的 E E E 当成通用“物理 token”,对这些系统没有实际解释力。[1][9]

机器人场景最先应核对的传统先验可进入 VLA/WAM 的量典型误用
车辆低附着转弯非完整约束、质量惯量、轮胎力与摩擦极限速度、转角、路面附着范围、未来侧偏用干燥路面固定摩擦系数预测湿滑路面
无人机带载飞行刚体动力学、重力、推力和电机饱和载荷质量、风扰动估计、未来姿态与推力只限制目标位姿,不检查推力是否足够
足式机器人跨越地形支撑多边形、接触模式、摩擦锥与动量足端接触、地面反力、质心轨迹把所有落脚点当作同一刚性地面

进一步看,所谓“物理感知基础模型”不必把每个系统的全部常数烘焙进统一权重。更可检验的做法,是明确机器人的几何和执行器接口、让世界模型接受可更新的质量或摩擦估计,并在动作执行前调用与平台相符的约束检查器。这样模型可以复用视觉理解与动作提议能力,同时保留机器人本体与环境物理的差异。可复用的是建模和验证程序,不一定是某一套固定方程参数。[1]

5. 物理编码:让架构承担已知结构

5.1 DeLaN 的承诺与边界

综述对物理编码架构着墨最多,DeLaN 是便于理解的例子。对适用的机械系统,网络学习惯性矩阵 M ( q ) M(q) M(q) 和势能 V ( q ) V(q) V(q),再由欧拉—拉格朗日关系构造动力学,而不是让网络独立猜测每个关节的加速度。令三角因子 L ( q ) L(q) L(q) 的对角线为正,并加一个小的正数稳定项,可使 M ( q ) M(q) M(q) 正定;这一点在模型每次前向计算时都成立。被保证的是矩阵性质,不是摩擦建模正确,更不是闭环安全。[1][3]

L ( q , q ˙ ) = 1 2 q ˙ T M ( q ) q ˙ − V ( q ) , M ( q ) = L ( q ) L ( q ) T + ϵ I , ϵ > 0. \mathcal{L}(q,\dot q)=\tfrac12\dot q^{\mathsf T}M(q)\dot q-V(q),\qquad M(q)=L(q)L(q)^{\mathsf T}+\epsilon I,\quad\epsilon>0. L(q,q˙​)=21​q˙​TM(q)q˙​−V(q),M(q)=L(q)L(q)T+ϵI,ϵ>0.

把同一思路迁到软物体上,可以让网络预测未知的材料或残差,让解析接触关系负责基本力平衡;但软物体的大形变、迟滞和多点接触远比机械臂自由运动复杂,不能把 DeLaN 方程原封不动地当作抓取模型。这里的关键是先找可靠结构,再让学习模块覆盖未知部分。若残差吸收了错误的面积、厚度或摩擦系数,虽然预测可能变准,网络中标为“杨氏模量”的量却不一定仍有可解释的物理意义。

在这里插入图片描述

上图把拉格朗日与哈密顿方法、结构化网络、神经 ODE 与变分积分、混合模型、拓扑学习和神经算子放在同一张图上。它们共享“利用结构”这一目标,却不能按颜色排出性能名次。普通神经 ODE 本身不保证物理正确;变分积分方法关注几何结构和长期数值行为,但保持辛结构不等于一般情况下严格守恒能量,动量保持还依赖离散对称性。对需要在控制周期内运行的系统,方法价值还必须包括计算成本和可测输入。[1][4]

5.2 工程上常见的混合模型

很多系统已有可用但不完美的动力学模型,这时保留解析骨架并学习修正项,比从零学习全部动力学更可控。机械臂可保留刚体动力学而估计摩擦和传动误差,车辆可保留质量与运动学关系而学习轮胎力,软物体抓取则可以保留接触约束并学习有效刚度、迟滞或局部形变残差。下面的表达式只说明分工,残差的幅度、单位、适用范围和不确定性必须另行约束;无限制的修正项最终仍可能抵消已知物理结构。[1]

s ^ t + 1 = f p h y s i c s ( s t , a t ; ϕ ) + r θ ( s t , a t , o t ) , ∥ r θ ∥  须按任务约束与验证 . \hat s_{t+1}=f_{\mathrm{physics}}(s_t,a_t;\phi) +r_{\theta}(s_t,a_t,o_t),\qquad \|r_{\theta}\|\ \text{须按任务约束与验证}. s^t+1​=fphysics​(st​,at​;ϕ)+rθ​(st​,at​,ot​),∥rθ​∥ 须按任务约束与验证.

工程价值:这相当于先用可靠的机械图纸搭起骨架,再用实测数据补上图纸没有写清的橡胶、间隙和磨损。修正项越大,越要查明是环境变化,还是原先的骨架用错了。

5.3 不同架构适合保留不同结构

哈密顿与端口哈密顿方法优先保留储能和输入输出关系,适合研究能量交换与无源控制;结构化网络按机械子系统连接学习模块,能针对轮胎、执行器或摩擦设计局部组件;神经 ODE 与变分积分方法处理连续演化及其数值离散;SINDy 和符号回归尝试从候选项中发现紧凑方程;等变网络与算子方法则利用空间变换或状态提升。它们并非同一条精度排行榜:要看可测状态、接触模式、计算预算,以及目标究竟是系统辨识、长时预测还是在线控制。[1]

进一步看,物理编码的“硬”也有层次。用 M = L L T + ϵ I M=LL^{\mathsf T}+\epsilon I M=LLT+ϵI 保证正定,是明确可检查的矩阵性质;用普通多层网络表示“轮胎模块”,只是把物理语义写入网络分工;把候选动力学项交给稀疏辨识,则依赖函数库含有正确项且实验激励足够。结构名称不能代替成立条件。读一篇论文时,应该把“严格满足的关系”“依训练数据近似满足的关系”和“只在实验中观察到的性能”分开标注。[1]

6. 物理损失与物理引导各自解决什么

6.1 损失把物理变成训练信号

对预测下一状态的模型,可以在观测误差之外加入运动学、动力学、功率或材料本构残差。机械臂自由运动阶段可比较预测力矩与 M q ¨ + C q ˙ + g M\ddot q+C\dot q+g Mq¨​+Cq˙​+g,进入接触后再引入接触力与模式;软体抓取可比较力—位移响应和允许形变。损失权重 λ \lambda λ 并无普适答案:权重小到不起作用,物理项只是装饰;权重过大且方程失配,模型会系统性偏离真实数据。不同残差的单位与量级也不一样,直接相加之前必须归一化,并对不光滑接触采取合适的计算方式。[1]

J ( θ ) = L d a t a ( θ ) + λ D E [ ∥ M q ¨ ^ + C q ˙ + g + J c T λ ^ − τ ∥ 2 ] + λ F E [ ( F ^ n − E ^ A δ ^ / h ) 2 ] + λ C E [ max ⁡ ( 0 , δ ^ − δ a l l o w ) 2 ] . \mathcal{J}(\theta)=\mathcal{L}_{\mathrm{data}}(\theta) +\lambda_D\mathbb{E}\big[\|M\hat{\ddot q}+C\dot q+g+J_c^{\mathsf T}\hat\lambda-\tau\|^2\big] +\lambda_F\mathbb{E}\big[(\hat F_n-\hat E A\hat\delta/h)^2\big] +\lambda_C\mathbb{E}\big[\max(0,\hat\delta-\delta_{\mathrm{allow}})^2\big]. J(θ)=Ldata​(θ)+λD​E[∥Mq¨​^​+Cq˙​+g+JcT​λ^−τ∥2]+λF​E[(F^n​−E^Aδ^/h)2]+λC​E[max(0,δ^−δallow​)2].

式中的 E ^ \hat E E^、 F ^ n \hat F_n F^n​、 δ ^ \hat\delta δ^ 与 λ ^ \hat\lambda λ^ 可以由不同模块估计,因此优化前应先统一单位与尺度,并避免让多个可调模块互相补偿错误。接触力为零的自由运动样本和接触中的样本,不能不区分模式就套用相同残差。这里值得追问的是,训练集残差下降后,未见载荷、材料、关节姿态和接触位置上的违约率是否真的下降;若没有分层测试,就无法判断收益来自物理信息,还是模型容量、数据覆盖和超参数搜索。[1]

6.2 数据和推理引导改变的是另一层

物理引导可以从输入设计开始:给模型提供关节状态、坐标系、重力方向、夹爪开口、力矩、触觉变化、接触标志、物体厚度估计和材料不确定度,而不是只给一张 RGB 图。仿真数据也可按合理的质量、惯量、材料和摩擦范围生成,再通过真实探测校准。扩散策略或世界模型生成多条动作时,还可调用外部运动学、动力学和接触检查器修正候选轨迹。图像看起来连续、自然,与轨迹受力可执行是两种不同证据;视觉生成质量不能代替接触实验。[1]

7. VLA 与 WAM:物理信息进入何处

7.1 VLA 提议动作,物理层说明能否执行

VLA 通常把视觉观察和语言任务映射为机器人动作或动作片段,OpenVLA 是一项有公开模型与代码的代表性工作。对于“拿起软盒子”这类任务,VLA 擅长从场景与指令中确定目标、接近方向和动作候选,却不能仅凭名称推出它已识别关节力矩、摩擦下界、材料刚度或安全夹持力。一个务实接口是让 VLA 提出带时间戳的接近位姿、夹持力或位移、提升速度等候选;物理层依次判断几何可达性、动力学和执行器能力、接触后的形变与滑移余量,再把拒绝原因反馈给策略重新生成。[5]

7.2 WAM 的“世界”必须包含动作后果

这里的 WAM 指 World Action Model(世界—动作模型)。OpenWAM 的公开仓库展示了联合世界与动作学习的模块化研究框架,以及视频、动作、状态和理解模块的多种组合;它并未宣称已直接估计本文案例的杨氏模量或保证真实软体抓取安全。若要让 WAM 对这类任务产生实质作用,本文建议把机器人运动学与质量参数、材料后验、接触模式、执行器边界和动作条件一起送入世界预测,再预测未来的位姿、力、形变、滑移与图像;动作头据此比较候选。这是基于综述与 OpenWAM 方向提出的系统设计,不是现成模型的已报告结果。[6]

p θ ( s t + 1 : t + H , o t + 1 : t + H ∣ s t , o t , a t : t + H − 1 , z t p h y s ) , z t p h y s = ( 几何 , M , g , E , μ , 接触与执行器边界及其不确定度 ) . p_\theta(s_{t+1:t+H},o_{t+1:t+H}\mid s_t,o_t,a_{t:t+H-1},z_t^{\mathrm{phys}}),\qquad z_t^{\mathrm{phys}}=(\text{几何},M,g,E,\mu,\text{接触与执行器边界及其不确定度}). pθ​(st+1:t+H​,ot+1:t+H​∣st​,ot​,at:t+H−1​,ztphys​),ztphys​=(几何,M,g,E,μ,接触与执行器边界及其不确定度).

式中的 s s s 是机器人与物体状态, o o o 是视觉或触觉观察, a a a 是候选动作, H H H 是预测时域。要比较两个候选动作,需要在相同初始状态下分别按候选动作条件化预测;如果模型只会生成看似合理的视频,却不能回答“换一个夹持力会怎样”,它就不足以充当这个筛选器。即便预测接口具备反事实能力,也要对材料范围外、遮挡和罕见接触状态给出不确定度,不能把单条漂亮轨迹当成可靠结论。[6]

难点提示:看一段杯子落地的视频,人人都能猜到下一帧可能有碎片;但机器人真正要问的是“我先伸手托住杯底,会发生什么”。后一个问题需要以动作作为条件的预测,并且要承认预测会错。

7.3 逐项接入,而不是只加一个“物理 token”

同一先验可以从多条路线进入 VLA/WAM:关节限位可作为动作表示与推理筛选,也可进入训练损失;质量和重力可作为状态条件,或成为结构化动力学层;接触既可提供触觉输入,也可限定转移方程何时切换。先验是否真的影响动作,要通过消融和失败日志证明。下面的表格是本文提出的系统设计矩阵,不是综述给出的现成模型配置;其中“在线检查”只表示有一个执行前或执行中的计算模块,不代表已经获得形式化安全保证。

物理先验给 VLA 的信息或限制给 WAM 的状态/结构/目标在线核查
运动链、 S E ( 3 ) SE(3) SE(3)、关节限位合法位姿与动作坐标系关节—末端一致的状态转移逆运动学、碰撞与可达性
质量、惯量、重力载荷与动作速度条件刚体动力学骨架或残差力矩、加速度和稳定裕量
能量、功率、对称性限制不合理动作分布储能/端口结构或等变表示功率预算、能量异常与姿态一致性
接触、摩擦、碰撞接触事件与触觉历史接触模式、切换转移与摩擦约束非穿透、滑移和冲击边界
杨氏模量、阻尼、几何厚度探测结果和材料不确定度形变与力响应的条件变量形变、压强及损伤阈值
电机和传感器边界可执行动作类型与频率饱和、延迟及观测噪声模型力矩、温度、延迟与故障

这里要特别区分模型内部的学习目标和机器人外部的控制责任。让 WAM 在视频里预测物体没有穿过桌面,是一种预测一致性目标;让真实夹爪接触时立刻停止超力输出,则是传感器、驱动器与控制软件共同承担的执行责任。两者可以协作,但任一部分出了问题,都不能指望另一个部分凭概念名称自动兜底。对高频接触任务,物理筛选还必须计入推理时延,否则“通过检查”的动作可能已经过期。

表格说明了每一种先验能放在哪里,但真正运行时需要一张带回退路径的系统图。自绘解释图 3 应让同一个初始状态进入多条动作分支,分别预测后果,再由独立监督器判定是否执行;被拒绝的候选要带原因返回提议端,执行后的触觉则更新物理估计。图中应显式隔开“模型预测”和“硬件控制”,以免把 WAM 的世界预测误读为真机保护机制。

在这里插入图片描述

8. 一个可以运行的最小闭环

8.1 先定义物体状态、机器人边界与动作接口

下面五段代码假定二维双连杆机械臂在竖直平面内运动,夹爪两侧近似单轴压缩物体,再竖直提升;输入数据由脚本构造,没有训练 VLA 或 WAM,也没有连接真实机器人。第一步把材料估计、候选动作和硬件边界分开:关节长度与质量用于几何和重力计算,夹持力与提升加速度用于接触预测。这里的每个量都带单位,避免把语言模型产生的动作描述直接当成驱动器命令。

…详情请参照古月居

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐