看到场景了，理解任务了，机械臂也转了，瓶盖却没拧开。

这是机器人在操作上经常遇到的问题。

可能是：手指握得不够牢，动作打滑；也可能是接触后发生了变化，后续动作没有及时调整。

指令已经给出，手上的力却未必跟得上。

近日，李飞飞和吴佳俊参与的工作 FACT，就在把注意力放到了这里。

我们和李飞飞的学生沟通了下，了解到这项工作是“业内首个机器人小脑”：是从大规模人类示范中同时学习运动与用力，让机器人在接触物体时预测受力，并根据触觉反馈修正动作。

• paper链接: https://arxiv.org/abs/2610.19155

• 项目主页: https://fact-1-0.github.io

如果看FACT这个结构，主要由由Coarse Planner和Action Refiner组成。

就像开头拧瓶盖这个任务，背后对应的是一套分工。

Coarse Planner（粗规划器）承担大脑的角色，预判接下来的场景运动（astra这类可以担当，不是本工作的重点）；Action Refiner（动作精修器）承担小脑的角色，把粗动作与接触信息结合起来，处理执行中的细节。

这篇工作重点就是Action Refiner，小脑任务，具备高频触觉推理能力。

沿着这个逻辑，我们可以看看这个小脑的力的经验从哪里来？

人类示范记录了手如何运动，但很多以视频和运动为主的数据，缺少实际施力的直接测量。

FACT 把这部分信息直接补进了预训练，再让模型同时预测动作和未来的力。

人类的接触经验，由此与机器人的执行过程连接起来。

一作 caozhi也在X上第一时间分享这篇工作的核心突破。

共同一作 Yining Hong 也在X分享中提醒大家打开演示视频的声音:背景音乐里，有她与机器人的二重奏。

对外的Demo中，琴弦、鞋带和移液器这些具体对象，也让这篇工作的目标变得直观：机器人需要学习手上那些很难仅凭动作外观讲清楚的细节。

01 2000小时人类示范，把“怎么用力”纳入机器人预训练

从人类示范学习操作，一个直接吸引力是规模。

但缺乏触觉信息，上限也很明显。

想象一只手保持相近的姿势，停在物体表面：它可能只是轻轻接触，也可能正在持续施压。画面里的位置变化很小，物理交互却可能不同。如果示范只留下运动外观，学习系统还要自己推断这部分差异。

FACT强调的是：人类视频能够提供规模和运动先验，而施加的力能够补充其中隐含的交互信息。

为此，他们团队构建了 EgoForce数据集，把“用力”这件事放到预训练中。

EgoForce包含约2000小时人类操作、4万段示范，覆盖1000项任务和1000名示范者。

第一视角视频、手部运动与校准后的触觉力信号，被放进同一套数据记录中。

“校准后的力”是理解这套数据的关键。

不同示范中的数值能够表达可比较的物理含义，才能让模型跨操作者、跨任务积累接触经验。否则，一串传感器读数和操作时实际施加的力之间，还缺少转换关系。

我们了解到，在训练上，FACT 共同使用 EgoForce 与机器人示范。

这样，人类数据承担了提供丰富操作经验的角色，机器人数据帮助模型学习机器人执行所需的映射。

02 FACT 联合预测力与动作

FACT 的全称中，Force、Action、Track 分别对应力、动作和视觉轨迹。

主要包括2个大模块：粗的规划器和force-action的精修器。

而FACT中的前三个词也概括了它希望建立的联系：预判运动，生成动作，同时学习动作带来的接触变化。

先看粗规划器。

它接收图像、任务指令、机器人状态和历史视觉轨迹，联合预测未来视频、轨迹与动作。

简单来说，粗规划器先形成一份关于“接下来怎样运动”的判断，再把粗动作交给精修器。

FACT结构

再看精修器。

一个更小的Force-Action Joint Refiner接收粗动作、当前触觉信息和前一阶段的视觉计划，同时预测未来指尖受力，并继续修改尚未执行的动作。

这和单纯把触觉作为输入不同。

当前受力只能告诉机器人“刚才发生了什么”；未来力预测则要求模型回答：如果继续执行这个动作，接下来将产生怎样的接触后果？

这也让“预测力”与动作生成建立了直接联系。它服务于动作细化，不能简单理解成先算出一个力值，再让底层控制器追踪这个数值。

FACT以20 Hz输出动作，每隔一段时间接收新的触觉信息。当真实接触与预期出现差异，精修器只调整还没有执行的动作后缀，无须重新运行完整的规划器。

所以，这套分工的技术实质并不是一个负责想、一个负责动，而是大模型先确定动作结构，小模型持续预判接触后果，并用真实反馈修正剩余动作。

03 每项任务10条机器人示范，FACT在十项真机测试中领先

FACT最终在10项真机任务上进行测试。

其中既有打开试管盖、多物体连续抓取、使用螺丝刀，也有系鞋带、洗牌、弹奏竖琴和调节移液器刻度。

这些任务并不是为了展示机器人会做多少种动作，而是在集中考察同一个问题：当任务进入接触阶段，模型能否把位置、方向和受力同时协调起来。

每项任务只采集10条机器人遥操作轨迹，再加入90条人类示范进行微调。所有方法使用相同的数据与测试条件，并在双臂和Sharpa Wave灵巧手平台上完成评估。

完整FACT在7项二元成功任务上的平均成功率为41.4%，T-Rex为8.6%。

其中：

• 打开试管盖，FACT达到80%，T-Rex为20%；

• 实验室移液，FACT达到40%，T-Rex为0；

• 单手连续抓取多个物体，FACT达到40%，T-Rex为0；

• 弹奏竖琴时，FACT平均弹出6.7个清晰音符，T-Rex为2.1个；

• 调节移液器刻度时，FACT在10次中有5次成功接触旋钮，接触后的平均误差为6.4微升；T-Rex仅接触成功2次，平均误差为14微升。

此外，在试管盖任务上对T-Rex的单项成功率提升最高达到60个百分点。

不过看这些实验，我们也需要按任务理解指标。

完成一次移液、打开一个盖子，与让乐器发出清晰音符，评估的对象不同。它们共同检验精细执行能力，但不适合不加区分地合成一个数字。

这组结果最有价值的信号，是人类操作经验能够参与具体机器人的任务学习：在任务专属机器人数据有限时，来自人的运动与用力示范，依然能够为适配提供帮助。

04 从0%到80%，力监督改变了人类经验的迁移效果

模型整体更强之后，还有一层更重要的追问：提升中，人类示范里的力到底贡献了什么？

预训练配方的消融实验，比较人类数据保留力监督与去掉力监督时的下游表现。

这张表和上一节的基线比较，回答的是不同问题。基线比较看完整系统的表现；这组消融则更接近我们关心的问题：记录人类用力，是否真的有助于机器人学习？

试管盖任务的差异尤其明显。同样引入人类示范，力监督的有无对应了很不一样的执行结果。这意味着，在这个设置下，视频和运动之外的接触信息提供了重要增量。

系鞋带从0%到20%，人类的力监督起到了决定性的作用。在人类预训练阶段加入力标签，解锁了此前几乎无法完成的任务。

05 从100小时到2000小时，力觉优势没有被数据规模冲淡

FACT报告中还做了一项容易被忽略、但更接近基础模型逻辑的实验：不断扩大预训练阶段的人类数据。

团队分别使用100、500、1000、1500和2000小时人类示范，并在每个规模下混入相同的机器人遥操作数据，再分别训练“带触觉监督”和“不带触觉监督”的模型。

随着人类数据增加，两组模型的验证误差都呈现近似对数线性下降。

更关键的是，触觉监督带来的差距没有随着视觉和动作数据变多而消失：

• 在100小时规模下，加入触觉监督后，验证误差由0.047降至0.042；

• 在2000小时规模下，验证误差由0.036降至0.031；

• 在各个数据规模上，触觉监督都带来约10%至14%的改善；

• 从1000小时继续扩展到2000小时，带触觉模型的误差下降11%，不带触觉模型下降8%。

这组结果包含两层信息。

第一，人类数据规模继续扩大，模型仍然能够从中获得收益，没有在较小规模上迅速饱和。

第二，力觉不是小数据阶段用于“补信息不足”的临时手段。即使人类视觉和动作数据扩展到2000小时，力觉监督仍然提供稳定增益。

换句话说，更多视频没有自动补回缺失的物理信息。

模型看过再多手部动作，如果始终不知道手与物体之间发生了怎样的作用，它学习到的仍是一套不完整的人类经验。

06 写在最后：大脑持续升级，手上的经验也需要积累

FACT 的工作介绍中还有一个更大的愿景：上层大脑会不断变强，也会不断被替换，而“小脑”可以与下一代大脑继续协作。

这一愿景以GPT、Claude等通用模型作为上层智能的参照，指向任务理解与底层执行之间的分工。

FACT 这篇工作中具体验证的，是人类力监督与接触预测如何帮助机器人执行；与不同上层模型协作，是作者进一步希望推动的方向。

这也是我们理解“首个机器人小脑”这一定位的方式：它强调一种从规模化人类经验中学习、同时预测和响应接触的执行能力。

而工作中的粗规划器与精修器，则给出了实现这种能力的一套具体架构。