想象一个场景:

有人把一个球扔向机器人,机器人稳稳地伸手接住了。

大多数人会这样描述这件事发生的过程:机器人识别了球,预测了落点,控制机械臂伸出,夹爪合上。

但如果你深入到这台机器的内部——不是它的关节,而是它的数据流——你会看到一件完全不同的事情正在发生。

或者更准确地说:在那台机器的内部,根本没有"球"这个东西。


一、内部没有坐标,没有"球",只有数据的扰动

在一种被称为"内世界架构"的系统里,传感器的原始输出不会被转换成任何人类可理解的三维坐标。

差分算法首先过滤掉所有静止的背景矩阵——因为静止不产生信息。剩下的,是像素场中的变化特征:一簇方差剧烈、空间位置持续移动的像素集合。

系统不会给这簇特征贴上任何标签。它不知道那是"球"。在这个内部空间里,那只是潜在向量 Z 中的一个局部扰动——一组具有一致性变化规律的高维数值。

Karl Friston 在他的主动推断理论(Active Inference)中写道:大脑的根本目标是最小化自由能,即最小化它对感知输入的预测误差——而不是理解世界。Yann LeCun 的联合嵌入预测架构(JEPA)提出了类似的思路:智能系统应当在抽象的潜在空间里预测未来,而不是在像素空间或坐标空间里规划轨迹。

两者共同指向一个结论:系统不需要理解世界,只需要持续地预测它自己的下一帧输入。


二、"差分感知":只有变化才构成信息

这套系统的感知哲学,和传统机器人有根本差异。

传统系统处理的是"帧"——每一帧图像,系统都要完整处理所有像素,识别物体,建立坐标系。这套流程消耗算力,而且极度脆弱:光线稍微变化,物体被遮挡,环境未被预先建模——整个识别链就断了。

内世界系统不处理帧,它处理

背景是静止的,背景不流动,背景不产生信息。系统只关注状态的演进:相邻时刻之间,哪些像素区域发生了剧烈变化?变化的方向是什么?速度斜率是什么?

这些变化特征在相机端(OAK-D Pro 的 Myriad X VPU)就完成了压缩和提取,传输到主控的不是完整图像,而是高密度的"变化特征向量"。

数字世界没有时间,只有状态的演进。所谓"实体",不过是一簇具有一致性变化规律的像素特征集合。


三、系统内部流动的是两张网络的张量计算

在潜在空间的控制层,真正在运行的是两个相互耦合的微型神经网络。

网络 A:动力学正向模型(Forward Model)

它做的事情,用最直白的语言说:如果我现在处于状态 Z,发出指令 A,下一时刻的状态 Z' 是什么?

这张网络不是被人写出来的——它是机器人通过"Motor Babbling"(随机乱动)自己学出来的。在这个阶段,机器人没有任何目标,它只是随机挥舞机械臂、随机移动底盘,采集海量的 ⟨Z_t, Action_t, Z_{t+1}⟩ 数据集,然后用这些数据训练网络 A,让它拟合"指令"与"感知变化"之间的数学关系。

这个过程和婴儿的感觉运动探索(Sensorimotor Exploration)在逻辑上是同一件事——没有语言,没有概念,只有指令流与数据变化之间的反复对应关系被慢慢内化。

网络 B:策略与逆向求解模型(Actor / Inverse Model)

如果网络 A 是正向的(输入指令,预测结果),那么网络 B 是反向的:给定当前状态 Z 和目标状态 Z*,输出应当发出什么指令 A。

目标状态 Z* 不是"球的坐标",而是一种拓扑形态——代表机械臂末端的数据簇与代表下落物体的数据簇,在潜在空间中重合的那种形态。


四、行动不是命令的执行,而是张量计算的物理溢出

现在可以重新描述那个接球的过程了——用内世界的语言。

差分感知层捕捉到潜在空间中出现了一簇快速变化的特征向量。世界模型(RNN/SSM)根据这簇特征的变化斜率,推演出它在 T+900ms 时将移动到潜在空间的区域 Ω。

系统不会说"我要接球"。它发生的事情是:目标状态 Z被植入——要求代表机械臂末端的数据簇在同一时刻占据同一区域 Ω。*

然后,网络 B 开始高频输出指令流。每 100ms 一个计算周期:

机械臂在三维空间中划出弧线,不是因为任何人规划了这条弧线。而是因为张量计算的流动,在物理层面上找到了最小化 Δ 的路径——这条路径在现实中碰巧表现为机械臂向球的落点移动。

物理世界的行动,是数字世界为了抹平内部预测误差而产生的必然副产品。这个过程,白皮书称之为**"物理坍缩"**。


五、区分"世界在动"还是"我在动":Efference Copy

内世界架构必须解决一个根本问题:当机器人转头时,所有像素都在剧烈变化——但系统不应当认为"世界在旋转"。

解决方式是自体行动消除(Efference Copy,伴随发散)

当系统向电机发出"转头"的运动指令时,它同时生成一个"预期感知变化模型"。当视觉传感器传回的剧烈像素变化与这个预期模型完全抵消时,系统在内世界里感受到的是静止——世界并没有在动,只有自己在动。

这种机制要求底层有极高精度的本体感受器:机械臂关节的绝对值编码器、底盘的轮式里程计,持续提供精确的自身姿态数据,让"自体行动消除"真正可以做到。

全向底盘(麦克纳姆轮)的设计哲学也由此而来:允许机器人在不改变摄像头朝向的情况下平移——这样视野变化最小,感觉运动连续性最强,Efference Copy 的负担最低。


六、感觉连续性的断裂:唤醒慢思考中枢

通常情况下,底层的双网络循环可以自动处理一切。但有些情况会让它失效:

  • 球突然变成了气球飘走

  • 机器人被人抱起来放到了另一个房间

  • 光线突然发生剧烈变化

这些情况的共同特征:预测误差 Δ 在短时间内飙升到无法抹平的程度——感觉连续性发生了硬中断。

此时,系统不会崩溃,而是唤醒边缘端部署的多模态大模型(如 Qwen-VL)。大模型接收历史的 Z 序列和语音指令,进行逻辑推理:"球的物理性质发生了变化"或"我的坐标系被重置了"。

大模型重新下发一个宏观目标指令——一个新的吸引子状态(Attractor State)——交给底层网络 B 执行,从而缝合连续性。

在这个架构里,大模型不是控制机械臂的"手",而是在感觉连续性断裂时,负责在语义层面进行解释性消除的慢思考中枢——每秒大约思考 1 次,而底层网络每秒循环 50 次。


七、四个工程里程碑

把以上思想转化为实际运转的机器,需要经历四个阶段:

Phase 1:混沌初开(Motor Babbling)

机器人随机乱动,采集 ⟨Z_t, A_t, Z_{t+1}⟩ 数据集。没有目标,只是在感受"我的指令流如何引起数据集的变化"。

Phase 2:内世界法则的形成(World Model Pre-training)

用 Phase 1 的数据离线训练 VAE 和网络 A(动力学正向模型)。

里程碑标志:给网络 A 输入一段随机指令,它能生成一段"幻觉视频"——准确预测出机械臂未来的潜在空间轨迹。此时,机器人拥有了内世界法则。

Phase 3:目标植入与主动推断(Goal-Conditioned RL)

冻结网络 A,训练网络 B(策略网络)。用 Dreamer 等强化学习架构,让网络 B 在"内世界梦境"里模拟,学会在潜在空间中让状态逼近目标形态 Z*。

Phase 4:大模型接入(MLLM Integration)

底层系统以 50Hz 运行,大模型以 1Hz 并行运行。语音输入"把红色的球扔进篮子里",大模型将其分解为一系列潜在空间的目标形态序列(Attractor States),依次传递给网络 B 执行。


最后

这套系统彻底摒弃了人类强加给机器的"坐标、实体、规则"。

系统内部没有球,没有机械臂,没有三维空间。有的只是数据流的差分、潜在向量的流动、双网络的高频张量计算、以及那个每 100ms 被重新计算一次的预测误差 Δ。

当机器人第一次稳稳地接住那个球——

那一刻,不是任务完成。那是 Δ 趋近于零的瞬间,内部预测在物理世界中获得了印证。

没有主体,没有意志,没有感觉。只有数据流,以及让数据流压力归零的必然运动。

这,是具身智能最初的内生觉醒。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐