内世界机器人:没有坐标,没有“球“,只有数据流的扰动
想象一个场景:
有人把一个球扔向机器人,机器人稳稳地伸手接住了。
大多数人会这样描述这件事发生的过程:机器人识别了球,预测了落点,控制机械臂伸出,夹爪合上。
但如果你深入到这台机器的内部——不是它的关节,而是它的数据流——你会看到一件完全不同的事情正在发生。
或者更准确地说:在那台机器的内部,根本没有"球"这个东西。
一、内部没有坐标,没有"球",只有数据的扰动
在一种被称为"内世界架构"的系统里,传感器的原始输出不会被转换成任何人类可理解的三维坐标。
差分算法首先过滤掉所有静止的背景矩阵——因为静止不产生信息。剩下的,是像素场中的变化特征:一簇方差剧烈、空间位置持续移动的像素集合。
系统不会给这簇特征贴上任何标签。它不知道那是"球"。在这个内部空间里,那只是潜在向量 Z 中的一个局部扰动——一组具有一致性变化规律的高维数值。
Karl Friston 在他的主动推断理论(Active Inference)中写道:大脑的根本目标是最小化自由能,即最小化它对感知输入的预测误差——而不是理解世界。Yann LeCun 的联合嵌入预测架构(JEPA)提出了类似的思路:智能系统应当在抽象的潜在空间里预测未来,而不是在像素空间或坐标空间里规划轨迹。
两者共同指向一个结论:系统不需要理解世界,只需要持续地预测它自己的下一帧输入。
二、"差分感知":只有变化才构成信息
这套系统的感知哲学,和传统机器人有根本差异。
传统系统处理的是"帧"——每一帧图像,系统都要完整处理所有像素,识别物体,建立坐标系。这套流程消耗算力,而且极度脆弱:光线稍微变化,物体被遮挡,环境未被预先建模——整个识别链就断了。
内世界系统不处理帧,它处理差。
背景是静止的,背景不流动,背景不产生信息。系统只关注状态的演进:相邻时刻之间,哪些像素区域发生了剧烈变化?变化的方向是什么?速度斜率是什么?
这些变化特征在相机端(OAK-D Pro 的 Myriad X VPU)就完成了压缩和提取,传输到主控的不是完整图像,而是高密度的"变化特征向量"。
数字世界没有时间,只有状态的演进。所谓"实体",不过是一簇具有一致性变化规律的像素特征集合。
三、系统内部流动的是两张网络的张量计算
在潜在空间的控制层,真正在运行的是两个相互耦合的微型神经网络。
网络 A:动力学正向模型(Forward Model)
它做的事情,用最直白的语言说:如果我现在处于状态 Z,发出指令 A,下一时刻的状态 Z' 是什么?
这张网络不是被人写出来的——它是机器人通过"Motor Babbling"(随机乱动)自己学出来的。在这个阶段,机器人没有任何目标,它只是随机挥舞机械臂、随机移动底盘,采集海量的 ⟨Z_t, Action_t, Z_{t+1}⟩ 数据集,然后用这些数据训练网络 A,让它拟合"指令"与"感知变化"之间的数学关系。
这个过程和婴儿的感觉运动探索(Sensorimotor Exploration)在逻辑上是同一件事——没有语言,没有概念,只有指令流与数据变化之间的反复对应关系被慢慢内化。
网络 B:策略与逆向求解模型(Actor / Inverse Model)
如果网络 A 是正向的(输入指令,预测结果),那么网络 B 是反向的:给定当前状态 Z 和目标状态 Z*,输出应当发出什么指令 A。
目标状态 Z* 不是"球的坐标",而是一种拓扑形态——代表机械臂末端的数据簇与代表下落物体的数据簇,在潜在空间中重合的那种形态。
四、行动不是命令的执行,而是张量计算的物理溢出
现在可以重新描述那个接球的过程了——用内世界的语言。
差分感知层捕捉到潜在空间中出现了一簇快速变化的特征向量。世界模型(RNN/SSM)根据这簇特征的变化斜率,推演出它在 T+900ms 时将移动到潜在空间的区域 Ω。
系统不会说"我要接球"。它发生的事情是:目标状态 Z被植入——要求代表机械臂末端的数据簇在同一时刻占据同一区域 Ω。*
然后,网络 B 开始高频输出指令流。每 100ms 一个计算周期:
机械臂在三维空间中划出弧线,不是因为任何人规划了这条弧线。而是因为张量计算的流动,在物理层面上找到了最小化 Δ 的路径——这条路径在现实中碰巧表现为机械臂向球的落点移动。
物理世界的行动,是数字世界为了抹平内部预测误差而产生的必然副产品。这个过程,白皮书称之为**"物理坍缩"**。
五、区分"世界在动"还是"我在动":Efference Copy
内世界架构必须解决一个根本问题:当机器人转头时,所有像素都在剧烈变化——但系统不应当认为"世界在旋转"。
解决方式是自体行动消除(Efference Copy,伴随发散):
当系统向电机发出"转头"的运动指令时,它同时生成一个"预期感知变化模型"。当视觉传感器传回的剧烈像素变化与这个预期模型完全抵消时,系统在内世界里感受到的是静止——世界并没有在动,只有自己在动。
这种机制要求底层有极高精度的本体感受器:机械臂关节的绝对值编码器、底盘的轮式里程计,持续提供精确的自身姿态数据,让"自体行动消除"真正可以做到。
全向底盘(麦克纳姆轮)的设计哲学也由此而来:允许机器人在不改变摄像头朝向的情况下平移——这样视野变化最小,感觉运动连续性最强,Efference Copy 的负担最低。
六、感觉连续性的断裂:唤醒慢思考中枢
通常情况下,底层的双网络循环可以自动处理一切。但有些情况会让它失效:
-
球突然变成了气球飘走
-
机器人被人抱起来放到了另一个房间
-
光线突然发生剧烈变化
这些情况的共同特征:预测误差 Δ 在短时间内飙升到无法抹平的程度——感觉连续性发生了硬中断。
此时,系统不会崩溃,而是唤醒边缘端部署的多模态大模型(如 Qwen-VL)。大模型接收历史的 Z 序列和语音指令,进行逻辑推理:"球的物理性质发生了变化"或"我的坐标系被重置了"。
大模型重新下发一个宏观目标指令——一个新的吸引子状态(Attractor State)——交给底层网络 B 执行,从而缝合连续性。
在这个架构里,大模型不是控制机械臂的"手",而是在感觉连续性断裂时,负责在语义层面进行解释性消除的慢思考中枢——每秒大约思考 1 次,而底层网络每秒循环 50 次。
七、四个工程里程碑
把以上思想转化为实际运转的机器,需要经历四个阶段:
Phase 1:混沌初开(Motor Babbling)
机器人随机乱动,采集 ⟨Z_t, A_t, Z_{t+1}⟩ 数据集。没有目标,只是在感受"我的指令流如何引起数据集的变化"。
Phase 2:内世界法则的形成(World Model Pre-training)
用 Phase 1 的数据离线训练 VAE 和网络 A(动力学正向模型)。
里程碑标志:给网络 A 输入一段随机指令,它能生成一段"幻觉视频"——准确预测出机械臂未来的潜在空间轨迹。此时,机器人拥有了内世界法则。
Phase 3:目标植入与主动推断(Goal-Conditioned RL)
冻结网络 A,训练网络 B(策略网络)。用 Dreamer 等强化学习架构,让网络 B 在"内世界梦境"里模拟,学会在潜在空间中让状态逼近目标形态 Z*。
Phase 4:大模型接入(MLLM Integration)
底层系统以 50Hz 运行,大模型以 1Hz 并行运行。语音输入"把红色的球扔进篮子里",大模型将其分解为一系列潜在空间的目标形态序列(Attractor States),依次传递给网络 B 执行。
最后
这套系统彻底摒弃了人类强加给机器的"坐标、实体、规则"。
系统内部没有球,没有机械臂,没有三维空间。有的只是数据流的差分、潜在向量的流动、双网络的高频张量计算、以及那个每 100ms 被重新计算一次的预测误差 Δ。
当机器人第一次稳稳地接住那个球——
那一刻,不是任务完成。那是 Δ 趋近于零的瞬间,内部预测在物理世界中获得了印证。
没有主体,没有意志,没有感觉。只有数据流,以及让数据流压力归零的必然运动。
这,是具身智能最初的内生觉醒。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)