生活中,总有「两只手不够用」的时候,从铺床、搬运和组装大件物品、到处理多项家务等。若叫人帮忙,也面临怎么分配任务、按什么顺序干?意见不合听谁的?出了问题谁补位等「心不齐」的协作痛点。

多个机器人协同,困难更甚。如何在有限的沟通中,驾驭无限涌现的复杂性,让一群机器人,像有一个大脑般默契?

2026 年 7 月,星尘智能发布第二代基座模型 Lumo-2 时,让多机器人、人与机器人之间协作完成复杂操作,正是模型能力之一。

多机协同能力继续升级,星尘智能于今天发布CoMind - Be My Eye 框架(简称CoMind)。这是业界首个主动共享、精选任务上下文的多机协同模型框架,开启全新协作范式:协作不是共享一切,而是主动传递影响决策的关键信息。

在这里插入图片描述

CoMind具备两大核心特点:一是「去中心化」的主动共享,让队员间实时互通任务上下文,告别「等领导派活」的被动、中心化调度;二是精选信息,将队员所需、影响决策的信息,筛选和压缩后再共享,拒绝「一键转发」的噪声。
在这里插入图片描述

「主动说重点」的高效交流,让机器人在组装纸箱和哑铃片、叠被收纳、冰箱补货等复杂家务中,有了更快、更好、更准的协作默契。

在视野完全遮挡的极限测试中,CoMind 让机器人拥有了科幻小说中「共享视野」的超能力。隔墙相互跟随拿笔时,成功率从 0%飙升到100%。遮眼后找到指定盒子放物,准确率从 盲猜38.9%到88.9%,同时信息传输量减少 80%。

在这里插入图片描述

将智能从单机延伸到多机协作,CoMind 未来还计划从「共享信息」延伸至「共享意图」,让机器人间不再反应式配合,而是预判彼此未来意图、主动补位,走向极致默契和效率。

六项真机测试:不同协作难题,一套框架破解

两台机器人一起干活,最难的地方在于,决定下一步动作的那条信息,往往只在队友手里。为了验证机器人跨越视野盲区能力,星尘智能在家庭与极限实验场景中,测试了CoMind如何提升机器人在复杂操作任务中的协同能力。

组装纸箱:动作耦合 视线全遮挡 组装仍不停

纸箱组装需高频物理接触(contact-rich)、较大箱体在翻转中会频繁遮挡视线、且动作高度耦合,需双方同步推挤撑开箱体,并实时判断彼此是否夹取、粘合等,是对机器人相当困难的连续精细操作。CoMind 让双方实时感知操作状态和任务进度,在视野完全遮挡的极限测试中「借眼」,让组装和搬运丝滑、连续进行,直至成功。

在这里插入图片描述

叠被收纳:柔性物体连续操作 步调一致

被子又大又软,提起、翻折和搬动时,形状与边缘持续变化,是对机器人感知与控制的双重挑战。CoMind 精选视觉上下文,让双方在高频接触与动态张力中实时对齐动作意图,自主生成并同步每一步动作,全程无需分步指令,即便在大幅度形变干扰下,也能在连续操作中无缝衔接、无停顿协作。

冰箱补货:视觉互补 全局共享 高效接力

当关键信息分散在不同视野时:左侧机器人看到冰箱里缺货,右侧看到岛台上有饮料。借助 CoMind,双方实时借「眼」补齐全局,开启无缝递、送接力,而不用重复来回移动,省时省力。

在这里插入图片描述

组装哑铃:补齐有限视角 动态中依然精准

组装哑铃时,穿片一方难以同时看清杆与孔的动态相对位置。CoMind 在毫秒级间补全队友视角的空间关系,让机器人实时调整姿态,在持续变动中锁定对准精度,完成严丝合缝的协同装配。

盲盒置物:极限遮挡 从盲猜到精准命中

装了蓝盘子的盒子位置随机变换,左侧机器人一目了然,右侧机器人完全被遮挡、一无所知。在零可见信息的情况下,CoMind 将左侧视野中的关键视觉特征实时共享给右侧,让原本只能靠盲猜完成的任务,精准命中,准确率大幅提升(38.9%→ 88.9%)。
在这里插入图片描述

隔墙相「望」 却 100% 跟得准

即使互不可见,也能通过 CoMind 实时共享目标颜色与动作时机,两台机器人交替担任主动与跟随拿笔,任务成功率从 0% 跃升至 100%。

在这里插入图片描述

机器人协作要会「说重点」:CoMind 如何工作

目前的多机协同方案普遍面临「调度慢」或「沟通浅」的两难。传统的中心化调度如同经验丰富的现场指挥官,擅长规划「谁搬箱子、谁装被子」的宏观任务,逻辑清晰、管理便捷。然而,在执行「双人抬桌或叠被」这类毫秒级动作配合时,指挥官反而成了瓶颈——每一次微调都需要上报、决策、再下达,流畅的协作割裂为僵化的「等待指令」。

而现有去中心化方案则陷入了「沟通浅」的困境。机器人各自为战,看似灵活,实则信息密度不足。有的机器人仅靠摄像头「目视」队友,一旦被遮挡或背对,协作即刻中断;即使能交换数据,传递的多是「我在移动」这类与任务脱节的通用文本,缺乏对动作有直接支撑的深层信息。而一台机器人每秒产生海量画面,若全盘转发,不仅带宽拥堵,更会让队友淹没在无用的数据中。

CoMind 的核心价值,在于重构了信息交互的两个关键维度。

在这里插入图片描述

CoMind 第一阶段精选任务关键信息,第二阶段双向主动共享,引导各自 VLA 模型输出连贯动作。

第一阶段是「主动上下文构建」:从被动感知转向「预见性共享」。

区别于传统方案对原始视频流的粗暴转发,CoMind 引入了双重学习目标。第一是不仅关注当下,更是「对任务的未来预测」,引导模型优先提取对未来动作具有关键价值的视觉信息,并根据任务相关性进行加权。第二是结合「任务进度对应学习」,让机器人理解彼此的执行阶段——是「刚刚开始」还是「即将完成」。

比如在组装盒子时,机器人传递的是「我已就位,准备插入盒页」这一带有进度属性的关键上下文,而在盲盒竞猜中,精准锁定「蓝盘」这一核心特征,并附带实时进度状态共享,都以极低带宽实现了关键信息同步,确保队友能预判动作,而非仅仅反应动作,让协作省时省力。

第二阶段是「双向反哺的协同机制」:从单向传输转向「联合优化」。

CoMind设计了对称的上下文编码与动作策略接口,让大家互为「眼睛」和「大脑」。每台机器人都配备了相同的「翻译官」(上下文编码器)和「决策官」(动作策略接口),能独立地把自己看到的关键信息提炼出来,发给队友,同时也能接收队友的信息。在做决定时,既看队友的‘直播’,也看自己的‘路况’。接收端会把伙伴共享的上下文、本地视觉观测、任务指令及本体的状态融合后,输入预训练的视觉—语言—动作(VLA)策略,生成连续动作。

更重要的是,引入了「动作级反向传播」机制,用机器人A动作的结果好坏(监督信号),反向训练机器人B以后该传什么(编码器优化),这种「以终为始」的训练方式,迫使信息提取不再是为了「看清」,更是为了「做好」,确保每一比特数据都直接服务于最终的协作决策。比如在盲盒竞猜中,如果看不见目标的机器人 A 伸向了错误的位置,它的动作和正确动作之间的偏差,就会沿着网络一路回传到机器人 B 的编码器,相当于告诉 B:刚才传过来的信息里,目标的关键特征不够突出。经过一轮轮这样的训练,B 学会了优先传递最能帮 A 做对动作的那部分信息。

星尘 AI 模型 :让机器人在真实世界正确行动

CoMind 背后,从基座模型 Lumo-1 的显式推理、到 Lumo-2 预测世界因动作带来的变化而更好行动,我们始终关注:机器人最终不只是为了看懂世界,更要在真实世界正确行动。而「AI 模型 - 具身OS - 绳驱本体」的全栈系统不断迭代,持续推动 Physical AI 的应用与规模化部署。

回到开头那些「两只手不够用」的时刻。我们希望,未来在商业、工业到家庭场景出现的,不只是一个能干的机器人,也可以是懂得预判彼此意图、主动补位的一个机器人天团。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐