大脑实验室|空间智能到底是什么?从机器人怎么认路说起
家里的布局不常变,但一顿饭的工夫,脚下的路却可能得换个走法。吃饭时拉开的椅子,玄关刚拆的快递箱,还有原本趴在沙发上、突然决定出来巡视的猫。人从卧室走到客厅,很少需要为这些变化停下来思考;机器人要走完同一段路,却不能只记住昨天的路线。
我们常用“空间智能”解释机器人应对这类问题的能力。这个词听起来很大,放进家里,首先要回答的却是几个具体问题:我现在在哪?周围是什么?眼前这条路,还能不能走?

有摄像头,为什么还会不认路?
机器人一眼就能认出沙发。可要走到沙发旁边,它还得知道自己在哪儿、离沙发有多远,前面有没有东西挡路。
识别画面中的物体,与理解自己身处的空间,有一段距离。摄像头提供的是连续图像,机器人还要从中估计环境的几何关系,判断自身的移动,并把不同视角下看到的内容联系起来。否则,换个角度看同一张沙发,就可能失去原来的位置参照。
为了在陌生环境里一边认路、一边画地图,机器人常用叫作SLAM的方法,也就是“同步定位与建图”。可以把它理解为一边认识环境,一边确认自己在环境中的位置:机器人向前走了一段,画面里的门框和墙角随之变化,系统结合连续观测估计自身运动,并逐步建立地图。再次经过已经走过的区域时,可靠的环境匹配还能帮助它修正一路积累的误差。
这里的地图,也不一定是手机上那张整齐的户型图。供人查看的图只是其中一种呈现方式,机器内部还需要能够用于计算的空间信息。通道有多宽、障碍物离自己多远,都会影响它能否通过。一条人能侧身挤过去的缝,对有固定机身宽度的机器人来说,可能根本不算一条路。
认出沙发,还要理解“沙发旁边”
有了位置和距离,机器人仍然会遇到另一类问题:人说话很少使用坐标。
我们通常会说“到客厅来”“去沙发旁边”,不会先报出一串横纵坐标。这些表达默认对方知道客厅和沙发是什么,也知道“旁边”大致指向什么区域。
这就需要在几何信息之外加入语义信息。所谓语义,可以先简单理解成环境中对象和区域的含义:一片有形状、有位置和距离信息的物体,对应的是沙发;一个相互连通的空间,可能是客厅。把这些含义与位置关联起来,机器人才能尝试将人的描述转成可执行的目标。

不过,给地图贴上“沙发”的标签,还没有解决全部问题。沙发四周都可以叫旁边,背后可能紧挨着墙,前面也许摆着茶几。要选一个合适的抵达位置,还需考虑通行条件、机身尺寸,以及接下来准备做什么。如果要进行视频交流,停靠位置是否便于取景,也会影响实际体验。
这也是空间理解值得单独拿出来讨论的原因。它连接了语言里的目标与现实中的位置,随后还要交给规划和控制系统,把判断落实到移动过程中。几个环节缺少配合,即使认出了物体,也未必能顺利到达。
家里不会等机器人准备好再变化
到达目标的路上,新的问题随时可能出现。
比如,机器人出发时门口还空着,走到一半,有人把椅子拉到了过道中央。保存的地图没有立刻失去价值,它仍能提供房间布局和路线参考;但眼前这把椅子,必须通过新的观测参与当前判断。
因此,空间系统通常需要兼顾相对稳定的环境结构和不断变化的局部情况。墙的位置不常变,人会走动,宠物更不会提前提交路线申请。机器人需要持续观察,根据当下情况调整路径或停下来,而不能把“地图上能走”当成此刻一定能通过的保证。
光照不足、遮挡、镜面反射等因素,也会让视觉判断变得困难。图像里暂时没看见障碍,不等于前方已经确认安全。当信息不足时,可靠的系统需要保留不确定性,通过进一步观察或更保守的动作处理它,而不是给每个问题都强行生成一个答案。
观察影响行动,移动又带来新的观察;系统在这个过程中反复核对环境与自身状态。这才是“感知闭环”在家庭日常中的具体含义。
Donutbot“多多”为什么需要理解空间?
答案其实已经有了。
对于Donutbot,空间能力直接关系到它如何进入服务现场。自主移动、寻人寻物、视频通话、全屋巡检、跟随以及用户自主创建的Skills等,都需要把环境信息与任务要求结合起来。本文中的场景用于解释相关原理,不意味着任何家庭条件下都能无差别完成同样的任务。

在设计ROBOMIND具身大脑时,INDEMIND把实时视觉感知、局部路径规划和运动控制放在端侧,再通过优化算法和模型结构,降低感知与空间映射对端侧算力的要求。优化后,端侧感知与空间建模模块在约10TOPS的算力下就能稳定运行。复杂的场景理解和多任务推理由云端支持,数据会经过脱敏处理上传云端。在这套端云协同架构中,机器人可以在本地根据眼前的变化调整路线,不必等云端给出下一步指令。

空间智能的范围还很广,定位、建图和语义理解只是这篇文章选择的几个入口。回到那句“到沙发旁边来”:如果是为了和家人视频通话,沙发两侧都有路可走,一侧只对着扶手,另一侧能让坐在沙发上的人自然入镜。机器人该停在哪儿?答案不只取决于房间怎么布置,也取决于人叫它过来做什么。空间理解最终要落到任务上。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)