星动纪元发布端到端原生机器人大模型，提升机器人对透明材质的感知能力

机器人对真实世界的理解能力正在迎来新的突破。近日，星动纪元发布其端到端原生机器人大模型的最新进展，重点展示了机器人对复杂、透明物体场景的全新视觉感知效果。

透明物体轮廓识别精度提升

在官方公布的对比视频中，最左侧画面展示的是真实世界的原始画面效果。中间的未经算法美化的原始深度图显示，透明物体的轮廓存在明显的识别困难：杯子的轮廓呈现破碎状态，部分杯壁与背景相互混合；香槟塔在深度图中出现大量空洞，几乎难以辨认其形状轮廓。

而在最右侧的视频中，经过新模型处理后，透明物体的识别效果显著改善。杯子的边界、层级和整体结构变得更加完整，顶部杯子、酒瓶与杯塔之间的空间关系清晰可辨，甚至连较细的透明水柱结构也呈现出清晰的轮廓。

深度图在机器人视觉中的角色

深度图是机器人视觉系统中的一种数据表示方式，它通过记录场景中每个像素点到传感器的距离信息，帮助机器人理解物体的空间位置和立体结构。传统的深度传感器在处理玻璃、水面等透明材质物体时，常因光线穿透或折射导致数据缺失或错误，形成视觉盲区。

星动纪元此次展示的模型，能够在透明物体场景中还原出更完整的深度信息，从而使机器人对环境的空间理解更接近人类视觉的感知水平。

端到端模型的技术路径

该模型采用端到端的设计思路，即从输入传感器数据到输出控制指令，整个过程由单一神经网络完成，无需经过传统机器人系统中常见的模块化拆解。这种架构有助于减少信息在模块间传递时的损耗，提升机器人对复杂环境的实时响应能力。

在酒瓶与酒杯相互遮挡、层次交错的场景中，新模型能够区分不同物体之间的空间前后关系，并将这些物理信息转化为机器人行动决策的依据。

业内人士指出，透明物体和反光材质向来是机器人视觉系统公认的难点场景，此次突破意味着机器人对真实世界的感知正在向更复杂的日常环境延伸。

应用场景的潜在影响

对透明、半透明物体的精准识别，在多种实际场景中具有重要意义。例如在餐饮服务机器人、实验室操作机器人以及家庭服务机器人等场景中，机器人需要频繁处理玻璃杯、试管、水瓶等物体。此前这些物体的识别失败率较高，往往成为机器人执行任务的瓶颈。

星动纪元此次发布的技术成果，为机器人在这类场景中的自主操作提供了更可靠的视觉基础。

• 杯子轮廓从破碎变为完整闭合
• 杯塔结构从空洞密布变为分层清晰
• 细透明水柱在深度图中首次被清晰检测

网友：玻璃与透明物体是机器人视觉噩梦 研究被视为重要里程碑

“玻璃、透明物体才是机器人视觉的噩梦；这是重要的里程碑。”一项机器人视觉研究在发布后引发网友如此热议。

专业名词解析：机器人视觉

机器人视觉是指机器人通过传感器和图像处理算法感知环境、识别物体的技术能力。

网友观点聚焦

玻璃、透明物体才是机器人视觉的噩梦；这是重要的里程碑。

该评价集中反映了网络用户对此次研究进展的关注与期待。

一言蔽之，对于具身视觉来说，看得见还只是第一步；看得准，才有机会真正行动起来。机器人看世界，最怕“差一点”虽然具身智能这几年确实很火，但真把它们丢进真实场景的时候，我们往往会发现很多问题会迅速回到最基础的一层：视觉感知稳不稳。第一类老大难的问题，就是透明和反光材质。刚才的香槟塔就是典型例子，透明杯壁在RGB画面里能看到，但深度传感器和深度模型常常会在这里不稳定：有的地方补不上、有的边缘粘在一起、有的区域直接空掉。LingBot-Depth 2.0的输出更像是在帮机器人补上一层稳定的空间骨架，是尽量在把杯口、杯壁、杯身之间的几何关系保持住。这对于机器人的抓取任务来说，可以说是非常关键的。因为机械臂要抓杯子，并不只需要知道“这是杯子”。它还要知道杯子的边界、开口方向、可接近位置，以及手爪靠近时会不会碰到旁边那一层杯子。就像昨天蚂蚁灵波提前放出的预告片里，机器人首先看到带有透明水柱的清晰深度图，知道水在哪里，才能准确将水壶推到水柱下，继而接满一壶水。第二类难点，是小目标和远距离目标。在下面这个例子里，原始视频是一只狗狗在户外追逐一个网球，远处的狗狗已经算是不大的目标了，网球在整个画面里更是显小：从效果上来看，中间的raw depth基本是糊得一塌糊涂，完全分不清任何主体，跟别提小如网球的目标了。反观LingBot-Depth 2.0这边的结果，地面、远处墙体、网球、树木和狗的位置关系更清楚。这个能力放到移动机器人、巡检机器人、人形机器人身上，价值会更直接。移动机器人往前走时，不能等到障碍物贴脸了才反应。它需要提前看到远处的人、宠物、路障、货架边缘，然后把这些信息交给导航和规划系统。如果远距离深度一直不稳定，机器人就很容易一会儿误以为前方没东西，一会儿又突然发现障碍物，动作自然也会变得迟疑甚至危险。第三类难点，是室内复杂场景。比如家里的玻璃门、窗帘、电视柜、阳台杂物，光照还会随着镜头移动不断变化。以往视觉模型的结果经常会在玻璃、强光、阴影、边缘交界处出现大片破碎和空洞：而LingBot-Depth 2.0的结果则是更连续，墙面、玻璃门、窗帘、地面和近处物体之间的空间层次保留得更完整。这类任务对于家庭服务机器人来说是比较重要的，毕竟家庭环境中的东西往往摆放很随意，机器人如果要在这种环境里送水、拿东西、避让人和家具，就需要一个足够稳定的空间输入。第四类难点，是弱光、遮挡和杂乱。在下面这个室内走廊和房间视频里，门框、墙角、窗帘、桌面、电视等结构交错出现。传统视觉模型的效果，边缘位置容易冒出噪点和缺口；而LingBot-Depth 2.0结果则更稳定，墙面、门框、桌面边缘更连续。这些案例合在一起，其实指向的是同一个问题，即机器人看世界，不能只靠语义理解。它需要的视觉能力更接近一种空间常识，比如哪里是边界、哪里是空的、哪里能走，哪个物体还离我很远等等。这也是LingBot-Depth 2.0要体现的几个重点：边缘更清晰、物体轮廓更完整、细小目标更稳定、远距离目标更可靠，在复杂材质和复杂光照下，深度图破碎和缺失更少。但更关键的问题来了，为什么这些提升会发生？答案要回到LingBot-Vision。空间原生视觉，为什么要从“边界”学起？传统视觉基础模型的发展，过去很长时间都在围绕让模型更好地理解图像内容这个目标。但也正如我们刚才提到的，机器人眼里的世界是不太一样的。一只猫不只是“猫”这个类别，机器人还要知道猫离自己多远，身体边界在哪里，会不会突然移动，桌子边缘和猫之间有没有安全距离。所以，具身智能需要的视觉底座，必须更重视几何结构。而几何结构里，一个很重要的入口，就是边界。边界不只是物体轮廓，它往往同时意味着深度突变、遮挡关系、空间分割和可交互区域。比如杯口的边缘、门框的边线、桌面的轮廓、行人和背景之间的分界，都会影响机器人后续的移动、避障和抓取。LingBot-Vision的核心思路，就是把边界和空间结构放到预训练目标里。为此，团队专门提出了masked boundary modeling，可以理解成一种让模型专门学习难点的自监督训练方式。

LingBot-Vision提出边界感知遮蔽策略：模型被迫学习高信息密度区域

传统的Masked Image Modeling（MIM）通常采用随机遮蔽图像中的部分区域，并让模型通过上下文信息还原这些区域。然而，研究人员指出，随机选择往往导致模型遮蔽的是墙面、天空、地板等“信息密度不高”的区域。即便模型成功猜对了这些区域的内容，也不意味着其真正习得了空间结构与语义关系。

“模型猜对了，也未必真正学到了空间结构。”

教师模型在线检测边界token

针对这一问题，LingBot-Vision提出了一套更具针对性的策略。该方法不再使用随机遮蔽，而是引入一个教师模型，在训练过程中实时、在线地识别图像中的“边界token”。这些token通常对应着物体轮廓、纹理突变、结构转折等具有较高空间信息量的位置。

强制学习“更难”的区域

在识别出边界token后，教师模型会将这些token强制加入到学生模型的mask（遮蔽）集合中。这一设计的核心逻辑是：模型不能仅仅在容易预测的平坦区域“刷题”，而必须去学习那些更具挑战性、蕴含更多空间结构信息的边界区域。

• 传统方法侧重“猜空墙”，学习效率受限。
• 新方法通过强制遮蔽边界，迫使模型理解物体间的空间关系与结构边界。

逻辑拆解：从“猜”到“学”的转变

从流程上看，LingBot-Vision的遮蔽策略可以拆解为以下几个步骤：首先，教师模型对输入图像进行实时分析，定位出所有属于边界性质的token；其次，将这些边界token以高优先级加入遮蔽集合；最后，学生模型在训练时只能通过这些边界token的上下文信息进行还原，从而学习到更具空间表征能力的内容。这种设计改变了传统MIM中遮蔽区域的随机性与低选择性，使模型的学习目标从“恢复像素”转向“理解结构”。

这就是boundary-forcing。更细一点看，边界token还会被分配几何目标。模型不只学习语义，也学习边界场，也就是那些能描述边界位置、方向和几何关系的信号。为了让这种训练更稳定，团队还引入了分类化的边界场表示，以及a-contrario检验，减少把噪声误当成真实结构的情况。说白了，LingBot-Vision是在预训练阶段就告诉模型别只盯着“这是什么”，也要学会“它的边界在哪、形状如何、和周围空间是什么关系”。这也是它和DINOv3这类通用视觉基础模型的关键差异之一。虽然LingBot-Vision也建立在DINO自蒸馏范式的基础上，但LingBot-Vision额外引入了Boundary forcing机制，让模型在掩码建模过程中更关注形状和物体边界相关结构。从结果来看，LingBot-Vision是一个约10亿参数级的ViT，通过纯自监督训练，在密集空间任务上可以匹敌或超过参数量最多大约7倍的视觉基础模型；在NYU-Depth v2上，取得所有对比模型中的最佳精度，包括7B DINOv3在内。更有意思的是，它的蒸馏学生模型也很能打。论文显示，0.3B学生模型在NYU-Depth v2上能达到与7B DINOv3相当的精度，参数量大约少23倍。对机器人来说，这一点很现实——不是所有机器人都能背着一个巨大的模型到处跑，端侧部署、算力成本、延迟，都得算账。LingBot-Depth 2.0则是这条技术路线的一个直接验证。它基于LingBot-Vision升级，在12个深度补全benchmark上取得领先结果。更重要的是，论文里提到，随着下游训练数据增加，LingBot-Vision编码器带来的优势会进一步扩大。换言之，底座如果更懂空间，后面的深度模型吃更多数据时，优势不会被冲淡，反而可能越训练越明显。所以LingBot-Vision和LingBot-Depth 2.0的关系，不能简单理解成“一个视觉模型加一个深度模型”。前者是空间原生视觉底座，后者是空间感知能力的落地验证。Depth2.0之所以能在透明、反光、远距离、小目标、复杂室内场景里表现更稳，背后支撑它的，是LingBot-Vision在预训练阶段就更重视边界和几何结构。具身要真正上岗，视觉感知很重要或许提到具身智能，最容易被我们get到的技术是大模型接入机器人，让它们能听懂指令、规划任务，并且和人对话。但有一说一，当他们真进到工厂、仓库、商场、家庭这些环境里，视觉亦然是非常重要的一个环节。因为视觉一旦不稳，后面的链条都会受影响。移动机器人可能绕不开障碍物，机械臂可能抓偏，服务机器人可能误判门、墙、玻璃和人之间的位置，人形机器人也很难在复杂环境中稳定行动。所以，具身智能真正落地，也需要视觉底座、空间感知、运动控制、硬件传感器一起往前走。这也是此次蚂蚁灵波开源LingBot-Vision和发布LingBot-Depth 2.0的意义所在。他们把机器人需要的视觉和空间感知能力，做成一个更容易复用的底座。对机器人企业、开发者和研究机构来说，这有助于降低使用门槛，也能让下游团队更快验证移动、避障、抓取等真实任务。从场景看，这类能力可以服务移动机器人、机械臂、仓储物流、工业巡检、服务机器人、人形机器人、3D视觉设备和空间计算等方向。此外，LingBot-Depth 2.0已通过奥比中光深度视觉实验室认证。双方也围绕EGO-RGBD数采设备、SDK和后续一体化相机产品展开合作，说明这套能力正在从论文，继续走向硬件与产品集成。当然，视觉底座升级不会让机器人一夜之间无所不能。传感器差异、算力限制、场景泛化、控制精度和成本，都还需要继续打磨。但趋势已经很清楚：具身智能的竞争，正在往更底层走。毕竟，机器人要进入真实世界，第一步就是看准。当机器人开始更好地理解空间，具身智能离真正上岗，也就更近了一步。本文来源：https://www.moyubuhuang.com/keji/202607/79540.html