写在前面

【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。
项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git

【三年面试五年模拟】算法工程师秘籍。AIGC、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、图像处理、元宇宙、AGI、SLAM等AI行业面试笔试经验分享.
项目地址🔗:https://github.com/WeThinkIn/AIGC-Interview-Book.git

魔方AI空间 | 知乎:猫先生 | 从零走向AGI | 面试面经

AIGC算法岗/开发岗面试面经交流社群(涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源)欢迎大家加入:https://t.zsxq.com/YtJ09

导读

视觉语言导航(VLN)模型在 R2R-CE 等基准上的成功率不断上升,真实人形机器人却很少拿着简短指令跨过办公室、玻璃门和街道,走到邻近建筑里的商店。X-Nav 把问题定义为一次完整的“mission”:指令可能中途改变,机器人没有现场地图和参考路线,导航模型只使用灵曦 X2 头部的内置 RGB 相机,沿途还要面对行人、车辆、推车和窄道。

智元 X-Lab 从数据、模型和执行接口三处补齐这条链路。数据引擎从开源场景、部署站点数字孪生和真机采集三类来源获取导航数据;视觉语言模型 MELIOR 共享输入契约,分别输出离散动作或导航目标;X-Navarch 把简短指令拆成子任务,让 MELIOR 跟随路线、MELIOR-X 接近具名目标,再通过目标适配和避障把导航目标交给步态控制器。

真机报告了两次约百米任务:MELIOR-A 直接完成一次 96.6 米、3 分 24 秒的室内到室外导航;X-Navarch 与 MELIOR-N 在另一条路线中处理三次动态障碍、两次静态障碍和两段窄道。数字孪生适配把 100 个闭环回合中 3 米内成功率从 40% 提高到 80%,随后部署到真实大厅。R2R-CE 上 MELIOR-N 的成功率为 70.5%,在论文所列单前视 RGB 方法中最高;RxR-CE 为 60.9%,落后于同组最强的若干方法。

猫先生认为,X-Nav 把“导航模型”扩展为数据、技能接口和真机执行共同组成的系统。需要同时看清两条边界:80% 的成功定义是停在目标 3 米以内,不是精确抵达目标位姿;百米任务仍是单条路线、单层楼和少量真机场景。

  • 论文标题:X-Nav Technical Report: Real-World Long-Horizon Indoor-to-Outdoor Navigation on a Humanoid Robot
  • 论文地址:https://arxiv.org/abs/2611.17598
  • 机构:AgiBot X-Lab(Boson Lab)

原文脉络

报告先说明基准成绩与真机能力之间的三个缺口:任务定义不同、训练数据缺少部署站点与机器人特性、模型输出还需要变成可执行的机器人动作。随后依次介绍数据引擎、MELIOR 的两种输出和 MELIOR-X,再接到 X-Navarch 的任务执行链上。实验包括真机百米任务、数字孪生适配和公开基准,最后交代未覆盖的场景。

1. 问题:基准里的“三米内到达”不足以定义真实任务

VLN 基准中的一个 episode 通常只覆盖单栋建筑内十几米,相机高度固定,动作按命令执行,场景中没有其他移动物体;停在目标三米内就算成功。人形机器人执行整项任务时,路线长达数十到上百米,会从室内走向开阔室外,相机随步态晃动,实际步幅与指令动作有偏差,行人和车辆会穿过路径。把机器人送到商店,还需要停在入口,而不是停在三米外。

增加样本也不能自动解决数据缺失。扫描场景加模拟相机产生不了部署站点的外观、机器人相机视角与步态,也缺少偏离参考路线后如何恢复的示例。X-Nav 因此把数据拆成三层:大范围场景提供多样性,部署站点孪生提供布局和外观,真机记录提供实际相机运动与停靠行为。

训练完成后还有第三个缺口:输出的动作或目标不自动等于机器人会走。简短指令需要拆解,目标预测会因推理延迟过时,动态障碍需要避让,最后一小段还要认准具名物体。X-Nav 的系统设计围绕这三层缺口展开。

2. 系统总览:数据引擎、MELIOR 与 X-Navarch

X-Nav 系统总览:数据采集、视觉语言导航模型和机器人执行工作流
图 1:论文 Figure 1 展示 X-Nav 的整体结构。上层是灵曦 X2 从办公室大厅走向邻近商店的真机任务;下层将系统拆为三类数据来源、输出两种导航接口的 MELIOR,以及带目标接近和避障的 X-Navarch。

系统有三个嵌套闭环。局部闭环中,MELIOR 读取指令、当前帧和最多 7 张历史帧,预测动作或导航目标,机器人执行后获得新画面。任务闭环中,规划器每次设置一个路线或具名目标子任务,技能结束后检查停止条件。部署闭环扫描站点形成数字孪生,采集轨迹与纠错窗口,闭环评估后部署适配模型,并把失败回合反馈给下一轮采集。

X-Nav 的三个闭环:导航子任务、整项任务和站点部署
图 2:论文 Figure 2 用 L1、L2、L3 区分局部导航决策、整项任务规划和站点部署适配,三个层次分别对应模型执行、任务编排与数据反馈。

灵曦 X2 自带头部 RGB 相机、向下俯视的 RGB-D 相机、LiDAR 与腿部里程计。MELIOR 只使用 640×480、水平视场角 79 度的头部 RGB 流;RGB-D、LiDAR 和里程计服务于目标接近、延迟补偿和低层控制,MELIOR-X 接近低处物体时切换俯视相机。行走和转向由机器人步态控制器完成,推理运行在通过网络连接的机外 GPU 上。

3. 方法:先补数据,再把导航目标接到机器人

3.1 数据引擎:三类数据各补一种缺口

X-Nav-Sim 建在 Isaac Sim 上,统一提供观测、策略推理、目标执行、记录和指标接口。批量回放与基准测试使用姿态控制相机;模拟灵曦 X2 时按机器人占地范围规划路线,并通过步态控制器执行命令。

开源场景从目标位姿采样开始。同一目标若只有一个终点,不同方向的路线会挤到相同视角;X-Nav 检查候选终点的可达性、停靠空间、视距、遮挡和截断,再把通过的终点轮流用于不同起点。路线由占据栅格上的 A* 规划,采用 0.35 米间隙偏好,平滑后转换为 0.25 米前进与 15 度转向;视觉语言模型利用 8 至 24 个关键帧、路线图和目标元数据生成指令。

X-Nav-Syn 提供 1,113,803 个步级样本,来自 1,095 个场景中的 23,761 条轨迹;回放 R2R、RxR 与 SRDF 又提供 636,949、1,889,162 和 2,670,750 个样本。导航监督共 6,310,664 个样本。MELIOR-N 的 SFT 数据加入 1,650,547 个 LLaVA-Video 样本和 590,667 个 VSI-590K 空间推理样本,总量 8,551,878;导航占 73.8%,视觉语言与空间推理占 26.2%。

数字孪生用另一条采集链。站点由手持设备扫描 RGB、点云和同步位姿,重建后以 3D Gaussian splatting 渲染外观,网格提供深度、碰撞与可通行区域。大厅孪生手工标定 35 个具名物体,在目标前方布置有停靠空间的终点。系统还让当前策略在孪生中运行,用参考规划器标出路线偏离后的恢复动作和停靠边界,形成纠错窗口。

X-Nav-Real 记录灵曦 X2 的相机画面和机器人运动。步态令头部相机上下移动,实际步幅可能与命令不同,这些现象只能从真机采集。垃圾桶、咖啡机和自动售货机等目标类别被纳入记录。

猫先生认为,三类数据各补一种缺口:开源场景学指令跟随,站点孪生补具体环境与失败恢复,真机补相机和运动的物理差异。站点适配成本没有消失,而是转移到扫描、建图、孪生采集和闭环筛选;多场地规模化仍需数据验证。

3.2 MELIOR:同一输入契约,两种输出接口

两种模型都是自回归视觉语言模型,接收路线指令或规划器子任务、当前前视 RGB 帧和最多 7 张历史帧。MELIOR-A 基于 Qwen3-VL-8B,MELIOR-N 基于 Qwen3.5-4B。训练先做专家轨迹和视觉语言数据的 SFT,再用 DAgger 在模拟环境中收集专家对模型实际访问状态的纠正,学习从偏差中恢复。

MELIOR 的两种输出:离散动作与四模式导航目标
图 3:论文 Figure 8 对比 MELIOR-A 与 MELIOR-N。两者共享指令和单路 RGB 历史帧输入;MELIOR-A 每次最多输出四个前进、左转、右转或停止动作,MELIOR-N 每次给出一个 visible、polar、rotate 或 stop 导航目标。

MELIOR-A 的动作空间与 R2R-CE、RxR-CE 一致:F 前进 0.25 米,L、R 左右转 15 度,S 停止,单次最多四个动作。模拟基准逐个执行;灵曦 X2 上把四个动作合成相对位姿目标交给步态控制器,单次最多覆盖约一米行走。

MELIOR-N 把路线跟随变成“在当前画面指出下一步去哪里”。visible 输出像素坐标 ( u , v ) (u,v) (u,v)、距离 r r r、方位角 ϕ \phi ϕ 和到达朝向 ψ \psi ψ;polar 描述视野外的目标;rotate 原地转向;stop 判定子任务结束。模型输出带模式标记的量化文本 token。

像素目标还要解决时间差。预测完成时机器人已经继续行走,旧画面的像素直接当当前坐标会漂移。目标适配器在采集时刻用 LiDAR 距离形成机体系下的点 g ( t 0 ) g^{(t_0)} g(t0​),将其固定在里程计坐标系,发布时重投影到当前机体:

g ( t 1 ) = T t 1 − 1 T t 0 g ( t 0 ) g^{(t_1)}=T_{t_1}^{-1}T_{t_0}g^{(t_0)} g(t1​)=Tt1​−1​Tt0​​g(t0​)

推理和网络延迟因此不会把目标推离原来的地面位置。避障层位于目标位姿和步态控制器之间,规划器也能在交接时指定从障碍哪一侧通过。

3.3 MELIOR-X:具名目标最后几米的显式跟踪

端到端导航模型到达目标附近的频率通常高于停准,而且小目标、局部遮挡和视角变化时,内部目标表示难以检查。X-Nav 把最后一段交给显式目标状态:图像掩码 M t M_t Mt​ 与机器人基座坐标系中的位置 p t B \mathbf{p}_t^B ptB​。

MELIOR-X 的具名目标获取、跟踪与接近控制
图 4:论文 Figure 10 展示 MELIOR-X 如何先用语言查询定位并验证目标,再通过视觉记忆传播掩码,利用掩码内 LiDAR 点估计距离与方位,接近低处物体时切换到俯视 RGB-D 视角。

目标获取先用 LocateAnything-3B 根据查询给出最多三个候选框,再用 Qwen3-VL-2B 判断裁剪图及局部上下文是否符合类别、颜色、外观、结构和姿态。验证器用“是/否”首 token 的 logit 差形成接受分数,同一查询连续两次通过才初始化跟踪,减少单次误检导致走向错误物体。

通过验证的框作为 SAM3 的视觉提示初始化掩码,普通帧依靠视频记忆传播目标掩码。语言模型只在初次获取、重新获取和查询改变时做语义确认;每帧用传播后的掩码提供几何反馈。连续三帧没有有效掩码、查询改变或重置时,重新获取目标。

几何部分把标定的 LiDAR 点投影到图像,保留目标掩码和收缩边界框内的点,根据相机轴深度筛出前景附近的点,再取基座坐标系中的逐坐标中位数作为目标位置。位置 ( x t , y t , z t ) (x_t,y_t,z_t) (xt​,yt​,zt​) 提供平面距离 d t d_t dt​ 与方位角 θ t \theta_t θt​;控制器按距离误差和带死区的方位误差给出速度,偏差大时原地转,到达安全距离后停下。

3.4 X-Navarch:让简短指令变成可执行的子任务

X-Navarch 的规划器基于 NavGPT-3 的公开运行框架,读取任务指令和前视 RGB 帧。它一次设置一个子任务:沿路线走时把一句话交给 MELIOR-N,接近自动售货机、蓝色沙发或商店入口时把具名查询交给 MELIOR-X。规划器不进入导航技能的逐帧循环。

技能在预测停止、报告到达、超过目标数或超时后交还控制权;规划器检查当前画面,再进入下一子任务、改写指令或结束任务。用户可在途中重新下达指令,新指令会替换当前任务。

避障分三层:交接时规划器识别障碍并指定通过侧;MELIOR-N 的像素目标落在训练中留出间隙的自由地面;底层避障利用量程传感绕开静态障碍、给移动障碍让行,并在路径被堵时停车。三层都不依赖现场地图。

4. 实验:百米真机任务、站点适配与公开基准

4.1 灵曦 X2 上的真实百米任务

第一组任务从办公楼大厅穿过玻璃门,走到邻近建筑一层的便利店,总长约百米。机器人只收到自然语言和内置相机画面,没有现场地图或参考路线。

MELIOR-A 直接执行时走 96.6 米、用时 3 分 24 秒,其中室内 34.2 米、室外 62.4 米。出发 9.1 米后,操作员把目的地从自动售货机改成另一栋建筑里的商店,用语言说明“穿过大厅、玻璃门后向右、到前方建筑脚下的商店”,模型转身按新路线走。34.2 米穿过玻璃门后,画面从近处墙面转到低角度阳光、开阔地面和远处建筑。63.7 至 65.5 米间,机器人为汽车和行人等待 24 秒;85.9 米看到店招,96.6 米停在入口。

第二组使用 X-Navarch 与 MELIOR-N。最初指令是去自动售货机买水,随后改成出门右转、在第二栋建筑找 Lawson 买咖啡,两条指令都没有逐步描述路线。路线包含三次动态障碍、两次静态障碍和两段窄通道:系统绕过手推车和扫地机器人,给行人让路,从指示牌与交通锥之间穿过。

两次演示说明同一台双足人形机器人能在单条路线上完成室内外切换、动态改目的地与障碍避让。报告没有给出多次重复实验的成功率,不能据此估算不同建筑、天气和人群下的可靠程度。推理还依赖机外 GPU 和网络,网络延迟或中断的影响需单独评估。

4.2 数字孪生适配:3 米内成功率提高,精确停靠仍未解决

办公室大厅被扫描成数字孪生,参考规划器生成 500 个不超过 35 米的无碰撞任务,其中 300 个指令跟随、100 个目标导航、100 个需求导航;按 400/50/50 划分训练、验证和测试。MELIOR-A 保持冻结,只训练 rank 64 的 LoRA。

仅参考轨迹的适配器有 32,404 个窗口;加入纠错窗口后共 48,006 个,其中 9,601 个恢复示例、6,001 个停靠边界示例。两种适配器在孪生的 50 个验证和 50 个测试回合上闭环评估。

孪生闭环指标(100 回合)仅参考轨迹加入纠错窗口
3 米内成功率 SR@3m40%80%
3 米内且预测停止 STOP-SR@3m34%78%
路径加权 SPL30.9%79.5%
导航误差 NE9.63 m3.36 m
1 米内成功率 SR@1m28%20%

纠错数据显著减少偏离和持续碰撞:100 个回合中持续碰撞从 52 次降到 3 次,导航误差从 9.63 米降到 3.36 米,3 米内停靠从 40% 提高到 80%。但 1 米内成功率从 28% 降到 20%,精确停在目标位姿仍未解决;80% 不能解读为“80% 的回合精确到店门口”。

训练与测试使用同一大厅、同一批目标,这组实验衡量对特定站点的适配。随后适配模型被放到真实大厅的灵曦 X2 上,穿过开放区域、经过储物柜并接近自动售货机;这是定性展示,没有与孪生相同的闭环成功率表。

4.3 公开基准:R2R-CE 强,RxR-CE 仍有差距

R2R-CE 与 RxR-CE 的 val-unseen 结果比较单前视 RGB 方法,并列出全景输入、地图规划器或更大训练规模的参考方法。MELIOR-N 在 R2R-CE 上取得 70.5% SR、3.34 米 NE 和 65.1% SPL;SR 与 SPL 是该组最高值,73.6% 的 OSR 比 LightNav-0 的 73.7% 低 0.1 个百分点。MELIOR-A 在两项基准上分别为 66.1% 与 64.3%。

MELIOR-N 在 RxR-CE 上为 60.9% SR、47.9% SPL,低于同组正确方法和部分更大规模模型。R2R-CE 的最强成绩不能外推为两种基准全面领先,比较时还要保留输入类型与训练规模差异。

5. 讨论、局限与可复现性

系统演示一条路线、一层楼,尚未覆盖楼梯、电梯和需要推开或打开的门;站点适配只验证一个大厅。扫描、建模、目标标定、孪生采集、纠错标注和闭环筛选都是部署成本。

“只使用内置 RGB 相机”指 MELIOR 的视觉输入;RGB-D、LiDAR 和里程计仍参与 MELIOR-X 的最后接近、距离测量、延时补偿和低层避障。

MELIOR-A、MELIOR-N 和 MELIOR-X 验证器分别使用 Qwen3-VL-8B、Qwen3.5-4B 与 Qwen3-VL-2B。训练约消耗 4,450 个 MELIOR-A GPU 小时和 3,115 个 MELIOR-N GPU 小时,使用 NVIDIA H20。

报告没有提供官方项目主页或代码仓库入口,arXiv 页面也未列出公开数据集和模型权重。复现仍需灵曦 X2 的相机标定、LiDAR 外参、步态控制器及机外推理链路。

总结:把导航模型变成能到达工作地点的系统

X-Nav 的核心工作分成三层。数据层用开源场景学指令,用站点孪生学环境与纠错,用真机学相机晃动、步幅和停靠;模型层让 MELIOR-A 输出基准可比的离散动作,让 MELIOR-N 输出可固定在里程计坐标的导航目标;执行层用 MELIOR-X 跟踪具名目标,用规划器拆分子任务,再把目标交给避障和步态控制。

真机百米任务说明这条链路能把语言指令、室内外变化、临时改目的地和动态障碍接在一起;数字孪生对照说明纠错数据有助于减少碰撞和接近目标。R2R-CE 支持 MELIOR-N 在单前视 RGB 模型中具备竞争力,RxR-CE 和 1 米内精确停靠仍留下差距。

人形机器人能否自主去工作地点,取决于模型、数据与执行接口能否共同闭环。X-Nav 给出完整样例,距离任意站点、任意路线和长期无人部署仍有明显差距;评估时应同时看任务长度、障碍类型、成功半径、传感器分工、失败恢复与站点适配成本。

推荐阅读

► 技术资讯: 魔方 AI 新视界

► 项目应用:开源视界

► 技术专栏: 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐