‘用云服务平台

语音交互

VLN

uni-Navid

NaVILA

Navid

NaVid 算法通俗完整讲解

一、基础介绍

NaVid 是 2024 年 RSS 发布的基于视频的视觉语言导航算法，核心是用大模型看懂画面 + 听懂人类自然语言指令，像人一样自主导航。

二、核心任务特点（最大创新点）

传统激光导航 / 视觉导航都依赖地图、里程计、深度相机，而 NaVid 完全不需要这些：

1. 仅输入单目摄像头实时视频流；

2. 外加一句人类自然语言导航指令（例：向前走到墙，左转穿过门，走到椅子前停下）；

3. 模型自主输出下一步底层动作，全程无预建地图、无 IMU、无激光雷达。

三、主体框架：LLaMA-VID 视频视觉语言大模型

把视频图像、文字导航指令融合进同一个大模型，同时理解视觉画面和人类语言，推理下一步该怎么移动。

四、模型输入三部分

1. <HIS>历史帧：之前拍摄的多帧画面，用来记住之前走过的环境；

2. <OBS>当前帧：摄像头此刻拍到的实时画面，观察眼前障碍物、目标物体；

3. <NAV>导航指令：人类自然语言文字，告诉机器人最终要完成什么任务。

五、模型输出

输出文字形式的基础动作，动作只有 4 种：前进、左转、右转、停止，机器人拿到指令直接执行，循环采集新画面、重新推理下一步动作。

六、和传统 A*+DWA 激光导航核心区别

表格

对比项	传统激光导航 (A*+DWA)	NaVid 视觉语言导航
依赖传感器	激光雷达、IMU、里程计	仅单目普通摄像头
是否需要预建地图	必须提前建全局地图	不需要任何地图，零先验环境信息
指令形式	坐标目标点	人类自然口语指令
规划逻辑	先全局寻路、再局部避障	大模型端到端直接输出单步动作
适用场景	室内固定场景，需要提前测绘	未知全新环境，随走随理解

大白话总结

不用提前测绘地图、不用激光雷达，只靠普通摄像头实时拍视频，再加上一句人类文字导航要求；LLaMA-VID 大模型结合历史画面、当前眼前画面、语言指令，直接判断下一步该前进 / 左转 / 右转 / 停下，实现无地图纯视觉语言导航。

NaVid 训练策略通俗完整讲解

整体分为专家数据预训练、自采集非专家数据扩充、多源数据联合训练三阶段，是模仿人类 “先看标准示范，再自己试错，最后统一学习” 的训练逻辑。

一、第一阶段：专家数据预训练（打底，学会标准导航）

1. 数据源：VLN-CE R2R 标准视觉语言导航公开数据集
2. 收集专家导航轨迹：数据集里是人类最优示范路线，包含视频画面 + 语言指令 + 正确动作，作为高质量标准答案样本。
3. 预训练 NaVid 模型：用这批优质专家轨迹训练模型，让模型先学会标准、无错误的导航逻辑。

二、第二阶段：自推理采集非专家数据（扩充真实试错样本）

1. 把预训练好的 NaVid 放到 VLN-CE 环境里自主跑推理，让模型自己导航。
2. 收集非专家导航轨迹：模型自己走出来的路线，会存在绕路、避障失误、理解偏差等不完美行为，对应真实机器人落地时的真实试错场景。
3. 作用：补充专家数据没有的 “错误、次优场景”，提升模型容错能力。

三、第三阶段：多源数据联合训练（融合全部数据，得到最终模型）

送入联合训练模块的四类数据：

1. 专家导航轨迹（标准正确示范）
2. 非专家导航轨迹（模型自主试错路线）
3. 纯视频导航轨迹（只有画面、无语言指令的视频样本）
4. 视频问答样本（画面 + 文字问答，增强视觉语言理解能力）

四类数据混合同步训练，最终收敛得到完整可用的 NaVid Model。

---

训练逻辑大白话总结

1. 先用人类标准导航示范教模型基础导航规则；
2. 让模型自己上路导航，把它走错、绕路的过程全部记录下来，补充真实场景样本；
3. 把标准示范、模型自走轨迹、纯视频、图文问答四类数据全部混在一起联合训练，让模型既懂标准路线，又能应对各种真实复杂、不完美的环境，最终产出成熟导航大模型。

设计目的

• 只用专家数据：模型只会完美路线，遇到陌生场景容易失效；
• 加入自采集非专家数据：让模型学会处理失误、动态障碍物、理解模糊指令；
• 搭配视频问答、纯视频样本：强化视觉 - 语言跨模态理解，提升对自然语言指令的解读能力。