✨导读:从“按指令走到目的地”到“根据一张图片找到目标物体”,导航任务正变得更加开放:智能体需要理解语言、识别环境、积累空间记忆,并把规划结果转化为实际行动。为方便读者了解国内外团队的具体工作,本文按研究单位整理2024年以来的代表成果,重点呈现各团队在任务定义、空间表示、规划决策、导航指令生成与真实部署方面的研究侧重。

一、国内研究单位

01|北京航空航天大学——CoLab

CoLab面向城市空域中的无人机视觉语言导航,研究如何将语言指令与真实飞行环境中的感知、规划和行动衔接起来。相关工作从平台与基准建设出发,进一步覆盖双无人机协作、在线对话导航以及跨任务通用模型。

OpenUAV:城市无人机视觉语言导航平台与目标搜索示例

OpenUAV:城市无人机视觉语言导航平台与目标搜索示例

✨代表成果

  • Towards Realistic UAV Vision-Language Navigation: Platform, Benchmark, and Methodology(ICLR 2025):构建空中视觉语言导航平台和基准,并提出对应导航方法。

  • AeroDuo(ACM MM 2025):面向双无人机协作,研究语言引导下的联合导航。

  • AerialVLA: A Vision-Language-Action Model for Aerial Navigation with Online Dialogue(AAAI 2026):将在线对话引入空中视觉—语言—动作决策。

  • OctoNav: Towards Generalist Embodied Navigation(CVPR 2026):探索覆盖多类任务的通用具身导航模型及评测。

02|北京大学——EPIC Lab

EPIC Lab聚焦利用连续视觉观测驱动具身导航,探索视觉语言模型对空间变化的理解与动作生成能力。NaVid系列从视频导航拓展到RGB-D时空表征和多任务学习,兼顾语言指令、目标到达与跨环境泛化。

Uni-NaVid:语言导航、目标导航等任务的统一模型展示

Uni-NaVid:语言导航、目标导航等任务的统一模型展示

✨代表成果

  • NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation(RSS 2024):利用连续视频观测,让视觉语言模型决定下一步动作。

  • NaVid-4D: Unleashing Spatial Intelligence in Egocentric RGB-D Videos for Vision-and-Language Navigation(ICRA 2025):融合自视角RGB-D视频中的空间与时间信息。

  • Uni-NaVid(RSS 2025):尝试以统一模型处理多种具身导航任务。

  • Embodied Navigation Foundation Model(NavFoM)(ICLR 2026):面向跨任务、跨场景导航构建基础模型。

  • SPAN-Nav: Generalized Spatial Awareness for Versatile Vision-Language Navigation(2026预印本):从RGB视频提取可迁移的空间信息,服务多类导航任务。

  • MM-Nav(ECCV 2026):结合多视角视觉表示与专家学习实现导航。

03|国防科技大学——数智建模与仿真国家级重点实验室

团队围绕城市复杂环境中的无人机自主导航、目标搜索、具身空间推理和多机器人协同探索开展研究。相关工作涵盖城市视觉目标搜索基准、语言目标空中导航、地理空间认知以及跨视角空间理解,逐步形成了从环境感知、空间表示到目标推理与行动规划的研究体系。在方法上,研究团队将多模态大模型、认知地图、场景图、空间信念表示与世界模型等技术应用于复杂城市环境中的自主搜索与导航。

CityEQA:城市空间具身问答示例

CityEQA:城市空间具身问答示例

✨代表成果

  • Towards Autonomous UAV Visual Object Search in City Space: Benchmark and Agentic Methodology(AAAI 2026):提出 CityAVOS 城市无人机视觉目标搜索基准及 PRPSearcher 智能体方法,结合动态语义地图、三维认知地图与不确定性地图,实现城市环境中的自主目标搜索。

  • CityEQA: A Hierarchical LLM Agent on Embodied Question Answering Benchmark in City Space(EMNLP 2025):提出城市空间具身问答基准及 Planner–Manager–Actor 层次化智能体,通过目标认知地图组织导航、探索与信息收集。

  • GeoNav: Empowering MLLMs with Dual-Scale Geospatial Reasoning for Language-Goal Aerial Navigation(Pattern Recognition 2026):融合认知地图与层次化场景图,构建从地标导航到目标精确定位的分阶段空中导航方法。

  • Map the Possibilities: Spatial Belief Fields for Language-Goal Aerial Navigation(2026年9月预印本):提出 SBFNav,以语言条件空间信念场表示目标位置的不确定性,并随观测持续更新,指导无人机进行闭环导航与搜索。

  • SearchWorld: Spatial Value-Grounded Imagination for UAV Object Search via World Models(2026年10月预印本):结合空间记忆、空间价值评估与世界模型预测,支持无人机目标搜索中的前瞻性行动规划。

  • CityCube: Benchmarking Cross-view Spatial Reasoning on Vision-Language Models in Urban Environments(ACL 2026):构建城市跨视角空间推理基准,通过多视角问答评估视觉语言模型的空间关系理解能力,为具身导航中的空间认知与环境理解提供评测基础。

04|北京大学——PKU-Agibot Lab

PKU-Agibot Lab关注复杂语言指令如何转化为机器人可执行的导航过程。相关研究从多专家讨论辅助决策,延伸到未知环境中的零样本指令导航以及空间指令理解评测,强调语义理解与行动执行的衔接。

✨代表成果

  • Discuss Before Moving: Visual Language Navigation via Multi-expert Discussions(ICRA 2024):通过多个专家的讨论过程辅助视觉语言导航。

  • InstructNav: Zero-shot System for Generic Instruction Navigation in Unexplored Environment(CoRL 2024):面向未知环境,实现通用语言指令的零样本导航。

  • NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions(ICRA 2026):评测导航智能体对空间指令的理解与执行。

05|中山大学——HCP Lab

HCP Lab重点研究长时程视觉语言导航中的语义理解、空间线索利用与推理修正。代表成果涵盖导航地标发现、自纠错决策、分解式推理以及长距离任务建模,并探索空中视角下的语言目标导航。

✨代表成果

  • Correctable Landmark Discovery via Large Models for Vision-Language Navigation(IEEE TPAMI 2024):利用大模型发现并修正导航地标。

  • CorNav(Findings of ACL 2024):在导航过程中进行自纠错式规划。

  • NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning(IEEE TPAMI 2025):将导航推理拆解为不同职责的推理环节。

  • Unseen from Seen(IEEE TNNLS 2025):通过基础模型与数据增强改善未见场景适应。

  • Towards Long-Horizon Vision-Language Navigation: Platform, Benchmark and Method(CVPR 2025):构建长时程导航平台、基准及对应方法。

  • LookasideVLN: Direction-Aware Aerial Vision-and-Language Navigation(CVPR 2026):关注空中导航时的方向信息和视角变化。

06|中国科学院计算技术研究所——VIPL

VIPL相关研究从三维环境表示切入连续视觉语言导航,关注如何将局部视觉观察转化为可供规划的空间信息。一方面利用神经辐射场支持前瞻探索,另一方面通过三维特征场改善从仿真环境到真实场景的迁移。

✨代表成果

  • Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation(CVPR 2024):利用神经辐射表示支持连续空间的前瞻探索。

  • Sim-to-Real Transfer via 3D Feature Fields for Vision-and-Language Navigation(CoRL 2024):通过三维特征场研究视觉语言导航的仿真到真实迁移。

07|同济大学——电子与信息工程学院

团队在连续视觉语言导航的感知表征、推理规划与指令组织方面形成了多条研究路线。相关成果涵盖因果学习、语义深度融合、层次路点规划和高效模型推理,也包括根据导航轨迹生成自然语言指令的方法。

✨代表成果

  • Vision-and-Language Navigation via Causal Learning(CVPR 2024):分析因果关系在视觉语言导航决策中的作用。

  • Boosting Efficient Reinforcement Learning for Vision-and-Language Navigation with Open-Sourced LLM(IEEE RA-L 2025(2024在线)):借助开源语言模型拆解指令,并辅助强化学习导航。

  • Multimodal Evolutionary Encoder for Continuous Vision-Language Navigation(IROS 2024):设计多模态编码器改善连续导航的跨模态表示。

  • Enhanced Language-guided Robot Navigation with Panoramic Semantic Depth Perception and Cross-modal Fusion(IROS 2024):融合全景语义深度信息与语言特征。

  • Instruction-aligned Hierarchical Waypoint Planner for Vision-and-Language Navigation in Continuous Environments(2024):按指令层次组织航路点和局部导航计划。

  • A Multilevel Attention Network with Sub-Instructions for Continuous Vision-and-Language Navigation(Applied Intelligence 2025):将子指令与多层注意力用于连续导航。

  • Rethinking the Embodied Gap in Vision-and-Language Navigation(ICCV 2025):研究离散推理与实体机器人执行之间的差距。

  • MAGIC: Meta-Ability Guided Interactive Chain-of-Distillation for Effective-and-Efficient Vision-and-Language Navigation (IEEE TPAMI 2026):利用蒸馏减少视觉语言导航的学习与推理负担。

  • NavJev: Efficient Vision-Language Navigation via Action-Centric Visual Compression and Discriminative Action-Semantic Memory(2026):通过视觉压缩和动作语义记忆减少在线推理开销。

  • NavComposer: Composing Language Instructions for Navigation Trajectories Through Action-Scene-Object Modularization(IEEE TCSVT 2026(2025在线)):将动作、场景和物体信息组合成导航语言指令。

08|西北工业大学——计算机学院

研究团队在视觉语言导航与具身空间智能方向开展持续研究,覆盖空中导航任务构建、动态环境适应、空地协同目标搜索和认知导航建模。相关成果从AerialVLN提出的城市级无人机语言导航场景出发,进一步研究环境变化对导航策略的影响,以及空中广域感知与地面精细观察之间的协同关系。同时,学院也围绕无人机视觉语言导航和生物启发的认知导航开展系统性研究,为复杂开放环境中的空间表征、记忆与决策提供方法梳理和理论参考。

✨代表成果

  • AerialVLN: Vision-and-Language Navigation for UAVs(ICCV 2023):将视觉语言导航扩展到城市三维空中场景,提出无人机连续导航任务、数据集及模拟平台,为后续空中视觉语言导航研究提供基准。

  • VLN-ChEnv: Vision-language Navigation in Changeable Environments(ACM MM 2025):研究环境发生变化时视觉语言导航智能体的感知与决策问题,围绕可变化场景构建评测任务并提出相应方法。

  • AirGroundVLN: A Large-Scale Benchmark for Goal-Oriented Air-Ground Collaborative Vision-and-Language Navigation(2026预印本):提出面向目标的空地协同视觉语言导航基准,覆盖19个仿真环境、10,281段导航任务,并给出结合时空一致性记忆与空中区域引导的AG-CoNAV基准框架。

  • 具身智能视角下无人机视觉语言导航研究进展(《中国图象图形学报》2026):系统梳理无人机视觉语言导航的任务特点、方法体系和研究挑战,重点关注具身智能条件下的空间理解与连续决策。

  • Bio-inspired cognitive navigation for robots(Nature Reviews Electrical Engineering 2026):从生物认知导航机制出发,讨论认知地图、多模态感知、预测性表征、记忆驱动决策和分层规划,为具身智能体导航提供综合性认知框架。

09|香港科技大学(广州)——OMEGA Lab

OMEGA Lab面向城市无人机导航,研究语言目标理解与飞行规划、控制及历史信息利用的结合。代表成果涉及导航策略与模型预测控制协同、端到端感知预测规划,以及面向机载资源限制的紧凑记忆设计。

✨代表成果

  • SkyVLN: Vision-and-Language Navigation and NMPC Control for UAVs in Urban Environments(IROS 2025):结合视觉语言导航与模型预测控制实现无人机飞行。

  • P³Nav: End-to-End Perception, Prediction and Planning for Vision-and-Language Navigation(2026预印本):将感知、预测和规划组织为端到端导航过程。

  • LightVLN: Efficient Aerial Vision-and-Language Navigation with Compact Memory and History-Guided Local Aggregation(2026预印本):以紧凑记忆和历史信息辅助空中导航。

10|北京理工大学——机械工程学院

相关研究聚焦城市无人机长距离视觉语言导航中的空间理解与轨迹生成。相关成果分别从长时程上下文、几何表示对齐和动态轨迹规划入手,探索如何使高层导航意图转化为可执行飞行行为。

✨代表成果

  • LongFly: Long-Horizon UAV Vision-and-Language Navigation with Spatiotemporal Context Integration(2025预印本):融合长时程时空上下文进行无人机导航。

  • SpatialFly: Geometry-Guided Representation Alignment for UAV Vision-and-Language Navigation in Urban Environments(2026预印本):通过几何表示对齐提供空间约束。

  • DynFly: Dynamic-Aware Continuous Trajectory Generation for UAV Vision-Language Navigation in Urban Environments(2026预印本):在连续轨迹生成中纳入飞行动力学与动态环境要求。

11|南京航空航天大学——人工智能学院

团队关注复杂语言指令下的连续机器人导航,强调观察、推理、纠错与执行之间的协同。相关工作涵盖可分解的导航决策流程、指令与动作的精确对齐,以及调用机器人技能完成实际任务的智能体式导航。

✨代表成果

  • DecoVLN: Decoupling Observation, Reasoning, and Correction for Vision-and-Language Navigation(CVPR 2026):把观察、推理和纠错组织为可分解的导航流程。

  • Instruction Decomposition and Action Alignment for Vision-and-Language Navigation(ICML 2026):研究复杂指令的分解及其与导航动作的对齐。

  • AgentVLN: Towards Agentic Vision-and-Language Navigation(ECCV 2026):探索具备任务推理与行动能力的导航智能体。

12|南京理工大学——计算机科学与工程学院

团队围绕视觉语言导航中的语义感知与历史经验利用开展研究。相关成果通过全景辅助线索提升单目导航的指令理解,并利用经验记忆与逐步推理支持零样本路径决策。

✨代表成果

  • ThinkMatter: Panoramic-Aware Instructional Semantics for Monocular Vision-and-Language Navigation(IEEE TIP 2026):利用全景辅助信息增强单目视觉语言导航的指令理解。

  • History to Future: Evolving Agent with Experience and Thought for Zero-shot Vision-and-Language Navigation(CVPR 2026):将历史经验和后续行动推理用于零样本导航。

13|山东大学——计算机科学与技术学院

团队研究关注语言指令与视觉场景之间的细粒度对应关系。一项工作显式建模物体的时空关系,另一项针对长指令设计视觉、文本和动作对齐机制,以提高复杂任务中的语义理解与执行一致性。

✨代表成果

  • Temporal-Spatial Object Relations Modeling for Vision-and-Language Navigation(IEEE T-ITS 2025):建模物体之间的时间与空间关系。

  • Action-Aware Visual-Textual Alignment for Long-Instruction Vision-and-Language Navigation(ACM TOMM 2025):对齐长指令中的语义信息与导航动作。

14|华东师范大学——计算机科学与技术学院

相关研究聚焦语言目标在三维场景中的空间落地与导航决策。代表成果通过层次语义几何地图连接二维视觉与三维环境,并探索将目标定位、空间推理与动作选择整合为连续决策过程。

✨代表成果

  • Bridging the 2D–3D Gap: A Hierarchical Semantic-Geometric Map for Vision Language Navigation(CVPR 2026):构建层次化语义几何地图,连接二维视觉与三维空间。

  • GroundingVLN: Reasoning and Acting with Grounding for Vision-Language Navigation(2026预印本):将目标落地、空间推理和动作选择结合起来。

15|香港大学——计算机科学系

相关成果围绕语言理解如何转化为路径规划与实际行动展开。相关研究分别利用地图提示组织导航计划,以及使用基础模型推断环境可供性,为连续空间中的行动选择提供约束。

✨代表成果

  • MapGPT: Map-Guided Prompting with Adaptive Path Planning for Vision-and-Language Navigation(ACL 2024):以地图提示和路径规划辅助语言导航。

  • Affordances-Oriented Planning Using Foundation Models for Continuous Vision-Language Navigation(AAAI 2025):利用基础模型推断场景中可执行的行为与路径。

16|中国科学院沈阳自动化研究所——机器人与智能系统全国重点实验室

相关工作重视视觉语言导航在长期运行中的学习与适应能力。代表成果涵盖隐式指令下的迭代推理、基于原型的经验更新和跨时段多场景持续适应,目标是减少场景变化对导航策略的影响。

✨代表成果

  • ReasonWalker: Reasoning Iterative Vision-and-Language Navigation with Implicit Instructions(IEEE Transactions on Cybernetics 2026):针对隐式语言指令开展迭代推理式导航。

  • Evolving the Prototype Journey: Lifelong Vision-and-Language Navigation with Prototype Adaptation(IEEE TCSVT 2026):利用原型适配研究长期导航策略的持续学习。

  • All-Day Multi-Scenes Lifelong Vision-And-Language Navigation With Tucker-Adaption(2026):面向不同时段与多场景的持续导航学习。

17|中国科学技术大学——未来媒体计算实验室

实验室相关成果探索具身导航中的跨模态信息整合与未来场景预测。CoNav研究不同模态的协同推理,LatentPilot在潜在空间中推演可能的后续视觉状态,为导航中的行动选择提供前瞻信息。

✨代表成果

  • CoNav: Collaborative Cross-Modal Reasoning for Embodied Navigation(IEEE TPAMI 2026):在具身导航中组织多个模态之间的协同推理。

  • LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning(ECCV 2026):通过潜在视觉预测推演接下来可能出现的场景。

18|东南大学——GeoEMI Lab

GeoEMI Lab关注缺乏显式地图条件下的自主视觉导航,研究如何用场景想象与历史记忆替代完整先验地图。ImagineNav系列利用视觉语言模型推演未来场景,DGMem则通过动态图记忆组织探索经验。

✨代表成果

  • ImagineNav: Prompting Vision-Language Models as Embodied Navigator through Scene Imagination(ICLR 2025):利用视觉语言模型的场景想象执行开放词汇目标导航。

  • DGMem: Learning Visual Navigation Policy without Any Labels by Dynamic Graph Memory(Applied Intelligence 2024):通过动态图记忆学习无人工标签的视觉导航策略。

  • ImagineNav++: Prompting Vision-Language Models as Embodied Navigator Through Scene Imagination (IEEE TPAMI 2026):沿场景想象路线扩展导航能力,属于ImagineNav后续工作。

19|南京大学——计算机学院

相关研究尝试将语言、视觉观测与机器人动作统一建模,并扩展导航任务的评测形式。LaViRA系列探索连续环境下的语言到动作转换,HM3D-M3则面向多智能体、多模态与多目标导航建立评测基准。

✨代表成果

  • LaViRA: Language-Vision-Robot Actions Translation for Zero-Shot Vision Language Navigation in Continuous Environments(ICRA 2026):将语言、视觉观测映射为机器人动作,支持零样本导航。

  • Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation(2026预印本):进一步探索多任务统一导航框架,为LaViRA后续研究。

  • HM3D-M3: A Benchmark for Multi-Agent, Multi-Modal, Multi-Object Goal Navigation(2026年10月预印本):构建多智能体、多模态和多物体目标的导航评测。

20|合肥工业大学——计算机与信息学院

相关工作关注复杂环境下视觉语言导航的鲁棒性和空间信息利用。代表成果涉及视觉扰动增强、层次语义空间表示,以及无需额外训练的无人机视觉对话导航,覆盖感知、推理与任务执行多个环节。

✨代表成果

  • Seeing is Believing? Enhancing Vision-Language Navigation using Visual Perturbations(IJCNN 2025):分析视觉扰动用于改进视觉语言导航的潜力。

  • Agent Journey Beyond RGB: Hierarchical Semantic-Spatial Representation Enrichment for Vision-and-Language Navigation(AAAI 2026):结合层次化语义与空间表示增强导航理解。

  • Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory(CVPR 2026):以解析、搜索和确认流程组织空中视觉对话导航。

21|华南理工大学——软件学院

团队研究视觉语言导航在输入分布变化和多模态指令下的适应能力。一类工作面向源数据不可访问的模型迁移,另一类将视觉、语言、音频与动作联合建模,扩展导航指令的表达形式。

✨代表成果

  • Source-Free Elastic Model Adaptation for Vision-and-Language Navigation(IEEE TMM 2025):研究无法访问源数据时的视觉语言导航模型适应。

  • NaVLA²: A Vision-Language-Audio-Action Model for Multimodal Instruction Navigation(AAAI 2026):将视觉、语言、音频与动作联合建模以理解指令。

22|中国传媒大学——信息与通信工程学院

团队相关工作关注多模态模型在视觉语言导航中的协同推理和空间理解。CA-VLN尝试让多个智能体协作完成决策,SR-VLN则研究如何从视觉观察和指令中推断隐含的空间关系。

✨代表成果

  • CA-VLN: Collaborative Agents in MLLM-Powered Visual-Language Navigation(Sensors 2026):利用多个多模态智能体协作完成视觉语言导航。

  • SR-VLN: Implicit Spatial Reasoning Vision-and-Language Navigation(Sensors 2026):研究导航过程所需的隐式空间关系推理。

23|阿里巴巴集团高德——AMAP CV Lab

AMAP CV Lab围绕通用具身导航模型的探索、预测、记忆与执行建立研究路线。相关成果涉及前瞻性环境探索、视觉语言世界模型、快慢系统规划以及执行后的记忆与复盘机制,强调跨任务迁移能力。

✨代表成果

  • OmniNav: A Unified Framework for Prospective Exploration and Visual-Language Navigation(ICLR 2026):统一前瞻探索与视觉语言导航。

  • NavForesee: A Unified Vision-Language World Model for Hierarchical Planning and Dual-Horizon Navigation Prediction(CVPR 2026):结合视觉语言世界模型与分层规划预测导航进程。

  • ABot-N0: Technical Report on the VLA Foundation Model for Versatile Embodied Navigation(2026技术报告):面向多种具身导航任务提出VLA基础模型技术报告。

  • ABot-N1: Toward a General Visual Language Navigation Foundation Model(2026):以双系统框架研究通用视觉语言导航。

  • MerNav: A Highly Generalizable Memory–Execute–Review Framework for Zero-Shot Object Goal Navigation(2026):使用记忆、执行和复盘流程完成零样本物体目标导航。

24|西安交通大学——人工智能与机器人研究所

相关研究关注长期导航过程中语言语义、空间状态与行动决策之间的动态一致性。代表成果从目标探索与回退、语义空间双记忆,到状态漂移纠正和智能体自我改进,形成相互关联的研究方向。

✨代表成果

  • Instruction-as-State: Environment-Guided and State-Conditioned Semantic Understanding for Embodied Navigation(2026预印本):将环境状态引入动态指令语义理解。

  • The Essence of Balance for Self-Improving Agents in Vision-and-Language Navigation(2026预印本):研究导航智能体持续自我改进时的学习平衡。

  • E²BA: Environment Exploration and Backtracking Agent for Visual Language Object Navigation(IEEE TCSVT 2025):通过环境探索与回退机制支持视觉语言目标导航。

  • JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation(ICLR 2026):使用语义与空间双记忆降低长期导航中的信息干扰。

  • Dual-Anchoring: Addressing State Drift in Vision-Language Navigation(2026预印本):利用双重锚定减轻导航过程的状态漂移。

25|清华大学——智能视觉实验室(IVG)

团队相关研究强调空间表征、语言约束与机器人行动之间的衔接。GC-VLN将指令转化为图约束,AwareVLN探索自检式导航推理,IGL-Nav则利用增量三维高斯定位开展图像目标导航和实机验证。

IGL-Nav:利用手机拍摄的目标图片引导机器人完成导航

IGL-Nav:利用手机拍摄的目标图片引导机器人完成导航

✨代表成果

  • GC-VLN: Instruction as Graph Constraints for Training-free Vision-and-Language Navigation(CoRL 2025):以图约束表达指令,支持无需额外训练的导航。

  • AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation(CVPR 2026):让模型在导航推理中检查自身判断。

  • IGL-Nav: Incremental 3D Gaussian Localization for Image-goal Navigation(ICCV 2025):通过增量三维高斯定位完成图像目标导航。

26|香港科技大学(广州)——PEAK Lab

PEAK Lab相关研究关注连续视觉语言导航在受干扰条件下的鲁棒性与安全性。一方面利用时序信息恢复受损视觉输入,另一方面通过行为引导的黑盒攻击分析导航策略的脆弱环节。

✨代表成果

  • FlowDec: Temporal Conditional Flow Decorruptor for Robust Continuous Vision-Language Navigation(ECCV 2026):恢复受损视觉信息,增强连续导航的鲁棒性。

  • AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation(ACM MM 2026):构建行为引导的黑盒攻击,评估导航系统风险。

27|中国科学院自动化研究所——多模态人工智能系统全国重点实验室

该实验室相关成果聚焦导航系统部署后的在线适应和预测纠错。代表方法分别采用快慢时间尺度的测试时更新,以及结合闭环反馈的世界模型自我修正,以应对环境分布变化与预测误差。

✨代表成果

  • Fast-Slow Test-Time Adaptation for Online Vision-and-Language Navigation(ICML 2024):通过快慢更新机制开展在线测试时适应。

  • SC²-WM: A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments(ICML 2026):引入闭环反馈,让导航世界模型持续修正预测。

28|中国科学技术大学——脑启发智能感知与认知教育部重点实验室

研究方向横跨图像目标导航、三维场景表示和动态无人机自主飞行。相关成果利用探索—验证—利用机制识别特定目标实例,使用三维高斯表示支持视觉导航,并研究动态障碍条件下的实时导航。

✨代表成果

  • Instance-aware Exploration-Verification-Exploitation for Instance ImageGoal Navigation(CVPR 2024):通过探索、验证和利用定位目标图片所指的特定实例。

  • GaussNav: Gaussian Splatting for Visual Navigation(IEEE TPAMI 2025):将三维高斯表示应用于视觉导航。

  • D-Nav: End-to-End Dynamic UAV Navigation with Dual-Resolution Motion Awareness(RSS 2026):通过双分辨率运动感知开展动态无人机导航。

29|上海交通大学——IRMV Lab

IRMV Lab长期关注移动机器人视觉感知、导航与控制的协同。近年的相关成果将探索边界、拓扑记忆与多模态认知图结合,用于组织机器人对环境地点、目标及路径关系的理解。

✨代表成果

  • Frontier-enhanced Topological Memory with Improved Exploration Awareness for Embodied Visual Navigation(ECCV 2024):利用拓扑记忆与探索边界信息支持视觉导航。

  • Cognitive Navigation for Intelligent Mobile Robots: A Learning-Based Approach With Topological Memory Configuration(JAS 2024):研究拓扑记忆配置下的机器人认知导航。

  • Visual Navigation for Embodied Agents Using Semantic-Based Multi-Modal Cognitive Graph(IEEE TIP 2025):结合语义、视觉与空间信息构建多模态认知图。

30|浙江大学计算机科学与技术学院

团队同时研究视觉语言导航的环境表示和导航指令生成。前者利用三维体积表征提升空间理解,后者将鸟瞰视角和场景地图信息转化为自然语言路径描述,为导航模型提供结构化训练数据。

✨代表成果

  • Volumetric Environment Representation for Vision-Language Navigation(CVPR 2024):用体积环境表示为视觉语言导航提供空间信息。

  • Navigation Instruction Generation with BEV Perception and Large Language Models(ECCV 2024):结合鸟瞰感知与语言模型生成导航指令。

  • Scene Map-based Prompt Tuning for Navigation Instruction Generation(CVPR 2025):使用场景地图提示生成与路径相匹配的指令。

31|哈尔滨工业大学(深圳)——iLearn Lab

iLearn Lab 相关研究围绕无人机开放世界目标导航与连续轨迹规划展开。从开放世界导航基准到轨迹级路点预测,再到未来空间地图想象,逐步强化目标理解、规划连续性与行动预测的结合。

✨代表成果

  • UAV-ON: A Benchmark for Open-World Object Goal Navigation with Aerial Agents(ACM MM 2025):提出开放世界无人机物体目标导航基准与基线。

  • Beyond Waypoints: A Trajectory-Centric Waypointing Paradigm for Vision-Language Navigation(ACM MM 2026):以连续轨迹为中心重新组织导航路点生成。

  • AirForesight: Current-to-Future Spatial Map Imagination with Cross-Space Planning Consistency for UAV-VLN(ACM MM 2026):联合当前与未来空间地图想象进行空中导航。

32|中国科学院计算技术研究所——处理器芯片全国重点实验室

该实验室相关研究覆盖视觉语言导航决策与导航数据生成两个环节。一项工作以双过程推理支持视觉和语言联合决策,另一项通过空间一致性约束生成导航数据,分别服务于策略设计和模型训练。

✨代表成果

  • Run, Ruminate, and Regulate: A Dual-process Thinking System for Vision-and-Language Navigation(AAAI 2026):以双过程推理机制组织视觉语言导航决策。

  • World-Consistent Data Generation for Vision-and-Language Navigation(2024预印本):生成满足空间一致性约束的视觉语言导航数据。

33|上海人工智能实验室——InternRobotics

InternRobotics面向跨场景、跨机器人平台的导航模型泛化。代表成果包括快慢双系统视觉语言导航、利用特权信息训练的导航扩散策略,以及处理连续输入的流式上下文建模方法。

✨代表成果

  • Ground Slow, Move Fast: A Dual-System Foundation Model for Generalizable Vision-and-Language Navigation(ICLR 2026):通过快慢双系统组织可泛化视觉语言导航。

  • NavDP: Learning Sim-to-Real Navigation Diffusion Policy with Privileged Information Guidance(ICRA 2026):利用特权信息训练扩散导航策略并进行实机迁移。

  • StreamVLN: Streaming Vision-and-Language Navigation via SlowFast Context Modeling(ICRA 2026):通过快慢上下文建模处理连续到来的视觉输入。

34|西安电子科技大学——通信工程学院

课题组围绕具身智能、视觉语言动作模型和机器人自主决策开展研究,重点关注连续视觉语言导航中的策略鲁棒性与物理执行问题。相关成果从导航过程中的轨迹漂移修正和动作可执行性两个方面入手,探索语义理解、策略学习与机器人实际运动约束之间的有效衔接。

✨代表成果

  • Nipping the Drift in the Bud: Retrospective Rectification for Robust Vision-Language Navigation(2026预印本):提出BudVLN,通过回顾式轨迹修正和决策条件监督构造,缓解导航过程中指令与状态失配引起的误差累积,提高连续导航的鲁棒性。

  • Revealing and Bridging the Physical Executability Gap in Vision-Language Navigation(2026预印本):提出VeSTA,通过视觉语义可通行性对齐、轨迹分布优化和风险感知选择,改善导航动作在实际物理约束下的可执行性。

35|上海人工智能实验室——IPEC

上海人工智能实验室IPEC团队围绕无人机视觉语言导航的数据构建、模型学习与机载自主执行开展研究。相关工作从多场景仿真和自动化导航数据生成出发,进一步研究统一的视觉语言动作模型,将环境感知、空间推理和连续飞行控制整合到资源受限的机载计算平台中,推动无人机导航从仿真评测向真实闭环执行发展。

✨代表成果

  • OpenFly: A Comprehensive Platform for Aerial Vision-Language Navigation(ICLR 2026):整合多种场景渲染引擎与自动化导航数据生成流程,构建大规模空中视觉语言导航数据集,并提出关键帧感知的导航模型。

  • OpenFlyV2: An Onboard Vision-Language-Action Model for Aerial Perception and Navigation(2026预印本):构建统一机载视觉语言动作模型,结合运动感知记忆与短时程动作生成,实现语言理解、空间推理和连续飞行控制的闭环协同。

二、国外研究单位

01|澳大利亚阿德莱德大学——澳大利亚机器学习研究所(AIML)

澳大利亚机器学习研究所(Australian Institute for Machine Learning, AIML)是澳大利亚视觉语言导航与具身智能领域的重要研究机构之一。吴琦(Qi Wu)副教授及其研究团队围绕视觉语言理解、具身导航、多模态大模型推理和机器人自主决策开展系列研究。相关工作从 NavGPT 的显式语言推理发展到 NavGPT-2 的视觉语言导航能力建模,并进一步拓展至零样本连续导航、跨视角泛化、路径点预测、通用导航专家模型,以及长期上下文管理与视觉语言动作模型。团队近年来还关注导航模型的真实机器人适应性、模型评估及高效行动规划。

NavGPT-3:导航组件、执行协调与基准性能

NavGPT-3:导航组件、执行协调与基准性能

✨代表成果

  • NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models(AAAI 2024):提出基于大语言模型显式推理的视觉语言导航方法,通过语言化的历史观测与行动推理支持导航决策。

  • NavGPT-2: Unleashing Navigational Reasoning Capability for Large Vision-Language Models(ECCV 2024):通过视觉语言模型与导航策略的结合,进一步提升多模态模型在具身环境中的导航推理能力。

  • LLM as Copilot for Coarse-Grained Vision-and-Language Navigation(ECCV 2024):提出 VLN-Copilot,通过困惑度检测识别导航决策中的不确定性,并主动请求大语言模型提供针对性指导,提升粗粒度视觉语言导航能力。

  • Open-Nav: Exploring Zero-Shot Vision-and-Language Navigation in Continuous Environment with Open-Source LLMs(ICRA 2025):探索使用开源大语言模型完成零样本连续视觉语言导航,通过时空思维链组织指令理解、进度估计与行动决策。

  • Ground-Level Viewpoint Vision-and-Language Navigation in Continuous Environments(ICRA 2025):针对四足机器人等低视角平台与人类视角导航指令之间的差异,提出 GVNav,利用历史观测与空间信息增强跨视角导航泛化。

  • SAME: Learning Generic Language-Guided Visual Navigation with State-Adaptive Mixture of Experts(ICCV 2025):提出状态自适应混合专家架构,将不同粒度的语言引导视觉导航任务纳入统一学习框架,实现多任务导航策略的动态适配。

  • SmartWay: Enhanced Waypoint Prediction and Backtracking for Zero-Shot Vision-and-Language Navigation(IROS 2025):针对零样本连续导航中的路径点预测误差和历史决策失误,结合增强型路径点预测、历史感知推理与回溯策略,提升复杂场景中的导航鲁棒性。

  • Fast-SmartWay: Panoramic-Free End-to-End Zero-Shot Vision-and-Language Navigation(ICRA 2026):提出无需全景视觉输入和独立路径点预测器的端到端零样本导航方法,结合不确定性感知推理与前后向时序推理,减少导航决策延迟,并在仿真和真实机器人环境中验证。

  • Parameter-Efficient Action Planning with Large Language Models for Vision-and-Language Navigation(Pattern Recognition 2026):提出 PEAP-LLM,结合目标规划、LoRA 行动规划与偏好优化,为远程目标导航任务生成随环境变化的行动指令。

  • VLN-MME: Diagnosing MLLMs as Language-guided Visual Navigation Agents(ACL 2026):构建面向多模态大模型的模块化导航测评框架,分析模型推理、行动选择和多轮交互能力。

  • NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime(2026年10月预印本):提出连接语言模型推理与底层视觉语言动作策略的层次化导航运行框架,通过推理、执行和监控模块的协同调度,增强长期导航与动态环境响应能力。

02|新加坡国立大学——CVRP Lab

CVRP Lab关注将动态三维空间结构融入视觉语言模型的导航推理。相关研究通过三维场景标记刻画环境变化,并进一步将空间感知、语言目标落地和行动规划联合建模。

✨代表成果

  • Dynam3D: Dynamic Layered 3D Tokens Empower VLM for Vision-and-Language Navigation(NeurIPS 2025):利用动态三维标记表示场景变化。

  • D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation(CVPR 2026):把动态三维感知、语言理解与规划联合建模。

03|美国密歇根州立大学——HLR Lab

HLR Lab相关工作从导航提示生成发展到视觉与动作语义对齐,以及多技能导航智能体组合。研究重点是如何利用语言描述提供过程指导,并将不同能力组织成完整导航策略。

✨代表成果

  • NavHint: Vision and Language Navigation Agent with a Hint Generator(Findings of EACL 2024):生成语言提示,引导导航智能体完成任务。

  • Narrowing the Gap between Vision and Action in Navigation(ACM MM 2024):研究视觉输入与导航动作之间的对齐问题。

  • Vision-and-Language Navigation with Analogical Textual Descriptions in LLMs(EMNLP 2025):利用类比文本描述辅助导航推理。

  • Breaking Down and Building Up: Mixture of Skill-Based Vision-and-Language Navigation Agents(ACL 2026):将不同技能型导航智能体组合完成任务。

04|韩国高丽大学——Computer Vision Lab

该团队重点研究视觉语言导航策略在测试阶段适应新环境的能力。代表成果利用强化学习反馈、主动测试时更新和路径级历史指令,分别改善在线适应与语义探索。

✨代表成果

  • Test-time Adaptation for Online Vision-Language Navigation with Feedback-based Reinforcement Learning(ICML 2025):基于反馈强化学习调整测试时的导航策略。

  • Active Test-time Vision-Language Navigation(NeurIPS 2025):探索测试时主动感知和反馈机制。

  • Path-level Hindsight Instructions for Semantic Exploration in Vision-Language Navigation(ECCV 2026):利用整条路径的历史指令辅助语义探索。

05|美国德克萨斯大学奥斯汀分校

相关研究覆盖机器人零样本导航与复杂逻辑指令理解。代表工作将神经符号规划、快速探索和经验缓存结合起来,同时针对包含条件分支的语言指令建立诊断任务,分析模型的推理和执行偏差。

✨代表成果

  • VLN-Zero: Rapid Exploration and Cache-Enabled Neurosymbolic Vision-Language Planning for Zero-Shot Transfer in Robot Navigation(2026):使用神经符号方法与缓存支持零样本导航。

  • If, Then, Otherwise: Diagnosing Conditional Branching in Vision-Language Navigation(2026预印本):构建带条件分支的指令任务,诊断复杂逻辑理解。

06|美国俄勒冈州立大学——EECS

团队相关研究关注视觉语言导航的可靠性和推理成本。代表成果分别分析环境对抗扰动、生成式视觉想象的实际作用,以及根据输入复杂程度动态分配推理资源的策略。

✨代表成果

  • Hijacking Vision-and-Language Navigation Agents with Adversarial Environmental Attacks(WACV 2025):研究环境对抗扰动如何误导视觉语言导航。

  • Do Visual Imaginations Improve Vision-and-Language Navigation Agents? (CVPR 2025):分析生成式未来视觉想象对导航的作用。

  • Harnessing Input-Adaptive Inference for Efficient VLN(ICCV 2025):根据输入复杂度自适应分配推理计算。

07|澳大利亚墨尔本大学

相关研究兼顾无人机视觉语言动作任务的评测与导航表示学习。一方面建立高层空中任务基准,另一方面利用动作前注意力和空间引导改善视觉语言导航的决策表征。

✨代表成果

  • HUGE-Bench: A Benchmark for High-Level UAV Vision-Language-Action Tasks(ECCV 2026):建立高层无人机视觉语言动作任务基准。

  • GuidedNav: Shaping Vision-Language Navigation Representations through Pre-Action Attention and Spatial Guidance(2026):利用动作前注意力与空间提示改进导航表示。

08|日本东京大学

聚焦真实开放环境中的视觉语言导航与空间语义理解,探索如何利用自然语言、指示手势及行人行为等多模态线索识别导航目标,并将城市地标、地理信息与三维场景表示引入空中导航。代表性工作涵盖户外交互式导航、目的地预测和城市级无人机导航数据集构建,为复杂环境中的目标理解与自主导航提供了不同层面的研究基础。

✨代表成果

  • GesNavi: Gesture-guided Outdoor Vision-and-Language Navigation(EACL SRW 2024):联合手势和语言指令研究户外导航。

  • Action Inference for Destination Prediction in Vision-and-Language Navigation(ACL SRW 2024):根据视觉语言上下文推断运动目的地。

  • CityNav: A Large-Scale Dataset for Real-World Aerial Navigation(ICCV 2025):构建真实城市环境中的空中视觉语言导航数据集,包含自然语言描述、人工示范飞行轨迹及地理语义信息,并研究如何利用城市地标和空间关系辅助导航决策。

09|美国得克萨斯农工大学——TACO Group

TACO Group相关研究探索生成式未来场景预测如何支持视觉语言导航中的路径选择与动作规划。代表成果还涉及视觉地图理解、导航指令生成,以及用启发式知识和概率推理解释决策过程。

✨代表成果

  • VISTA: Generative Visual Imagination for Vision-and-Language Navigation(ICRA 2026):利用生成式未来视觉想象辅助导航规划。

  • MapBench: Can Large Vision Language Models Read Maps Like a Human? (2025预印本):评测视觉语言模型读图、路线规划和指令生成。

  • VISTAv2: World Imagination for Indoor Vision-and-Language Navigation(2025预印本):将未来视觉预测转化为在线导航价值估计。

  • HeckNav: Interpretable Heuristic Knowledge Navigation via Bayesian Probabilistic Inference(CVPR Workshops 2026):利用知识和贝叶斯概率推理完成目标导航。

10|美国华盛顿大学塔科马分校——Multimodal Intelligence Lab(MILab)

MILab关注动态人群环境中的导航、语言条件世界模型以及视觉目标驱动的指令生成。代表成果从社会感知导航基准拓展到记忆增强的未来预测与规划,进一步连接视觉目标和自然语言导航指令。

HA-VLN:含动态人物与社会交互线索的导航任务示例

HA-VLN:含动态人物与社会交互线索的导航任务示例

✨代表成果

  • HA-VLN 2.0: An Open Benchmark and Leaderboard for Human-Aware Navigation in Discrete and Continuous Environments with Dynamic Multi-Human Interactions(IROS 2026):构建动态多人环境中的社会感知导航基准。

  • Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight(ECCV 2026):结合记忆增强预测与前瞻规划构建视觉导航世界模型。

  • Language-Conditioned World Modeling for Visual Navigation(NeurIPS 2026):联合语言目标、世界状态预测和动作生成。

  • GoViG: Goal-Conditioned Visual Navigation Instruction Generation via Multimodal Reasoning(Findings of ACL 2026):由起终点图像生成场景相关的导航语言指令。

11|新加坡南洋理工大学——电气与电子工程学院(CARTIN相关团队)

团队依托先进机器人技术创新中心(CARTIN)开展机器人自主感知、导航规划与真实环境部署研究。谢立华教授领导的CARTIN及袁胜海参与的相关研究重点关注视觉语言语义推理与机器人导航系统的结合,分别从层次认知与上下文感知探索、社会场景理解与安全约束规划等方面,提高机器人在复杂真实环境中的自主导航能力。

✨代表成果

  • HiCo-Nav: A Deployable Embodied Vision-Language Navigation System with Hierarchical Cognition and Context-Aware Exploration(IEEE/ASME Transactions on Mechatronics 2026):结合层次化认知记忆、视觉语言推理与上下文感知探索,实现面向真实机器人平台的高效具身导航。

  • G2-Nav: Grounded and Guarded Vision-Language Costmaps for Robot Social Navigation(CoRL 2026):将视觉语言模型的社会场景理解转换为导航代价地图,并结合感知校验与高频安全检查,提高机器人在动态人群环境中的安全导航能力。

本文主要梳理2024年以来国内外研究单位在视觉语言导航、目标导航、图像目标导航、机器人导航、无人机导航及导航指令生成等方向的代表性成果。由于相关研究发展迅速,难免存在遗漏或信息不全之处,欢迎大家在评论区补充相关研究团队及代表成果,共同完善这份研究单位盘点。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐