1 背景

        自动驾驶行业发展多年,常规场景(城市主干道、高速巡航)已经有不错落地效果,但长尾极端场景始终是量产和 Robotaxi 规模化的最大瓶颈。传统自动驾驶方案:感知→预测→规划→控制,模块解耦、大量人工规则,遇到训练集没见过的罕见场景容易失效,而且决策黑盒,难以解释 “车为什么做出这个动作”,给安全审计带来巨大挑战。

        大模型浪潮下,物理 AI(Physical AI)成为自动驾驶新方向,核心思路:模型理解环境、做推理、直接输出驾驶动作。NVIDIA Alpamayo 正是为此而生 —— 一套面向自动驾驶、Robotaxi 的开放视觉语言动作 VLA 推理模型家族,不是单一模型,而是模型 + 仿真框架 + 数据集 + 开发工具的完整栈,也是英伟达在自动驾驶端到端大模型赛道的核心产品NVIDIA。

2 Alpamayo核心架构

2.1 什么是 NVIDIA Alpamayo

        Alpamayo 是 NVIDIA 推出的Reasoning VLA(Vision-Language-Action,视觉 - 语言 - 动作)模型家族,基于 Cosmos 世界基础模型构建,专门解决真实世界复杂、不可预期的驾驶场景,核心亮点:因果链推理 Chain-of-Causation。

简单一句话区别:

  • 传统自动驾驶:看到物体→按预设规则输出轨迹,没有思考过程
  • Alpamayo:读取多相机视频 + 导航信息,理解场景,一步步推理风险,同时输出行驶轨迹 + 可审计的推理文本,可以解释为什么减速、避让、变道NVIDIA

        Alpamayo 属于开放模型,支持商用授权,权重开源(Apache2.0),开发者可以在 HuggingFace、GitHub 获取模型权重,二次微调、蒸馏、压缩,用于自动驾驶算法研发、仿真测试、自动标注、小模型蒸馏。最新版本 Alpamayo 2 Super,34B 参数,面向 Robotaxi 全场景自动驾驶开发NVIDIA。

2.2 模型版本

        Alpamayo 提供多尺寸版本,适配从仿真研发到车载端侧轻量化不同需求:

  1. Alpamayo 1 Nano /1.5 Nano:轻量版本,小参数量,适合学习、小规模实验;
  2. Alpamayo 1 / 1.5(10B 参数):初代主力版本,支持最多 4 路相机输入,验证 VLA 因果推理方案;
  3. Alpamayo 2 Super(34B):当前旗舰,32B Cosmos3 Super 推理主干 + 2B 扩散 Action Expert 动作专家,支持最多 7 路相机 360° 全景感知,长尾场景推理、3D 空间理解、轨迹预测大幅增强,面向 Robotaxi 复杂城市场景开发NVIDIA。

2.3 核心架构拆解

        Alpamayo 采用模块化双分支架构:Cosmos 推理主干 + Diffusion 动作专家

  1. 输入层:多路相机视频流、自车历史运动信息、导航指令、可选文本提示;经过视频、运动、语言编码器编码;
  2. Cosmos Reasoner(主干,VLM 推理大模型):理解多模态驾驶场景,输出因果推理链(Chain-of-Causation),用自然语言描述决策逻辑:例如 “前方路边行人突然走向车道,距离 8 米,有横穿风险,需要减速并保持横向避让空间”;
  3. Action Expert 动作专家(扩散模型):接收主干模型的场景表征,生成满足动力学约束的车辆行驶轨迹、元动作;
  4. 输出:自车规划轨迹 + 完整推理日志 + VQA 场景问答结果。

核心创新点:把驾驶决策的思考过程显式输出。推理日志可以用于安全审计、问题定位、仿真调试,解决端到端自动驾驶最大痛点 —— 决策不可解释。

        整个模型栈和 NVIDIA Cosmos 仿真平台深度绑定,可以在仿真环境批量生成海量长尾场景,做闭环训练与验证,大幅降低实车采集成本。

3 总结

        NVIDIA Alpamayo,是英伟达面向物理 AI 时代推出的自动驾驶 VLA 推理大模型家族,核心杀手锏是 Chain-of-Causation 因果推理,把自动驾驶决策从黑盒变成可追溯、可审计,专门攻克长尾场景难题。 Alpamayo 2 Super 34B 版本支持全车 7 相机 360° 感知,开放商用许可,搭配 Cosmos 仿真、Halos 安全系统,提供一套完整端到端自动驾驶研发工具链。

        它标志自动驾驶正式从 “识别 + 规则” 时代,走向具备场景推理能力的物理 AI 时代。当然,大模型只是基础设施,自动驾驶最终落地依然离不开海量场景验证、安全体系、工程化打磨。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐