基于5090D服务器的NVIDIA Alpamayo实验

Knight_V_Schumacher

22人浏览 · 2026-07-14 21:39:18

Knight_V_Schumacher · 2026-07-14 21:39:18 发布

基于5090D服务器的NVIDIA Alpamayo体验

Alpamayo项目概述
系统环境要求
- 硬件要求
- 软件要求
实验记录
致谢

Alpamayo项目概述

项目简介

Alpamayo（如Alpamayo-R1-10B）是由NVIDIA社区（nv-community）推出的前沿开源自动驾驶大模型项目。该项目致力于将大语言模型（LLM）的强大推理能力与自动驾驶的视觉感知和动作控制深度融合，打造具备**“视觉-语言-动作”（Vision-Language-Action, VLA）**能力的下一代物理AI（PhysicalAI）系统。
在这里插入图片描述

VLA与因果推理

传统的自动驾驶模型通常是“黑盒”，直接从传感器数据映射到控制信号。Alpamayo的核心突破在于引入了**因果推理链（Chain-of-Causation）**机制。模型不仅能处理多模态输入（如车载摄像头图像），还能像人类驾驶员一样进行逻辑思考：先理解场景中的危险源和因果关系，用自然语言解释“为什么”要采取某种动作，随后再生成具体的行驶轨迹。

主要功能与特点

高度可解释的驾驶决策：模型能够输出类似*“向左微调方向，以增加与侵入车道的施工锥桶的安全距离”*的自然语言推理过程。这种白盒化的决策机制极大提升了自动驾驶系统的透明度、安全性和可解释性。
多模态轨迹规划与预测：在深度理解复杂交通场景（如施工区域、障碍物、动态车辆）的基础上，模型能够生成安全、平滑的预测轨迹（Trajectory），并支持通过minADE（最小平均位移误差）等标准指标进行精准评估。
灵活的采样与部署：模型支持多轨迹采样（Trajectory Sampling）以应对驾驶环境的不确定性，同时其10B（100亿参数）等版本在保持强大推理能力的同时，优化了显存占用，适合在消费级GPU或边缘计算设备上进行高效推理。

开源生态与开发者支持

Alpamayo 模型权重及相关数据集已在 Hugging Face和ModelScope等主流开源平台全面开放。项目提供了完善的Python推理脚本（如 test_inference.py）和Jupyter可视化Notebook，支持开发者便捷地下载模型、复现推理结果并进行二次开发，极大降低了物理AI自动驾驶模型的研究与落地门槛。

系统环境要求

根据官方文档，运行Alpamayo模型需要满足以下硬件配置要求。

硬件要求

GPU：
最低要求：NVIDIA GPU，显存≥24GB
推荐配置：RTX 3090、RTX 4090、RTX 5090、A5000、A100、H100

其他硬件：

CPU	内存	存储
现代多核处理器（推荐8核以上）	建议32GB以上系统内存	至少50GB可用空间

软件要求

操作系统	Python版本	CUDA和GPU驱动
Linux系统	Python 3.12	NVIDIA驱动

此外还需安装git、uv。

实验记录

使用conda创建python版本为3.12的虚拟环境，避免影响服务器base环境。

conda create -n pamayo python=3.12

conda activate pamayo

检查Python版本、NVIDIA驱动版本及显存是否空余

python --version
nvidia-smi

安装git

dpkg -x git_1%3a2.43.0-1ubuntu7.3_amd64.deb  git

并在.bashrc中修改

vim ~/.bashrc

export PATH=$PATH:~/git/usr/bin
export GIT_EXEC_PATH=~/git/usr/lib/git-core

在终端输入:wq保存退出

source ~/.bashrc

重新进入终端，验证git版本

conda activate pamayo
git --version

安装uv（需要魔法）

curl -LsSf https://astral.sh/uv/install.sh | sh
# 或
# curl -L#f https://astral.sh/uv/install.sh -o uv-install.sh && sh uv-install.sh && rm uv-install.sh

export PATH="$HOME/.local/bin:$PATH"

uv --version

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

下拉代码&设置环境

git clone https://github.com/NVlabs/alpamayo.git
cd alpamayo

uv venv ar1_venv

source ar1_venv/bin/activate  # Linux/macOS

uv sync --active

下载模型权重（文件较大，走国内modelscope，可非魔法）

mkdir ~/Project/alpamayo
cd ~/Project/alpamayo
git clone https://www.modelscope.cn/nv-community/Alpamayo-R1-10B.git

修改test_inference.py
编辑test_inference.py文件，使用vim修改

model = AlpamayoR1.from_pretrained("nvidia/Alpamayo-R1-10B", dtype=torch.bfloat16).to("cuda")

为

model = AlpamayoR1.from_pretrained("~/Project/alpamayo/Alpamayo-R1-10B", dtype=torch.bfloat16).to("cuda")

登录huggingface，给数据集许可权限，设置token（需要魔法）

数据集地址：https://huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicles
展开上方的说明，划到说明的最下方，允许即可。

token设置地址：https://huggingface.co/settings/tokens
我是把可以能打√的都打上√，不过也有人说设置可读即可。
记得保存你的token访问令牌，不然得删了重新建。

使用HuggingFace CLI认证（需要魔法）

huggingface-cli login

然后输入你的token令牌

运行test_inference.py（需要魔法）

python ~/Project/alpamayo/src/alpamayo_r1/test_inference.py

预期输出：

Loading dataset for clip_id: 030c760c-ae38-49aa-9ad8-f5650a545d26...
Dataset loaded.
Chain-of-Causation (per trajectory):
 [模型生成的推理文本，解释驾驶决策]
minADE: [数值] meters
Note: VLA-reasoning models produce nondeterministic outputs...

输出：
在这里插入图片描述

致谢

上述实验部分步骤参考了https://hermit.blog.csdn.net/article/details/157136160?fromshare=blogdetail&sharetype=blogdetail&sharerId=157136160&sharerefer=PC&sharesource=sjx3161&sharefrom=from_link的实验内容，实验更为充裕完整，如本实验有说明不到位的地方，敬请移步学习。