具身智能开源框架与运行硬件条件

code_pgf

40人浏览 · 2026-07-15 17:37:39

code_pgf · 2026-07-15 17:37:39 发布

版本日期：2026-07-15
适用方向：机械臂操作、移动机器人、人形机器人、VLA、模仿学习、强化学习、仿真训练与 ROS 2 真机部署

摘要

具身智能并不存在一个能够独立覆盖“数据采集—模型训练—仿真评测—运动规划—真机控制”的单一开源框架。实际工程通常由以下五层组合而成：

机器人数据与策略训练层：LeRobot、robomimic；
VLA/通用机器人模型层：OpenPI、OpenVLA、OpenVLA-OFT、Isaac GR00T、Octo、SmolVLA；
仿真与强化学习层：Isaac Lab、ManiSkill、MuJoCo Playground、robosuite、Habitat-Lab、RoboCasa、OmniGibson、Genesis World；
数据集与评测层：LIBERO、SimplerEnv、BEHAVIOR-1K、RoboCasa365；
真机控制与系统集成层：ROS 2、MoveIt 2、Nav2、ros2_control 和机器人厂商 SDK。

硬件选型必须区分四种负载：

仅启动框架或运行状态仿真；
视觉仿真、数据回放与评测；
模型推理；
模型微调或大规模预训练。

对于常见研发团队，推荐采用“GPU 工作站/服务器负责训练和大模型推理，Jetson 负责传感器、实时感知、安全控制和轻量策略”的分布式架构。

1. 具身智能开源技术栈

典型具身智能系统可划分为以下层级：

语言指令 / 图像 / 深度 / 点云 / 机器人状态
                     │
                     ▼
          VLA模型或机器人策略模型
     OpenPI / OpenVLA / GR00T / SmolVLA
                     │
                     ▼
          动作块、末端位姿或技能指令
                     │
                     ▼
     安全约束 / IK / 碰撞检测 / 动作平滑
                     │
                     ▼
     MoveIt 2 / Nav2 / ros2_control / SDK
                     │
                     ▼
       机械臂 / 移动底盘 / 双臂 / 人形机器人

训练侧通常还需要：

真机遥操作数据 ─┐
公开机器人数据 ─┼─> 数据标准化与训练框架 ─> 策略模型
仿真生成数据   ─┘        LeRobot / robomimic

仿真环境 ─> Isaac Lab / ManiSkill / MuJoCo / RoboCasa
评测环境 ─> LIBERO / SimplerEnv / BEHAVIOR-1K

2. VLA与端到端机器人学习框架

2.1 LeRobot

定位： 面向真实机器人数据采集、数据集管理、策略训练、评估和控制的一体化开源框架。

主要能力：

统一机器人、相机、遥操作设备和数据集接口；
支持 ACT、Diffusion Policy、SmolVLA、Pi 系列等策略；
支持低成本机械臂和自定义机器人接口扩展；
可用于数据录制、回放、训练、评估和真机执行；
适合从低成本机械臂入门，并逐步扩展至复杂 VLA。

优势：

工程闭环完整；
数据格式与 Hugging Face 生态结合紧密；
对低成本硬件和单机训练友好；
适合作为具身智能项目的上层数据与策略框架。

局限：

不替代 ROS 2、MoveIt 2 或底层实时控制器；
大型 VLA 的资源需求仍由具体模型决定；
自定义工业机器人通常需要实现新的 Robot 接口或 ROS 2 适配层。

推荐场景：

SO-100/SO-101、ALOHA、双臂和自研机械臂；
真机模仿学习；
ACT、Diffusion Policy、SmolVLA 训练与部署；
机器人数据标准化和数据集管理。

2.2 OpenPI

定位： Physical Intelligence 开源的通用机器人策略模型训练、微调和推理框架。

主要能力：

提供 π 系列模型的训练与推理代码；
支持多图像、语言、机器人状态到动作序列的预测；
支持策略服务器与机器人客户端分离；
适合大规模多机器人数据上的 VLA 研究。

优势：

通用策略能力强；
适合研究 Flow Matching、动作分块和跨本体泛化；
支持将大模型放在服务器端，机器人端通过网络调用。

局限：

GPU 显存要求明显高于 ACT 和 SmolVLA；
不是完整机器人中间件；
需要自行对接 ROS 2、机器人 SDK、相机同步和安全控制。

推荐场景：

高性能 VLA 研究；
具备 24GB 以上 GPU 的实验室；
服务器推理、机器人端轻量客户端架构。

2.3 OpenVLA与OpenVLA-OFT

定位： 开源视觉—语言—动作模型，以及针对高频连续动作控制的优化微调方案。

主要能力：

将视觉和语言输入映射为机器人动作；
支持 LoRA 微调；
可在 LIBERO 等任务上训练和评测；
OpenVLA-OFT 支持连续动作、多图像输入和更高频推理。

优势：

研究资料和复现实例较丰富；
适合研究 VLA 的语言泛化和跨任务迁移；
OFT 路线改善了原始 OpenVLA 的动作输出效率。

局限：

原始 7B 级模型显存占用高；
对 Jetson Orin NX 16GB 不友好；
真机部署仍需安全过滤、控制频率适配和机器人接口封装。

推荐场景：

VLA 算法研究；
RTX 4090、L40、A6000、A100 等 GPU；
LIBERO、ALOHA 和双臂操作实验。

2.4 NVIDIA Isaac GR00T

定位： 面向人形机器人、双臂和跨本体操作的通用机器人基础模型与训练工具链。

主要能力：

图像、语言和机器人状态到动作的端到端策略；
支持相对末端执行器动作空间；
支持多种人形和操作本体；
可与 Isaac Lab、RoboCasa 和合成数据工具配合；
支持策略服务器—客户端部署模式。

优势：

人形机器人生态完整；
与 NVIDIA 仿真、训练和部署工具链结合紧密；
适合大规模数据、合成数据和跨本体训练。

局限：

推理和微调显存要求较高；
对 NVIDIA 软件栈依赖较强；
Jetson Orin NX 16GB 难以承担完整模型的稳定高频推理。

推荐场景：

人形机器人和双臂；
Isaac Lab 仿真训练；
具备 40GB 以上显存的微调环境；
服务器推理加机器人端控制。

2.5 Octo

定位： 通用机器人策略和跨机器人微调研究框架。

主要能力：

提供预训练策略与微调代码；
支持多机器人数据；
可用于 WidowX 等真实机器人；
适合研究通用机器人策略和迁移学习。

优势：

参数规模相对大型 7B VLA 更小；
跨本体研究价值高；
可作为 VLA 与传统策略之间的中间方案。

局限：

基于 JAX 的训练和部署环境对 ARM/Jetson 适配要求较高；
真机生态不如 LeRobot 完整；
部署时通常需要自行建立控制接口。

2.6 框架对比

框架	主要定位	数据采集	策略训练	VLA	真机接口	最适合方向
LeRobot	数据与机器人学习全流程	强	强	支持	较强	低成本机械臂、模仿学习
OpenPI	通用VLA训练与推理	弱	强	强	需适配	大模型VLA研究
OpenVLA/OFT	开源VLA模型	弱	强	强	需适配	VLA微调与评测
Isaac GR00T	人形与跨本体基础模型	中	强	强	中	人形、双臂、规模化训练
Octo	通用机器人策略	弱	强	中	中	跨机器人迁移
ACT	动作分块模仿学习	依赖上层	强	弱	较容易	单任务、低延迟操作
Diffusion Policy	扩散动作策略	依赖上层	强	弱	中	连续、平滑、多模态动作

3. 仿真与强化学习框架

3.1 Isaac Lab

底层： NVIDIA Isaac Sim、PhysX、RTX 渲染。

能力：

GPU 并行机器人环境；
强化学习、模仿学习、运动控制；
相机、深度、点云、接触和多传感器仿真；
机械臂、移动操作、人形、四足和灵巧手；
Sim2Real、域随机化和大规模并行训练。

优势：

NVIDIA GPU 上综合能力强；
视觉、物理、传感器和机器人资产工具链完整；
适合人形和复杂操作任务。

局限：

安装和显卡驱动要求较高；
显存、内存和硬盘消耗较大；
不适合在 Jetson Orin NX 上进行大规模训练。

3.2 ManiSkill

底层： SAPIEN、Vulkan、GPU 并行仿真。

能力：

状态和视觉机器人任务；
大规模并行环境；
点云、体素和多视角视觉输入；
操作、移动操作、人形和灵巧手任务；
强化学习、模仿学习和轨迹生成。

优势：

GPU 仿真效率高；
创建自定义操作任务相对方便；
Linux + NVIDIA GPU 支持较成熟；
状态仿真可在无渲染 GPU 的情况下运行。

局限：

视觉渲染需要 Vulkan；
Headless 服务器配置可能需要额外调试；
对 ARM/Jetson 的主流支持不如 x86 NVIDIA 工作站。

3.3 MuJoCo Playground

底层： MuJoCo MJX、JAX。

能力：

GPU 加速机器人学习；
四足、人形、机械臂和灵巧手任务；
强化学习训练；
状态输入和视觉输入；
Sim2Real 训练与部署。

优势：

单 GPU 训练速度快；
MuJoCo 生态成熟；
适合运动控制、四足和人形强化学习；
框架开源且安装相对简洁。

局限：

JAX 环境与 CUDA 版本需要严格匹配；
Jetson ARM 部署适配成本较高；
复杂视觉场景丰富度低于 Isaac Sim。

3.4 robosuite

底层： MuJoCo。

能力：

模块化机械臂操作环境；
自定义机器人、夹爪、任务和控制器；
复合控制和全身控制；
遥操作和视觉观测；
与 robomimic、LIBERO、RoboCasa 等生态关联紧密。

优势：

任务结构清晰；
CPU 即可启动基础仿真；
适合机器人操作算法原型验证；
学术复现生态成熟。

局限：

大规模 GPU 并行能力弱于 Isaac Lab 和 ManiSkill；
高保真复杂场景有限；
大规模视觉强化学习需要额外 GPU 和多进程优化。

3.5 Habitat-Lab与Habitat-Sim

定位： 室内导航、指令跟随、具身问答、重排和人机交互。

能力：

高性能室内三维仿真；
RGB、深度、语义和位置传感器；
导航、语言导航、物体重排；
强化学习、模仿学习和传统 Sense-Plan-Act；
标准任务和评测指标。

优势：

导航型具身智能生态成熟；
渲染效率高；
适合移动机器人、家庭服务机器人和智能体研究。

局限：

精细接触操作能力不是其主要优势；
真机机械臂控制仍需 MoveIt 2 和 ROS 2；
不适合作为人形全身动力学训练的唯一平台。

3.6 RoboCasa与RoboCasa365

底层： robosuite、MuJoCo。

能力：

厨房和日常环境操作；
长程复合任务；
多样化场景、物体和家具；
人类示范与合成示范；
通用机器人策略训练和系统化评测。

优势：

日常家庭操作任务丰富；
适合研究多任务、长程规划和通用操作；
与 robosuite、GR00T、LeRobot 等项目具备衔接价值。

局限：

场景、资产和数据占用较大；
大规模视觉训练需要较强 GPU 和存储；
不适合直接在 Jetson 上承担完整仿真训练。

3.7 OmniGibson与BEHAVIOR-1K

底层： NVIDIA Isaac Sim、PhysX。

能力：

家庭场景和复杂日常活动；
物体状态变化；
烹饪、清洁、整理等长程任务；
多种机器人和交互对象；
BEHAVIOR-1K 任务与评测体系。

优势：

复杂家庭任务语义丰富；
支持对象状态和物理交互；
适合服务机器人和长程任务研究。

局限：

对 GPU、内存和存储要求较高；
安装依赖复杂；
不适合边缘端运行大型场景。

3.8 Genesis World

定位： 面向 Physical AI 的统一多物理仿真平台。

能力：

多物理引擎；
照片级渲染；
Python 接口；
支持从笔记本 CPU 到数据中心 GPU；
面向机器人与具身智能学习扩展。

优势：

多后端和跨平台设计；
Python 可读性和可扩展性较好；
适合探索新型物理仿真与生成式任务。

局限：

生态和长期稳定性仍在快速发展；
部分高级能力需要进一步验证；
工业项目需先评估版本兼容性和任务复现性。

3.9 仿真平台对比

框架	操作	导航	人形/四足	GPU并行	高保真视觉	典型用途
Isaac Lab	强	中	强	强	强	人形、操作、Sim2Real
ManiSkill	强	中	中	强	中	GPU并行操作学习
MuJoCo Playground	中	弱	强	强	中	运动控制、强化学习
robosuite	强	弱	中	弱	中	模块化机械臂研究
Habitat-Lab	中	强	弱	中	强	导航、重排、语言任务
RoboCasa	强	中	中	中	强	厨房、家庭操作
OmniGibson	强	中	中	中	强	家庭长程任务
Genesis World	强	中	强	强	强	多物理与前沿研究

4. 数据、模仿学习与评测框架

4.1 robomimic

定位： 从机器人示范数据学习策略的开源框架。

主要能力：

行为克隆；
离线强化学习；
统一数据集和训练接口；
模拟与真实机器人数据；
训练、评估和算法复现。

适合场景：

学习 ACT、BC-RNN、Transformer 等策略前的基线验证；
验证示范数据质量；
机器人操作离线学习；
与 robosuite 配合构建完整实验。

4.2 LIBERO

定位： 多任务和终身机器人学习基准。

主要能力：

130 个机器人操作任务；
空间、对象、目标和综合任务套件；
评估声明性知识和程序性知识迁移；
支持多任务学习、顺序学习和灾难性遗忘研究。

适合场景：

OpenVLA、OpenPI、Octo、SmolVLA 等策略评测；
多任务迁移；
终身学习和持续学习。

4.3 SimplerEnv

定位： 在仿真中评估真实机器人操作策略。

主要方法：

Visual Matching：使仿真视觉尽量匹配真实机器人场景；
Variant Aggregation：改变背景、光照、纹理、干扰物等变量，并对结果聚合。

适合场景：

RT-1、Octo、OpenVLA 等通用策略评测；
减少大规模真机评测成本；
比较不同视觉策略的稳健性。

4.4 RoboCasa365与BEHAVIOR-1K

这两类平台同时承担仿真环境、任务集合、数据生成和评测基准功能：

RoboCasa365：更偏向厨房、移动操作和日常任务；
BEHAVIOR-1K：更偏向复杂家庭活动、对象状态变化和长程行为。

5. ROS 2与真实机器人控制层

VLA 和策略模型通常输出以下一种结果：

关节位置或速度；
末端执行器位姿；
动作块；
离散技能；
自然语言或符号化子任务。

这些输出不能无条件直接发送给机器人。真机部署还需要：

5.1 ROS 2

负责：

节点通信；
Topic、Service 和 Action；
传感器消息；
TF 坐标树；
时间同步；
生命周期和系统管理。

5.2 MoveIt 2

负责：

机械臂运动规划；
逆运动学；
碰撞检测；
轨迹规划和执行；
MoveIt Servo 实时末端控制；
规划场景与三维感知。

5.3 Nav2

负责：

移动机器人定位；
全局和局部规划；
行为树；
障碍物避让；
路径跟踪；
移动操作中的底盘导航。

5.4 ros2_control

负责：

机器人硬件抽象；
控制器管理；
关节位置、速度和力矩接口；
轨迹控制器；
与底层驱动和实时总线对接。

5.5 安全执行层

建议在 VLA 与机器人控制器之间增加：

VLA动作
  │
  ├─> 动作范围限制
  ├─> 速度和加速度限制
  ├─> 工作空间限制
  ├─> 碰撞检测
  ├─> IK可达性检测
  ├─> 自碰撞检查
  ├─> 低通滤波与动作平滑
  └─> 急停和看门狗
           │
           ▼
     MoveIt 2 / ros2_control

6. 运行硬件条件

说明：

“官方要求”来自项目官方仓库或文档；

“工程建议”是针对常见视觉输入、单机实验和真机部署给出的保守范围；

实际占用受模型大小、批量、图像数量、分辨率、动作长度、是否冻结视觉编码器等因素影响。

6.1 VLA与策略框架硬件条件

框架/模型	最低可运行或训练条件	推荐训练配置	真机推理建议	Orin NX 16GB
LeRobot + ACT	低于8GB显存可训练小任务	RTX 3060 12GB以上，32GB内存	CPU或4–8GB GPU	适合
LeRobot + Diffusion Policy	约6–10GB可启动小批量训练	12–24GB显存	6–10GB显存，FP16	可部署
LeRobot + SmolVLA	官方指引倾向12–16GB显存	RTX 4090 24GB更稳妥	建议8–12GB可用显存	可尝试优化部署
OpenPI π系列	官方推理要求8GB以上显存	LoRA约22.5GB以上；全量约70GB以上	24GB级GPU更稳妥	不建议完整本地运行
OpenVLA	LoRA通常需要约27GB以上	48–80GB显存更合适	24GB较紧，48GB更稳	不适合原始完整模型
OpenVLA-OFT	LIBERO推理约16GB；ALOHA约18GB	27–80GB，取决于训练设置	16–24GB	不推荐直接部署
GR00T N1.7	官方推理要求16GB以上显存	微调推荐40GB以上	16GB以上，优先TensorRT	容量临界，不推荐主方案
Octo-Small/Base	工程建议8GB以上	12–24GB	4–8GB视模型而定	模型可行，软件适配较难
robomimic传统BC	4–8GB可运行小任务	8–16GB	通常4–8GB	适合轻量策略

硬件判断原则

显存小于8GB
优先 ACT、传统行为克隆、低分辨率单相机输入。
显存12–16GB
可训练 SmolVLA、Diffusion Policy 和较大的 ACT；大型 VLA 只能使用小批量、梯度累积或量化。
显存24GB
适合主流单机机器人学习；可进行 OpenPI LoRA、SmolVLA 全量微调和部分 OpenVLA 实验。
显存40–48GB
适合 GR00T 微调、OpenVLA LoRA、大批量 VLA 训练和复杂多相机输入。
显存80GB及多卡
适合大型 VLA 全量微调、多机器人数据和大规模预训练。

6.2 仿真框架硬件条件

框架	官方或基础要求	推荐配置	Jetson适配判断
Isaac Lab	32GB内存、16GB以上显存	64GB内存、RTX 4090/专业卡、NVMe	不适合Orin NX训练
Isaac Sim	复杂场景建议16GB以上显存	64GB内存、16–48GB显存	Jetson不是主要开发平台
ManiSkill	状态仿真不强制GPU；渲染需Vulkan	RTX 3060 12GB起，视觉训练推荐24GB	不建议作为Orin主训练平台
MuJoCo Playground	CPU可调试，GPU用于MJX训练	8–24GB NVIDIA GPU	ARM/JAX适配成本高
robosuite	CPU可运行基础仿真	16–32GB内存、8GB以上GPU用于视觉训练	可运行小任务
Habitat-Lab	基础仿真可CPU/GPU	16–32GB内存、8–16GB GPU	可做轻量导航研究
RoboCasa	基础环境依赖MuJoCo	32–64GB内存、12–24GB GPU、大容量SSD	不建议完整运行
OmniGibson	32GB内存、RTX 2070以上、8GB显存	64GB内存、RTX 3090/4090	不适合Orin NX
Genesis World	可从CPU扩展到GPU	Linux + NVIDIA GPU，8–16GB以上	可尝试无渲染小任务
LIBERO	依赖robosuite/MuJoCo	16–32GB内存、8–24GB GPU	小规模评测可尝试
SimplerEnv	NVIDIA GPU和兼容CUDA	仿真与VLA同时运行建议24GB以上	不推荐完整运行

6.3 ROS 2与真机控制硬件条件

负载	CPU	内存	GPU/加速器	推荐平台
ROS 2通信、TF、驱动	4核以上	8GB	不需要	x86、树莓派5、Jetson
ros2_control与机械臂控制	4–8核	8–16GB	不需要	工控机、Jetson
MoveIt 2运动规划	6–8核	16GB	非必需	x86或Orin NX
Nav2导航	4–8核	8–16GB	非必需	Orin NX
YOLO与视觉感知	8核	16GB	CUDA/NPU	Orin NX/AGX
LiDAR SLAM与点云	8核以上	16–32GB	可选CUDA	Orin NX/AGX/x86
多相机+3D感知+VLA	8–16核	32GB以上	建议16GB以上GPU	GPU服务器+机器人端
Isaac Lab训练	8–16核	32–64GB	16GB以上RTX GPU	x86工作站

6.4 存储、内存和网络条件

存储

机器人数据通常包含多路 RGB、深度、点云、关节状态和动作，因此存储需求不可忽略。

项目规模	推荐存储
入门单任务数据集	500GB–1TB NVMe
多任务机械臂数据	2–4TB NVMe
大规模仿真资产和数据	4–8TB
多机器人或长期采集	NAS/对象存储，10TB以上

系统内存

基础机器人策略训练：32GB；
Isaac Lab、RoboCasa、多进程数据加载：64GB；
多卡、大规模数据预处理：128GB以上。

网络

远端 VLA 推理需要评估：

相机帧压缩；
机器人状态传输；
动作返回延迟；
抖动与丢包；
网络断开时的安全降级。

建议：

机器人与策略服务器使用千兆或2.5GbE有线网络；
控制循环保留在机器人端；
远端模型只输出较低频动作块或目标位姿；
本地安全层以更高频率执行插值和约束。

7. Jetson Orin NX 16GB部署建议

7.1 适合在Orin NX运行的模块

ROS 2 Humble；
TF、时间同步和设备驱动；
Nav2；
MoveIt 2和ros2_control；
YOLO检测、分割和轻量深度估计；
相机、LiDAR、IMU预处理；
ACT等轻量策略；
经过FP16、ONNX或TensorRT优化的策略；
LeRobot数据采集和机器人控制客户端；
动作安全过滤、IK检查和轨迹执行。

7.2 不建议直接运行的模块

OpenVLA-7B完整BF16模型；
OpenPI大型π模型的高频完整推理；
GR00T完整模型的稳定高频推理；
Isaac Lab大规模并行训练；
OmniGibson大型家庭场景；
多路高分辨率相机仿真与大型VLA同时运行；
大规模VLA微调。

7.3 推荐分布式架构

┌──────────────────────────────────────┐
│     RTX 4090 / L40 / A100服务器       │
│                                      │
│  LeRobot训练                          │
│  Isaac Lab / ManiSkill仿真            │
│  SmolVLA / OpenPI / OpenVLA / GR00T  │
│  策略服务器                           │
└──────────────────┬───────────────────┘
                   │ Ethernet / ROS 2 / gRPC / ZeroMQ
                   ▼
┌──────────────────────────────────────┐
│       Jetson Orin NX 16GB机器人端     │
│                                      │
│  传感器采集与时间同步                 │
│  YOLO / 深度 / 点云感知               │
│  ROS 2 / Nav2 / MoveIt 2             │
│  动作约束与安全控制                   │
│  轻量策略或远端策略客户端             │
│  ros2_control / 厂商SDK              │
└──────────────────────────────────────┘

7.4 推荐控制频率分层

模块	建议频率
VLA远端推理	2–10Hz
动作块更新	5–20Hz
MoveIt Servo/末端控制	50–100Hz
关节控制器	100–1000Hz
安全监控与急停	独立高优先级

大型 VLA 不应直接承担毫秒级底层控制。更稳妥的方式是让 VLA 输出动作块、目标位姿或技能，再由机器人端控制器进行插值、碰撞检查和实时执行。

8. 推荐硬件档位

8.1 入门开发配置

CPU：Intel i7 / Ryzen 7
内存：32GB
GPU：RTX 3060 12GB或RTX 4060 Ti 16GB
存储：1TB NVMe

适合：

LeRobot；
ACT；
传统行为克隆；
小规模 Diffusion Policy；
robosuite；
LIBERO基础实验；
ROS 2与真机控制开发。

8.2 主流具身智能工作站

CPU：Intel i9 / Ryzen 9
内存：64GB
GPU：RTX 4090 24GB
存储：2–4TB NVMe

适合：

LeRobot全流程；
SmolVLA；
Diffusion Policy；
Octo实验；
OpenPI LoRA；
ManiSkill；
MuJoCo Playground；
Isaac Lab基础和中等规模任务。

这是目前单机具身智能研发中性价比较高的配置。

8.3 专业VLA工作站

CPU：16核以上工作站CPU
内存：128GB
GPU：RTX 6000 Ada / RTX PRO / L40，48GB显存
存储：4TB以上NVMe

适合：

OpenVLA LoRA；
GR00T微调；
多相机 VLA；
大批量训练；
复杂仿真；
大规模机器人数据处理。

8.4 研究服务器

GPU：4–8张A100/H100/H200 80GB
内存：512GB以上
高速存储：NVMe阵列或对象存储
网络：100GbE/InfiniBand

适合：

大型VLA全量微调；
多机器人数据训练；
大规模预训练；
超大批量仿真；
多节点分布式训练。

8.5 机器人端配置

低成本机械臂

树莓派5 / Mini PC / Jetson Orin Nano
8–16GB内存
轻量相机

适合设备控制、数据采集和 ACT 推理。

移动操作机器人

Jetson Orin NX 16GB
ROS 2
Nav2
MoveIt 2
YOLO / 深度 / 点云感知

适合传感器融合、轻量策略和远端 VLA 客户端。

人形和多相机机器人

Jetson AGX Orin 64GB / Thor级平台
或机器人端工控机 + 独立GPU

适合多相机、全身状态、复杂感知和更大的本地策略。

9. 典型方案组合

9.1 低成本机械臂快速闭环

LeRobot
  + ACT / Diffusion Policy / SmolVLA
  + SO-100/SO-101或自研机械臂
  + ROS 2
  + MoveIt 2

推荐硬件：

训练：RTX 3060 12GB至RTX 4090 24GB；
真机：Mini PC或Jetson Orin NX；
适合先使用 ACT 建立基线，再升级到 SmolVLA。

9.2 通用VLA研究

OpenPI / OpenVLA-OFT
  + LIBERO
  + robosuite / RoboCasa
  + SimplerEnv
  + 真实机械臂

推荐硬件：

最低：RTX 4090 24GB进行部分LoRA实验；
推荐：48GB GPU；
大规模训练：A100/H100 80GB或多卡。

9.3 人形机器人

Isaac GR00T
  + Isaac Lab
  + MuJoCo Playground
  + ROS 2
  + 厂商底层控制SDK

推荐硬件：

仿真训练：RTX 4090、L40、A100/H100；
GR00T微调：40GB以上显存；
机器人端：AGX Orin 64GB或策略服务器—客户端模式。

9.4 移动操作机器人

Habitat-Lab / Isaac Lab
  + LeRobot / OpenPI策略
  + Nav2
  + MoveIt 2
  + ros2_control

推荐硬件：

训练工作站：RTX 4090 24GB；
机器人端：Jetson Orin NX 16GB；
VLA较大时采用远端推理。

9.5 强化学习与运动控制

MuJoCo Playground / ManiSkill / Isaac Lab
  + PPO / SAC / imitation learning
  + ROS 2真机部署

推荐硬件：

状态强化学习：8–16GB显存；
视觉强化学习：16–24GB以上；
人形大规模并行：24–48GB或多卡。

9.6 针对Jetson Orin NX的最终推荐组合

训练工作站：RTX 4090 24GB + 64GB内存
机器人端：Jetson Orin NX 16GB
数据与训练：LeRobot
轻量策略：ACT / SmolVLA
仿真：Isaac Lab或ManiSkill
机械臂：MoveIt 2 + ros2_control
移动底盘：Nav2
通信：ROS 2 Humble
大模型：服务器端OpenPI/OpenVLA/GR00T

10. 选型结论

10.1 按目标选择

项目目标	优先选择
快速完成低成本机械臂闭环	LeRobot + ACT + ROS 2
轻量VLA与边缘部署	LeRobot + SmolVLA
通用VLA研究	OpenPI或OpenVLA-OFT
人形机器人基础模型	Isaac GR00T
GPU并行操作仿真	ManiSkill或Isaac Lab
四足、人形运动控制	MuJoCo Playground或Isaac Lab
室内导航与具身语言任务	Habitat-Lab
厨房和家庭操作	RoboCasa/RoboCasa365
长程家庭活动	OmniGibson/BEHAVIOR-1K
模仿学习基线	robomimic
终身学习评测	LIBERO
真实策略仿真评测	SimplerEnv
机械臂规划与执行	MoveIt 2
移动机器人导航	Nav2

10.2 综合建议

对于多数具身智能项目，推荐按以下顺序建设：

使用 ROS 2 + ros2_control 打通机器人和传感器；
使用 MoveIt 2/Nav2 建立可靠的传统控制基线；
使用 LeRobot + ACT 完成数据采集、训练和真机闭环；
使用 SmolVLA或Diffusion Policy 提升多任务和视觉泛化；
使用 Isaac Lab/ManiSkill 进行仿真、域随机化和数据扩充；
在有48GB以上GPU或服务器条件后，再引入 OpenPI、OpenVLA或GR00T；
大模型输出必须经过机器人端的安全约束和实时控制层。

对于 Jetson Orin NX 16GB，最合理的定位不是“大模型训练服务器”，而是：

机器人传感器计算中心；
ROS 2系统主机；
实时感知节点；
动作安全和轨迹执行节点；
轻量策略推理设备；
大型 VLA 的远端客户端。

参考资料

LeRobot官方仓库：https://github.com/huggingface/lerobot
LeRobot硬件/策略指引：https://github.com/huggingface/lerobot/blob/main/AGENT_GUIDE.md
OpenPI官方仓库：https://github.com/Physical-Intelligence/openpi
OpenVLA官方仓库：https://github.com/openvla/openvla
OpenVLA-OFT官方仓库：https://github.com/moojink/openvla-oft
NVIDIA Isaac GR00T：https://github.com/NVIDIA/Isaac-GR00T
GR00T硬件建议：https://github.com/NVIDIA/Isaac-GR00T/blob/main/getting_started/hardware_recommendation.md
Octo官方仓库：https://github.com/octo-models/octo
Isaac Lab安装与硬件要求：https://isaac-sim.github.io/IsaacLab/main/source/setup/installation/index.html
Isaac Sim系统要求：https://docs.isaacsim.omniverse.nvidia.com/6.0.0/installation/requirements.html
ManiSkill官方文档：https://maniskill.readthedocs.io/en/latest/user_guide/getting_started/installation.html
MuJoCo Playground：https://github.com/google-deepmind/mujoco_playground
robosuite官方仓库：https://github.com/ARISE-Initiative/robosuite
Habitat-Lab官方仓库：https://github.com/facebookresearch/habitat-lab
RoboCasa官方仓库：https://github.com/robocasa/robocasa
OmniGibson/BEHAVIOR安装要求：https://behavior.stanford.edu/getting_started/installation.html
Genesis World官方仓库：https://github.com/Genesis-Embodied-AI/genesis-world
robomimic：https://github.com/ARISE-Initiative/robomimic
LIBERO：https://github.com/Lifelong-Robot-Learning/LIBERO
SimplerEnv：https://github.com/simpler-env/SimplerEnv
MoveIt 2：https://github.com/moveit/moveit2
Nav2文档：https://docs.nav2.org/

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

智元展示物理 AI 加速迈向真实世界部署，Arm 提供关键技术赋能

DAMO开发者矩阵

ROS2 实时资源隔离方案：VLM推理进程与机械臂控制线程解耦

本文提出了一种基于Linux cgroups v2的资源隔离方案，用于解决机器人系统中视觉语言模型(VLM)推理与机械臂控制任务间的CPU资源竞争问题。该方案将24核CPU划分为实时核(0-3)、AI推理核(4-15)和通用核(16-23)三组，通过自动化脚本配置cgroup权重和核心绑定。测试结果显示：在高并发负载下，该方案使机械臂控制指令的延迟波动降低18.3%，抖动减少8.5%，平均延迟下降

DAMO开发者矩阵

企业网络综合搭建与运维管理学习心得

本学期《企业网络管理》课程以真实中小型企业局域网为核心场景，开展了全方位的网络搭建与运维实训教学。整套课程涵盖ENSP仿真拓扑搭建、VLAN虚拟局域网划分、三层交换机路由配置、静态NAT地址转换、FTP文件服务器部署、防火墙安全策略配置以及全网故障排查等全流程实操内容。在学习本课程之前，我对计算机网络的认知仅局限于家用路由器上网、日常网页浏览等浅层应用，完全不了解企业级网络的组网规范、隔离逻辑与运

DAMO开发者矩阵

所有评论(0)

查看更多评论

code_pgf

@m0_60827485

已为社区贡献18条内容

具身智能开源框架与运行硬件条件

code_pgf

摘要

目录

1. 具身智能开源技术栈

2. VLA与端到端机器人学习框架

2.1 LeRobot

2.2 OpenPI

2.3 OpenVLA与OpenVLA-OFT

2.4 NVIDIA Isaac GR00T

2.5 Octo

2.6 框架对比

3. 仿真与强化学习框架

3.1 Isaac Lab

3.2 ManiSkill

3.3 MuJoCo Playground

3.4 robosuite

3.5 Habitat-Lab与Habitat-Sim

3.6 RoboCasa与RoboCasa365

3.7 OmniGibson与BEHAVIOR-1K

3.8 Genesis World

3.9 仿真平台对比

4. 数据、模仿学习与评测框架

4.1 robomimic

4.2 LIBERO

4.3 SimplerEnv

4.4 RoboCasa365与BEHAVIOR-1K

5. ROS 2与真实机器人控制层

5.1 ROS 2

5.2 MoveIt 2

5.3 Nav2

5.4 ros2_control

5.5 安全执行层

6. 运行硬件条件

6.1 VLA与策略框架硬件条件

硬件判断原则

6.2 仿真框架硬件条件

6.3 ROS 2与真机控制硬件条件

6.4 存储、内存和网络条件

存储

系统内存

网络

7. Jetson Orin NX 16GB部署建议

7.1 适合在Orin NX运行的模块

7.2 不建议直接运行的模块

7.3 推荐分布式架构

7.4 推荐控制频率分层

8. 推荐硬件档位

8.1 入门开发配置

8.2 主流具身智能工作站

8.3 专业VLA工作站

8.4 研究服务器

8.5 机器人端配置

低成本机械臂

移动操作机器人

人形和多相机机器人

9. 典型方案组合

9.1 低成本机械臂快速闭环

9.2 通用VLA研究

9.3 人形机器人

9.4 移动操作机器人

9.5 强化学习与运动控制

9.6 针对Jetson Orin NX的最终推荐组合

10. 选型结论

10.1 按目标选择

10.2 综合建议

参考资料

所有评论(0)

温馨提示：您尚未绑定手机号

code_pgf