机器人强化学习运动控制了解和入门
Isaac Lab / mjlab / MuJoCo
文档定位:面向机器人、仿真和强化学习初学者的教学材料。通过一个四足机器人速度跟踪任务,逐步理解机器人模型、物理仿真、PPO、观测、动作、奖励函数、训练评估和部署验证。
学习方式:建议按章节顺序学习。先完成”Go2 平地行走”这个最小闭环,再学习人形机器人、动作模仿和 Sim2Real。不要一开始就同时安装所有平台、修改大量奖励项或直接训练真机动作。
重要说明:Isaac Lab、mjlab 和相关训练仓库会持续更新。本文中的命令和配置是学习示例,实际使用时应以所安装版本的官方文档、仓库示例和
--help输出为准。示例配置用于解释思路,不保证在所有版本中复制后无需修改即可运行。
学习路线
| 阶段 | 学习内容 | 完成标志 |
|---|---|---|
| 第 1 阶段:认识系统 | 机器人、关节、仿真器、强化学习基本概念 | 能说清机器人如何从传感器数据得到关节命令 |
| 第 2 阶段:搭建环境 | 安装 Isaac Lab 或 mjlab,运行官方示例 | 能启动仿真并看到机器人 |
| 第 3 阶段:第一次训练 | 训练 Go2 平地速度跟踪任务 | 能加载策略,让机器人跟随速度命令 |
| 第 4 阶段:理解训练 | 观察 PPO、奖励曲线、episode 和 checkpoint | 能解释训练是否在进步 |
| 第 5 阶段:学会调参 | 修改速度命令、奖励权重和动作尺度 | 能通过一次只改一个变量的实验改善行为 |
| 第 6 阶段:扩展任务 | 地形、域随机化、人形机器人、动作模仿 | 能理解更复杂任务需要增加哪些模块 |
| 第 7 阶段:部署认知 | ONNX、Sim2Sim、Sim2Real、安全检查 | 知道训练策略怎样进入独立控制程序 |
推荐的入门顺序
- 先了解强化学习和机器人运动控制的基本概念。
- 选择一个平台完成安装,不要同时折腾多个框架。
- 先运行官方 Go2 示例,确认环境和 GPU 正常。
- 再阅读环境配置,理解观测、动作、奖励和终止条件。
- 先做小规模训练和评估,最后再扩大环境数量。
- 初学阶段只在仿真中实验。不要把未经验证的策略直接部署到真机。
学习前需要什么基础?
不要求一开始就精通 PPO 或机器人动力学,但建议具备:
- 会使用终端执行命令,了解文件夹、环境变量和 Python 虚拟环境。
- 能阅读基础 Python 代码,知道函数、类、字典和数组是什么。
- 了解位置、速度、角度、力矩等基本物理量。
- 知道向量和矩阵的基本含义。
如果暂时不熟悉 PPO,可以先学习本文第 2、3 章,再回头看训练配置。
第 1 章:先认识机器人强化学习运动控制
1.1 什么是机器人运动控制?
机器人运动控制要解决的问题很直观:
- 希望机器人向前走,控制器应该怎样驱动关节?
- 希望机器人向左横移,哪些关节应该怎样配合?
- 机器人受到推力后,怎样调整姿态避免摔倒?
- 地面摩擦、机器人负载或电机参数发生变化后,控制器还能不能工作?
传统控制方法通常需要工程师设计控制规律,例如 PID、模型预测控制(MPC)或基于模型的步态控制。
强化学习(Reinforcement Learning,简称 RL)则采用另一种思路:
让机器人在仿真环境中反复尝试,根据任务反馈逐渐学会怎样行动。
在这个过程中,强化学习算法并不是直接”理解”机器人,而是在大量交互数据中学习一个从观测到动作的映射关系。
1.2 一次控制循环是什么样的?
机器人运动控制可以简化为下面这条流程:
目标命令
例如:向前走 0.5 m/s
│
▼
仿真器读取机器人状态
关节角、关节速度、IMU、姿态等
│
▼
整理成观测 Observation
│
▼
神经网络策略 Policy
根据观测计算动作 Action
│
▼
动作转换成关节目标位置
│
▼
PD 控制器计算力矩
│
▼
物理仿真器推进一个时间步
│
▼
计算奖励 Reward
│
└─────── 下一次控制循环
训练时,算法会反复执行这条流程,并利用奖励信号更新策略。评估时,通常固定策略参数,只观察机器人能否完成任务。
1.3 强化学习中的几个基本概念
| 名称 | 英文 | 通俗解释 | 机器人例子 |
|---|---|---|---|
| 智能体 | Agent | 学习和做决策的一方 | 控制 Go2 的策略网络 |
| 环境 | Environment | 智能体与之交互的系统 | 机器人和 MuJoCo / PhysX 仿真 |
| 状态 | State | 环境的完整内部状态 | 所有关节、刚体和速度信息 |
| 观测 | Observation | 智能体实际拿到的信息 | IMU、关节编码器、速度命令 |
| 动作 | Action | 智能体输出的控制量 | 12 个关节的目标角度偏移 |
| 奖励 | Reward | 对当前行为好坏的评价 | 走得接近目标速度会获得奖励 |
| 回合 | Episode | 一次从开始到结束的交互过程 | 机器人站起后走一段,摔倒或超时结束 |
| 策略 | Policy | 根据观测选择动作的规则 | 神经网络 `π(a |
| 检查点 | Checkpoint | 某次训练保存的模型 | model_5000.pt |
需要特别区分:
- 状态(State):仿真器内部可能知道的全部信息。
- 观测(Observation):实际提供给策略网络的信息。
- 动作(Action):策略网络输出的量,不一定就是电机最终接收的力矩。
这三个概念是阅读任何 RL 运动控制代码时最重要的基础。
1.4 PPO 是什么?
PPO(Proximal Policy Optimization,近端策略优化)是一种常见的策略梯度强化学习算法。Isaac Lab 和 mjlab 的许多运动控制示例都使用 PPO。
可以先用一个直观的过程理解 PPO:
- 尝试行动:策略网络根据当前观测输出动作。
- 收集经验:仿真器执行动作,记录观测、动作、奖励和下一状态。
- 评价行为:Critic(价值网络)估计当前状态未来可能获得多少回报。
- 计算优势:判断这次动作比当前策略通常水平好多少。
- 更新策略:Actor(策略网络)调整参数,让更好的动作更可能出现。
- 重复训练:收集新经验,再更新网络。
PPO 的一个重要特点是限制单次策略更新幅度,避免策略因为一次更新变化过大而突然失效。
Actor 和 Critic 分别做什么?
| 模块 | 作用 | 可以怎样理解 |
|---|---|---|
| Actor | 根据观测输出动作 | “下一步应该怎样动?” |
| Critic | 估计状态价值 | “当前这个状态有多好?” |
很多 rsl_rl 配置中,Actor 和 Critic 使用各自的神经网络。具体网络结构要以使用的训练配置为准。
初学阶段不必先推导 PPO 公式
先理解以下几个词即可:
- Rollout:策略与环境交互,批量收集一段经验。
- Batch:用于一次训练更新的一批数据。
- Epoch:对同一批数据重复训练的轮数。
- Learning Rate:学习率,决定网络参数每次更新的幅度。
- Entropy:策略探索程度的相关指标。
- KL:新旧策略差异的度量之一,可用于监控更新是否过大。
第 2 章:机器人和物理仿真基础
2.1 机器人模型由什么组成?
一个常见的四足机器人可以理解为:
- 机身(Base):机器人的主体。
- 连杆(Link):组成腿部和机身的刚体。
- 关节(Joint):连接连杆,允许它们相对运动。
- 执行器(Actuator):驱动关节运动的电机或等效模型。
- 碰撞几何(Collision Geometry):用于计算机器人与地面或其他物体的接触。
- 传感器(Sensor):提供 IMU、关节位置、速度和接触等信息。
自由度(DoF)表示可以独立控制或描述的运动变量数量。例如,常见 Go2 四足机器人有 12 个腿部驱动关节,因此常见的关节动作维度是 12。
注意:DoF 数量、模型中的关节数量、执行器数量不一定总是相同。阅读模型时要分别确认。
2.2 坐标系:为什么机器人会有 body frame 和 world frame?
运动控制中经常出现两个坐标系:
- 世界坐标系(World Frame):以仿真世界为参考,描述机器人在场景中的位置和方向。
- 机身坐标系(Body Frame):以机器人自身为参考,描述前后、左右和上下方向。
例如:
root_lin_vel_w:机器人基座在世界坐标系下的线速度。root_lin_vel_b:机器人基座在机身坐标系下的线速度。root_ang_vel_b:机器人基座在机身坐标系下的角速度。
对于机器人而言,机身坐标系下的速度通常更适合描述”向前走”或”向左横移”等相对运动。
不同项目的坐标轴定义可能不同。使用代码前要确认:
- 哪个轴表示前方?
- 哪个轴表示左方?
- 哪个轴表示竖直方向?
- 角速度的正方向是什么?
- 四元数使用什么排列顺序?
不要仅凭变量名猜测坐标系。
2.3 关节位置控制与 PD 控制器
很多四足 RL 任务并不是让策略网络直接输出电机力矩,而是让策略输出目标关节位置偏移,再由 PD 控制器计算力矩。
常见形式:
公式: τ = kp × (q_target − q) − kd × q_dot
其中:
- (τ):关节输出力矩。
- (q_{}):目标关节角度。
- (q):当前关节角度。
- (q_dot):当前关节角速度。
- (k_p):比例增益,影响位置跟踪刚度。
- (k_d):微分增益,影响阻尼和速度抑制。
RL 输出的目标角度通常由默认站姿和动作偏移组成:
公式: q_target = q_default + action × action_scale
例如 action_scale = 0.25,表示策略输出会被缩放后再转换成关节角度偏移。这个数值只是示例,必须结合机器人关节范围和训练配置确定。
调整 PD 参数时要观察什么?
| 现象 | 可能原因 | 初步检查方向 |
|---|---|---|
| 关节跟踪很软、动作迟缓 | kp 偏小或执行器力矩不足 | 检查 kp、力矩限制 |
| 关节高频振荡 | kp 过大、kd 不合适或时间步不合理 | 检查 kp/kd、控制频率 |
| 动作跟不上目标 | 力矩或速度限制过低 | 检查 actuator limit |
| 机器人整体抖动 | 不仅可能是 PD,也可能是动作尺度或观测问题 | 同时检查策略输出和仿真设置 |
不要通过盲目增大 kp 来解决所有失稳问题。过大的增益可能导致振荡或仿真不稳定。
2.4 仿真时间步和控制频率
仿真器通常以较高频率计算物理状态,策略不一定每个物理步都运行。
常见配置:
sim_dt = 0.005 # 物理仿真步长:5 ms
decimation = 4 # 每 4 个物理步执行一次策略动作
control_dt = sim_dt * decimation
# control_dt = 0.02 秒,对应 50 Hz
也就是说:
- 物理仿真频率:200 Hz。
- 策略控制频率:50 Hz。
dt 和 decimation 会影响动作执行频率、接触计算和训练稳定性。修改其中一个参数时,要同步检查控制周期、奖励计算和部署频率。
2.5 仿真器在训练中扮演什么角色?
仿真器负责计算机器人的物理变化,例如:
- 重力和惯性;
- 关节驱动和阻尼;
- 足端与地面的接触;
- 摩擦、碰撞和外力;
- 机器人位置、姿态和速度的变化。
强化学习框架负责组织观测、动作、奖励、终止条件和策略更新。两者分工不同,但必须正确连接。
第 3 章:选择学习平台
3.1 MuJoCo、Isaac Lab 和 mjlab 有什么区别?
| 平台 | 主要特点 | 适合做什么 | 入门建议 |
|---|---|---|---|
| MuJoCo CPU | 安装和单模型调试相对直接 | 理解模型、关节、接触和单机器人仿真 | 适合先学习物理仿真 |
| MuJoCo MJX | 使用 JAX 在加速设备上运行 MuJoCo 相关计算 | GPU 并行和可微分物理研究 | 有 JAX 基础后再学 |
| MuJoCo Warp | 使用 NVIDIA Warp 加速物理仿真 | 大规模并行仿真 | 适合进阶训练 |
| Isaac Lab | 基于 Isaac Sim 和 PhysX 的机器人学习框架 | GPU 并行训练、传感器和复杂场景 | 适合已有 NVIDIA GPU 的项目 |
| mjlab | 采用 MuJoCo / Warp 后端,提供与 Isaac Lab 相近的 Manager 风格接口 | MuJoCo 后端的并行 RL 训练 | 适合希望使用 MuJoCo 生态的学习者 |
| MuJoCo Playground | 提供较完整的 MuJoCo 机器人学习示例 | 快速体验机器人 RL | 适合先跑通示例 |
新手应该怎么选?
- 目标是学习 Isaac Lab、PhysX 或后续使用 Isaac Sim:优先选择 Isaac Lab。
- 目标是学习 MuJoCo 机器人模型和 mjlab 工作流:优先选择 mjlab。
- 只想先理解单个机器人如何运动:可以先使用 MuJoCo CPU Viewer。
- 希望快速体验一个已有训练任务:可以尝试 MuJoCo Playground。
建议先选定一个平台完成第一个训练任务。不要在还没跑通 Go2 示例时,就同时研究 Isaac Lab、mjlab、MJX、Warp 和多个旧框架。
3.2 几个常见开源项目
| 项目 | 主要用途 |
|---|---|
| Isaac Lab | NVIDIA 机器人学习与仿真框架 |
| mjlab | MuJoCo / Warp 机器人强化学习框架 |
| MuJoCo Playground | MuJoCo 机器人学习示例集合 |
| mujoco_menagerie | 常见机器人 MJCF 模型集合 |
| rsl_rl | 常见的 PPO 训练实现 |
| legged_gym | 较早期的四足机器人 RL 项目,仍有大量历史代码参考 |
| unitree_rl_mjlab | Unitree 机器人基于 mjlab 的训练示例 |
Stars、训练速度和收敛时间会随项目版本、硬件和任务变化,不适合作为固定的选型依据。
第 4 章:安装环境并运行第一个示例
4.1 安装前检查
如果计划使用 GPU 训练,先确认:
nvidia-smi
重点检查:
- 系统是否识别 NVIDIA GPU;
- 驱动是否正常;
- GPU 显存是否足够;
- 是否有其他程序占用大量显存。
Isaac Lab 通常需要 Linux 环境、匹配的 NVIDIA 驱动和 Isaac Sim 依赖。mjlab 也需要符合其版本要求的 Python、CUDA 和 GPU 环境。
建议的准备方式
- 使用独立 Python 环境,避免与其他项目混装依赖。
- 记录 Python、CUDA、驱动、Isaac Sim、Isaac Lab 或 mjlab 的版本。
- 第一次安装时不要同时升级所有依赖。
- 如果使用 WSL2、远程服务器或容器,额外检查图形显示和 GPU 透传配置。
4.2 Isaac Lab 安装思路
不同 Isaac Lab 版本的安装方式可能变化。典型流程如下:
# 1. 获取 Isaac Lab 源码
git clone https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
# 2. 按当前版本的官方说明安装依赖
./isaaclab.sh --install
# 3. 运行官方空场景或入门教程
./isaaclab.sh -p source/standalone/tutorials/00_sim/create_empty.py
如果程序成功启动并显示仿真窗口,说明基础仿真环境基本可用。
接下来再运行一个官方训练任务。示例任务 ID 可能因版本不同而变化:
./isaaclab.sh -p source/standalone/workflows/rsl_rl/train.py \
--task Isaac-Velocity-Flat-Unitree-Go2-v0 \
--num_envs 64 \
--max_iterations 100
初次验证建议使用较少的环境和较少的迭代次数。确认没有依赖、模型加载或 CUDA 错误后,再扩大训练规模。
4.3 mjlab 安装思路
mjlab 项目常使用 uv 管理 Python 环境。典型流程如下:
# 1. 克隆仓库
git clone https://github.com/mujocolab/mjlab.git
cd mjlab
# 2. 安装依赖
uv sync --extra dev
# 3. 运行项目提供的示例
uv run train Mjlab-Velocity-Flat-Unitree-Go2 \
--env.scene.num-envs 64 \
--agent.max-iterations 10
如果项目版本提供 demo 命令,也可以先运行 demo,确认模型和可视化工作正常:
uvx --from mjlab demo
安装完成的判断标准
不要只看”命令没有报错”,还应确认:
- 机器人模型能够成功加载。
- 仿真器能够正常推进。
- 能够看到训练日志或可视化窗口。
- GPU 使用情况符合预期。
- 训练结束后能够找到 checkpoint 或日志文件。
4.4 为什么初学者不建议先装 legged_gym?
legged_gym 是很多经典四足 RL 项目的基础,但它依赖较早期的 Isaac Gym 技术栈。它的代码对学习奖励函数、PPO 和四足训练仍有参考价值,不过新项目通常更适合从 Isaac Lab 或当前维护的其他框架开始。
第 5 章:训练第一个四足机器人——Go2 平地行走
这是整份教程最重要的实践章节。建议先把本章跑通,再学习人形机器人和动作模仿。
5.1 第一个任务是什么?
任务名称通常叫 Velocity Tracking(速度跟踪)。
训练时,环境会给机器人一个目标速度,例如:
目标线速度:vx = 0.5 m/s
目标侧向速度:vy = 0.0 m/s
目标转向速度:wz = 0.0 rad/s
机器人需要通过协调腿部关节,让实际速度尽可能接近目标速度。
常见命令可以包含:
vx:前后方向速度;vy:左右方向速度;wz:绕竖直轴的转向角速度。
这三个量分别控制前进/后退、横移和转向。具体正负方向取决于项目的坐标系定义。
5.2 为什么要同时创建很多个机器人?
强化学习需要大量交互经验。如果只让一个机器人一次走一步,数据收集会很慢。
GPU 并行仿真可以同时创建很多个互相独立的环境:
环境 1:目标前进 0.5 m/s
环境 2:目标后退 0.2 m/s
环境 3:目标左移 0.3 m/s
环境 4:目标右转 0.5 rad/s
...
环境 N:随机目标命令
这些环境共同提供训练数据。
num_envs 表示并行环境数量。它不是机器人关节数量,也不是训练迭代次数。
初学阶段可以从 32、64 或 128 个环境开始排查配置;正式训练时再根据 GPU 显存和训练速度逐步增加。
5.3 训练命令示例
Isaac Lab
./isaaclab.sh -p source/standalone/workflows/rsl_rl/train.py \
--task Isaac-Velocity-Flat-Unitree-Go2-v0 \
--num_envs 4096 \
--max_iterations 5000 \
--headless
mjlab
MUJOCO_GL=egl uv run train Mjlab-Velocity-Flat-Unitree-Go2 \
--env.scene.num-envs 4096 \
--agent.max-iterations 5000
以上是典型命令示例。任务名称、参数格式和默认配置应以当前仓库为准。
命令中几个参数的含义
| 参数 | 含义 |
|---|---|
--task | 选择训练任务 |
--num_envs / --env.scene.num-envs | 并行环境数量 |
--max_iterations / --agent.max-iterations | 最大训练迭代次数 |
--headless | 不显示图形窗口,通常用于加速训练 |
--checkpoint | 加载已有模型进行评估或恢复训练 |
5.4 训练结束后如何评估?
训练和评估是两个不同过程:
- 训练(Train):收集经验并更新策略。
- 评估(Play / Evaluate):加载训练好的策略,观察它是否真的能完成任务。
Isaac Lab 示例:
./isaaclab.sh -p source/standalone/workflows/rsl_rl/play.py \
--task Isaac-Velocity-Flat-Unitree-Go2-v0 \
--num_envs 8 \
--checkpoint <模型文件路径>
mjlab 示例:
uv run play Mjlab-Velocity-Flat-Unitree-Go2-Play \
--wandb-run-path <组织名/项目名/运行ID> \
--num-envs 8
评估时重点观察:
- 机器人能否稳定站立?
- 能否跟随前进速度命令?
- 能否后退、横移和转向?
- 速度变化时是否摔倒?
- 是否出现明显抖动、拖脚或关节超限?
不要只看总 reward。机器人实际运动表现才是最终判断依据。
5.5 观测:策略网络看到了什么?
观测(Observation)是策略网络每次决策时接收到的输入。
一个典型四足任务可能包含:
| 观测量 | 维度示例 | 含义 |
|---|---|---|
| 关节位置偏差 | 12 | 当前关节角与默认姿态的差值 |
| 关节速度 | 12 | 每个关节转动的速度 |
| 基座角速度 | 3 | 机器人滚转、俯仰和偏航角速度 |
| 重力方向投影 | 3 | 用于判断机身倾斜姿态 |
| 目标速度命令 | 3 | 期望的前后、左右和转向速度 |
| 上一次动作 | 12 | 策略上一次输出的动作 |
这些维度只是一个示意配置。实际观测维度要根据任务配置、传感器和关节数量计算。
为什么要提供上一次动作?
上一次动作可以帮助策略了解自己刚才做了什么,从而学习更连续的动作变化。它也常用于动作平滑相关的奖励或控制设计。
为什么要提供重力方向投影?
仅知道关节角度不一定能准确判断机身是否倾斜。重力方向在机身坐标系下的投影,可以为策略提供姿态信息。
5.6 动作:策略网络输出什么?
常见 Go2 速度跟踪任务使用 12 维动作,对应 12 个腿部驱动关节。
策略通常输出归一化或有限范围内的动作,再转换为关节目标位置:
公式: q_target = q_default + action_scale × action
其中:
- (a):策略输出的动作;
- (s_a):动作尺度
action_scale; - (q_{}):默认关节姿态;
- (q_{}):最终目标关节角。
然后由 PD 控制器将目标角度转换为关节力矩。
学习重点:策略动作、关节目标位置和电机力矩是三个不同层次。
5.7 奖励:怎样告诉机器人什么是好行为?
奖励函数是强化学习任务设计的核心。
速度跟踪任务通常包含:
- 跟踪目标速度:鼓励机器人按命令运动。
- 抑制机身上下弹跳:减少不必要的垂向运动。
- 抑制机身滚转和俯仰:减少倾斜。
- 惩罚动作突变:让关节动作更加平滑。
- 惩罚过大力矩:减少不必要的能量消耗。
- 关节限位惩罚:避免关节接近或超过安全范围。
一个简化的奖励结构可以写成:
公式: r = w1 × r_velocity_tracking + w2 × r_yaw_tracking − w3 × p_orientation − w4 × p_action_change − w5 × p_torque
这里的 (w_i) 是各奖励项的权重。权重决定每项行为对总奖励的影响程度。
常见奖励项说明
| 奖励项 | 主要目的 | 典型函数或概念 |
|---|---|---|
| 线速度跟踪 | 实际平面速度接近目标速度 | track_lin_vel_xy_exp |
| 角速度跟踪 | 实际转向速度接近目标值 | track_ang_vel_z_exp |
| 垂向速度惩罚 | 减少上下弹跳 | lin_vel_z_l2 |
| 横滚/俯仰角速度惩罚 | 减少机身摇晃 | ang_vel_xy_l2 |
| 姿态惩罚 | 保持机身接近水平 | flat_orientation_l2 |
| 力矩惩罚 | 减少过大的关节输出 | joint_torques_l2 |
| 动作变化惩罚 | 减少动作抖动 | action_rate_l2 |
| 关节限位惩罚 | 避免关节超出合理范围 | joint_pos_limits |
| 足端腾空奖励 | 在适合的任务中减少拖脚 | feet_air_time |
注意:不是所有机器人和任务都应该使用表中所有奖励项。例如,轮式机器人和足式机器人对足端腾空的需求就不同。
5.8 终止条件:什么时候结束一个 Episode?
常见终止条件:
- 机器人明显摔倒;
- 机身姿态超过允许范围;
- 机器人高度低于安全阈值;
- 运行时间达到最大回合长度;
- 出现严重的数值异常。
终止条件过于严格,机器人可能还没学会运动就频繁结束回合;过于宽松,则可能允许策略长期保持危险姿态。
第 6 章:理解训练结果和调试方法
6.1 训练日志应该看什么?
建议优先观察以下指标:
| 指标 | 表示什么 | 怎样判断 |
|---|---|---|
rewards/total | 总奖励 | 整体趋势是否逐步改善 |
track_lin_vel_xy | 线速度跟踪表现 | 是否越来越接近目标速度 |
track_ang_vel_z | 转向跟踪表现 | 是否能按目标角速度转向 |
episode/length | 回合持续时间 | 是否越来越少因为摔倒提前结束 |
action_rate | 动作变化相关指标 | 是否出现明显抖动 |
policy/kl | 策略更新差异 | 是否出现异常的大幅更新 |
policy/mean_std | 策略输出分布相关指标 | 探索程度是否发生异常变化 |
learning_rate | 当前学习率 | 是否因自适应机制发生明显变化 |
不同训练框架记录的指标名称可能不同。
如何理解 reward 曲线?
- 总奖励逐步上升:通常说明策略正在学习,但仍需看真实运动效果。
- 奖励有波动:强化学习训练中比较常见,不代表一定失败。
- 奖励突然大幅下降:检查策略更新、物理仿真、终止条件和奖励计算。
- 奖励很高但机器人表现差:可能存在奖励设计漏洞,策略学会了”钻奖励函数的空子”。
6.2 为什么要先做小规模训练?
初学者经常一上来就设置几千个并行环境和几千次迭代。如果配置有错误,训练可能浪费大量时间。
推荐流程:
第一步:模型能否正常加载?
↓
第二步:零动作 / 随机动作能否正常运行?
↓
第三步:少量环境短时间训练
↓
第四步:检查奖励分项和机器人动作
↓
第五步:确认方向正确后扩大训练规模
例如:
# 先进行短期验证,参数需要按当前项目调整
uv run train MyTask \
--env.scene.num-envs 64 \
--agent.max-iterations 20
6.3 常见问题排查
| 现象 | 可能原因 | 建议先检查 |
|---|---|---|
| 机器人一直摔倒 | 初始姿态、关节映射、PD 参数、奖励或终止条件不合理 | 先检查模型和零动作行为 |
| 机器人原地不动 | 速度命令没有正确输入,或追踪奖励太弱 | 检查命令生成器和奖励分项 |
| 只会前进,不会横移 | 命令分布缺少侧向速度,或观测/奖励没有正确覆盖侧向运动 | 检查 vy 命令、速度跟踪项和坐标系 |
| 只能转向,不能平移 | 线速度命令或关节控制映射存在问题 | 分别测试 vx、vy 和 wz |
| 关节抖动 | 动作变化过大、PD 增益不合适或控制频率不合理 | 检查动作尺度、kp/kd 和 action rate |
| 机器人弹跳 | 垂向运动惩罚不足或接触模型不合理 | 检查垂向速度、足端接触和地面参数 |
| 训练出现 NaN | 物理爆炸、除零、数值范围异常 | 检查异常环境、观测和奖励计算 |
| 显存不足 | 并行环境过多或网络过大 | 减少 num_envs |
| 训练很慢 | GPU 利用率低、环境设置不合理或渲染占用资源 | 检查 GPU 使用率并关闭训练渲染 |
| 训练 reward 高,评估表现差 | 训练和评估配置不一致或策略过拟合 | 对照命令分布、观测、动作和随机化配置 |
6.4 奖励函数应该怎样调?
最重要的原则:
每次只改一个主要因素,并保留修改前的 checkpoint 和配置。
建议按以下顺序调试:
- 先确认机器人模型、关节顺序、动作尺度和 PD 控制器正确。
- 再确认目标速度命令能够正确传入环境。
- 检查速度跟踪奖励是否随实际速度变化。
- 检查姿态和动作平滑惩罚是否过强。
- 最后再调整能耗、足端接触和其他细节奖励。
奖励权重的理解
假设:
rewards = {
"track_lin_vel": 1.5,
"track_ang_vel": 0.75,
"lin_vel_z": -2.0,
"ang_vel_xy": -0.05,
"action_rate": -0.01,
}
这里的数字仅用于说明:
- 正权重通常表示鼓励某种行为;
- 负权重通常表示惩罚某种行为;
- 权重绝对值越大,不一定代表实际影响越大,因为各奖励函数的原始数值范围也不同。
真正调参时,应同时观察每项奖励的原始数值、加权后的数值和机器人行为,不能只看权重大小。
6.5 PPO 参数初步认识
常见 PPO 配置包含:
| 参数 | 含义 | 调整时要注意什么 |
|---|---|---|
num_envs | 并行环境数 | 影响数据收集速度和显存 |
num_steps_per_env | 每个环境每轮收集的步数 | 影响 rollout 数据量 |
num_mini_batches | 小批次数量 | 影响每次更新的数据划分 |
num_epochs | 每批数据重复训练轮数 | 太多可能导致过拟合旧数据 |
learning_rate | 学习率 | 过大可能造成训练不稳定 |
gamma | 折扣因子 | 控制未来奖励的重要程度 |
lam | GAE 参数 | 影响优势估计的偏差和方差 |
clip_param | PPO 更新裁剪参数 | 限制策略更新幅度 |
entropy_coef | 熵奖励系数 | 影响探索程度 |
desired_kl | 目标 KL | 部分实现用于自适应调整学习率 |
常见配置示例:
class PPOCfg:
num_steps_per_env = 24
num_mini_batches = 4
num_epochs = 5
learning_rate = 1e-3
gamma = 0.99
lam = 0.95
clip_param = 0.2
entropy_coef = 0.01
desired_kl = 0.01
max_grad_norm = 1.0
这是帮助理解参数的示例,不是所有任务的通用最优配置。不同版本的 rsl_rl 可能使用不同字段名称。
第 7 章:让策略更可靠——课程学习与域随机化
7.1 什么是课程学习(Curriculum Learning)?
如果一开始就让机器人面对很复杂的任务,学习难度可能太大。
课程学习的思路是:先学简单任务,再逐步增加难度。
例如四足机器人可以按以下顺序训练:
- 平地站立;
- 平地低速前进;
- 增加后退和转向;
- 加入侧向移动;
- 扩大速度范围;
- 加入轻微坡度和外力扰动;
- 最后训练复杂地形。
课程学习可以调整速度命令范围、地形难度、外力大小或任务目标。
7.2 什么是域随机化(Domain Randomization)?
仿真环境和真实机器人之间总会存在差异,例如:
- 真实机器人质量与模型质量有偏差;
- 地面摩擦系数不同;
- 电机输出能力存在差异;
- 传感器有噪声;
- 控制和通信存在延迟。
域随机化就是在训练中适度改变这些参数,让策略不要只适应某一组固定条件。
常见随机化项目:
| 随机化对象 | 示例 | 希望解决的问题 |
|---|---|---|
| 质量 | 在标称质量附近变化 | 适应负载差异 |
| 摩擦系数 | 改变足端与地面摩擦 | 适应不同地面 |
| 质心位置 | 小范围偏移 | 适应装配和负载变化 |
| 电机强度 | 改变力矩输出比例 | 适应电机差异 |
| PD 增益 | 小范围变化 | 适应执行器响应差异 |
| 控制延迟 | 增加少量延迟 | 适应控制链路延迟 |
| 传感器噪声 | 对 IMU 和编码器数据加噪声 | 适应真实传感器 |
推荐的渐进方式
阶段 1:不使用随机化
先确认基础任务能学会
↓
阶段 2:少量随机化
例如轻微质量和摩擦变化
↓
阶段 3:常规随机化
加入电机、传感器和延迟变化
↓
阶段 4:针对真实硬件做验证
根据实际测量结果调整随机范围
不要为了追求”鲁棒”而盲目扩大随机范围。随机化过强会让任务变得过于困难,策略可能学得很保守。
第 8 章:进阶方向一——人形机器人运动控制
8.1 为什么人形机器人比四足机器人难?
四足机器人通常有四个足端支撑点;人形机器人行走时,很多阶段主要依赖单脚或双脚支撑。
人形机器人还面临:
- 质心较高,容易失去平衡;
- 支撑区域较小;
- 腿、躯干和手臂需要协调;
- 自由度更多,动作空间更大;
- 跌倒后的恢复更加困难。
因此,建议先完成四足速度跟踪,再学习人形机器人。
8.2 人形机器人需要关注什么?
在四足任务的基础上,人形任务通常更重视:
- 躯干直立和姿态稳定;
- 质心高度;
- 单脚、双脚支撑切换;
- 手臂摆动和全身协调;
- 关节限位与关节力矩;
- 步态节奏。
部分任务会在观测中加入步态相位信号,例如:
步态相位示例: [sin(2π × f × t), cos(2π × f × t)]
其中 (f) 是期望步频,(t) 是时间。它可以让策略知道当前处于步态周期的哪个阶段。
8.3 训练建议
- 先训练站立或低速行走。
- 初期可以缩小速度命令范围。
- 必要时先固定部分上肢关节,减少动作空间。
- 检查躯干姿态、脚底接触和关节限位。
- 对多个随机种子进行评估,避免只挑选一次偶然成功的训练结果。
Unitree G1、H1 等机器人可以作为后续学习对象。不同型号的自由度、关节命名和执行器参数并不相同,不能直接照搬 Go2 的动作维度和 PD 参数。
第 9 章:进阶方向二——动作模仿学习
速度跟踪关注的是”按要求移动”,动作模仿关注的是”按照参考动作运动”。
例如:
- 按照参考数据行走;
- 模仿跑步、转身或踢腿动作;
- 学习不同风格的运动。
9.1 什么是动作重定向(Retargeting)?
人体动作数据通常不能直接用于机器人,因为人体和机器人的骨架、关节数量、关节范围都不同。
动作重定向通常包括:
人体动作数据
↓
统一数据格式
↓
人体骨架与机器人关节映射
↓
逆运动学(IK)求解
↓
关节限位检查和动作平滑
↓
在仿真器中回放验证
↓
生成机器人参考动作
在训练前,必须先检查参考动作:
- 机器人是否穿模?
- 脚是否悬空或陷入地面?
- 关节是否超过限位?
- 动作开始和结束是否平滑?
- 机器人能否在参考动作中保持合理的平衡?
9.2 AMP 和 Motion Tracking 有什么区别?
| 方法 | 核心思路 | 特点 |
|---|---|---|
| AMP | 使用判别器学习参考动作的运动风格 | 不一定要求逐帧精确追踪 |
| Motion Tracking | 直接追踪参考动作的关节、基座或末端状态 | 追踪更明确,但依赖参考动作质量 |
AMP 的直观理解
AMP(Adversarial Motion Priors)使用判别器判断一段运动是否像参考动作数据。
策略一方面完成任务,另一方面学习产生更接近参考数据的动作风格。
简化奖励结构:
公式: r_total = w_task × r_task + w_style × r_style
其中:
- (r_{}):任务奖励,例如速度跟踪;
- (r_{}):由判别器相关机制得到的风格奖励。
Motion Tracking 的直观理解
Motion Tracking 会比较机器人当前动作和参考动作,例如:
- 关节角是否接近参考值;
- 基座位置和姿态是否接近;
- 手脚等末端位置是否接近;
- 速度是否接近参考运动。
参考动作质量越高、重定向越准确,训练通常越容易获得合理结果。
9.3 参考动作文件常见内容
不同仓库的数据格式可能不同,常见字段包括:
| 字段 | 含义 |
|---|---|
joint_positions | 各关节位置 |
root_position | 基座位置 |
root_orientation | 基座姿态 |
joint_velocities | 关节速度 |
root_linear_vel | 基座线速度 |
dt | 帧间隔或采样时间 |
end_effector_pos | 手、脚等末端位置 |
使用 NPZ 文件时,可以先检查内容:
import numpy as np
data = np.load("reference_motion.npz")
print(data.files)
for key in data.files:
print(key, data[key].shape)
不要假设不同项目的 NPZ 字段完全相同。
9.4 初学者的动作模仿学习顺序
- 先使用仓库提供的示例动作。
- 先回放动作,不训练,确认数据正确。
- 再运行官方 motion tracking 任务。
- 检查参考动作和策略动作的差异。
- 最后再尝试自己的 MoCap 数据或高动态动作。
高动态动作(例如跳跃、踢腿和旋转)有较高的跌倒和硬件损坏风险,应先在仿真中验证,不应直接上真机。
第 10 章:评估、导出与部署认知
10.1 什么是 Checkpoint?
训练过程中,框架会定期保存模型参数,这些文件称为 checkpoint。
常见形式:
logs/
└── rsl_rl/
└── task_name/
└── run_time/
├── model_100.pt
├── model_500.pt
├── model_1000.pt
└── ...
具体路径由项目配置决定。
建议:
- 保留训练配置和对应日志;
- 不只保存最后一个模型;
- 选择多个 checkpoint 进行评估;
- 记录不同实验之间改了什么。
10.2 什么是 ONNX?
ONNX 是一种用于交换机器学习模型的格式。训练框架通常使用 PyTorch 训练策略,部署端可以通过 ONNX Runtime 等工具执行模型推理。
典型流程:
训练得到 PyTorch checkpoint
↓
导出 ONNX 模型
↓
部署程序加载 ONNX
↓
读取传感器数据并构造观测
↓
策略网络推理得到动作
↓
控制器执行关节命令
部分 mjlab 或其他项目会提供自动导出功能,具体以项目当前版本为准。
10.3 为什么部署时观测必须完全一致?
假设训练时观测顺序是:
[joint_pos, joint_vel, base_ang_vel,
projected_gravity, command, last_action]
部署时如果变成:
[joint_vel, joint_pos, base_ang_vel,
projected_gravity, command, last_action]
即使维度相同,策略收到的数据含义也完全不同,输出很可能错误。
部署前必须核对:
- 观测字段;
- 观测顺序;
- 观测缩放和归一化参数;
- 坐标系和单位;
- 关节顺序;
- 默认关节角;
- 动作尺度;
- PD 增益;
- 控制频率;
- 延迟处理。
10.4 什么是 Sim2Sim?
Sim2Sim 指在一个仿真环境训练,再在另一个仿真环境测试。
例如:
Isaac Lab / PhysX 训练
↓
导出策略
↓
MuJoCo CPU 测试
↓
比较速度、姿态、关节动作和稳定性
不同仿真器的接触模型、摩擦处理、执行器模型和数值参数可能不同。策略在训练仿真器中成功,不代表换到另一个仿真器也一定成功。
10.5 什么是 Sim2Real?
Sim2Real 指将仿真训练得到的策略迁移到真实机器人。
真实系统会有仿真中难以完全还原的因素:
- 电机实际响应和力矩限制;
- 传感器偏差与噪声;
- 通信延迟;
- 电池电压变化;
- 地面摩擦变化;
- 机械装配误差;
- 计算和控制周期抖动。
真机部署安全原则
初学者不要直接将未经验证的策略部署到真机。
至少需要完成:
- 仿真中多速度、多方向测试;
- 仿真中的扰动恢复测试;
- Sim2Sim 验证(如果项目使用不同仿真器);
- 观测、动作、关节顺序和控制频率核对;
- 力矩、关节角度和速度限制;
- 急停和保护机制确认;
- 在专业人员指导下进行低风险测试。
真实机器人测试应遵循机器人厂商和实验室的安全规范。高动态动作、无人看护运行和未经验证的关节命令都可能造成人身伤害或设备损坏。
第 11 章:进阶工程知识
本章不属于第一次训练的必修内容。建议完成 Go2 平地任务后再学习。
11.1 自定义奖励函数
在 Isaac Lab 或 mjlab 中,奖励函数通常接收环境对象和相关配置,返回每个并行环境的奖励值。
概念示例:
def my_reward(env, ...):
# 1. 读取机器人状态
# 2. 计算某个行为指标
# 3. 转换成每个环境的奖励
return reward
例如,能耗相关指标可以从关节力矩和关节速度计算:
公式: P = Σ_j |τ_j × q_dot_j|
其中 § 表示一个简化的关节机械功率指标。
注意:不同框架访问机器人数据的 API 不同。不要把 Isaac Lab 的数据访问方式直接复制到 mjlab。
11.2 Domain Randomization 的实现位置
在 Isaac Lab 中,随机化通常通过事件(Events)配置;在 mjlab 中,也有对应的 Manager / Event 配置方式。
常见随机化包括:
- reset 时随机化初始姿态;
- reset 时随机化关节状态;
- 随机化地面摩擦;
- 随机化机器人质量和质心;
- 定时施加外力;
- 对观测加入噪声。
建议先理解随机化的物理意义,再阅读具体 API。
11.3 自定义机器人接入流程
把自己的机器人接入 RL 训练环境,通常需要:
- 准备机器人模型(URDF、MJCF 或 USD,视框架而定)。
- 检查连杆、关节、碰撞几何和惯量。
- 配置执行器、力矩限制和速度限制。
- 确认关节命名和顺序。
- 定义观测和动作。
- 配置奖励、终止条件和重置事件。
- 先运行零动作和随机动作测试。
- 最后开始训练。
模型验证比立即训练更重要
训练前至少确认:
- 机器人能否正常加载;
- 关节数量是否正确;
- 关节方向和限位是否正确;
- 质量和惯量是否合理;
- 碰撞几何是否正确;
- 机器人是否能稳定站在地面上;
- 执行器是否能正常响应目标位置。
11.4 多 GPU 和性能优化
多 GPU 可以提高部分训练任务的吞吐量,但并不保证 GPU 数量翻倍,速度就翻倍。
建议按顺序优化:
- 先确认单 GPU 训练流程正确。
- 检查 GPU 利用率和显存。
- 关闭不必要的训练渲染。
- 在显存允许范围内逐步增加
num_envs。 - 再考虑多 GPU。
- 记录优化前后的训练速度和策略质量。
11.5 Isaac Lab 与 mjlab 的概念对应
两者在环境组织方式上有相似之处,但具体 API 和物理后端不同。
| 概念 | Isaac Lab 常见术语 | mjlab 常见术语 |
|---|---|---|
| 机器人模型 | Articulation / Asset | Entity |
| 场景 | Scene | Scene |
| 环境配置 | ManagerBasedRLEnvCfg 等 | ManagerBasedRLEnvCfg 等 |
| 观测 | Observation Manager | Observation Manager |
| 动作 | Action Manager | Action Manager |
| 奖励 | Reward Manager | Reward Manager |
| 终止 | Termination Manager | Termination Manager |
| 事件 | Event Manager | Event Manager |
不要因为接口看起来相似,就认为两个仿真器的物理结果完全相同。迁移时尤其要重新检查模型、接触、执行器和控制参数。
第 12 章:动手练习与学习检查
建议按下面的练习顺序完成,每个练习都保存配置、日志和结果截图。
练习 1:运行机器人模型
目标:让 Go2 模型在仿真器中正常显示。
检查:
- 模型是否成功加载?
- 关节是否齐全?
- 机器人是否落在地面上?
- 是否有明显穿模或异常抖动?
练习 2:运行官方训练任务
目标:不修改配置,先完成一次短训练。
检查:
- 训练日志是否正常?
- 是否生成 checkpoint?
- 能否运行 play / evaluate?
- 机器人能否完成基本移动?
练习 3:理解观测
目标:逐项列出策略网络输入的观测量。
检查:
- 观测总维度是多少?
- 哪些量来自关节编码器?
- 哪些量来自 IMU?
- 哪些量是任务命令?
- 观测使用哪个坐标系?
练习 4:修改速度命令范围
目标:让机器人学习不同的目标速度。
建议一次只改变命令范围,不要同时修改奖励和 PD 参数。
检查:
- 前进、后退和转向是否都能完成?
- 命令范围扩大后是否更容易摔倒?
- 评估时是否覆盖训练中出现过的命令?
练习 5:修改一个奖励权重
目标:理解奖励项如何影响策略行为。
步骤:
- 保存原始配置。
- 选择一个奖励项。
- 只修改该项权重。
- 使用相同训练设置进行对比。
- 比较 reward 分项和实际运动效果。
练习 6:增加轻微域随机化
目标:观察策略面对参数变化时的稳定性。
先只随机化一个参数,例如地面摩擦系数,再逐步增加其他随机化项。
练习 7:尝试另一种仿真器评估
目标:理解 Sim2Sim 的差异。
如果条件允许,将同一个策略放到另一个仿真器中测试,并比较速度、姿态和稳定性。
附录 A:常见术语表
| 术语 | 中文解释 |
|---|---|
| RL | 强化学习 |
| PPO | 近端策略优化 |
| Policy | 策略,观测到动作的映射 |
| Actor | 输出动作的策略网络 |
| Critic | 估计状态价值的网络 |
| Observation | 观测,策略网络的输入 |
| Action | 动作,策略网络的输出 |
| Reward | 奖励,对行为的评价 |
| Episode | 一次完整交互回合 |
| Rollout | 一段交互经验数据 |
| Checkpoint | 模型训练检查点 |
| DoF | 自由度 |
| PD | 比例-微分控制 |
| IK | 逆运动学 |
| MoCap | 动作捕捉 |
| AMP | 对抗式运动先验 |
| Motion Tracking | 动作追踪 |
| DR | 域随机化 |
| Curriculum | 课程学习 |
| Sim2Sim | 仿真到仿真的迁移验证 |
| Sim2Real | 仿真到真实机器人的迁移 |
| MJCF | MuJoCo 模型描述格式 |
| URDF | 机器人描述格式 |
| USD | 通用场景描述格式,常用于 NVIDIA 仿真生态 |
| ONNX | 机器学习模型交换格式 |
附录 B:常见问题速查
| 问题 | 先做什么 |
|---|---|
| 找不到 GPU | 运行 nvidia-smi,检查驱动和 CUDA 环境 |
| 安装依赖失败 | 检查 Python 版本、项目版本和官方安装步骤 |
| Isaac Sim 无法启动 | 检查驱动、显卡支持、图形环境和安装完整性 |
| GPU 显存不足 | 降低 num_envs,检查是否有其他 GPU 进程 |
| 模型无法加载 | 检查模型路径、mesh 路径和模型格式 |
| 机器人一开始就摔倒 | 先检查初始姿态、关节映射和 PD 控制 |
| 机器人不会按命令运动 | 检查 command、observation 和 tracking reward |
| 训练结果不稳定 | 检查学习率、奖励量级、终止条件和物理稳定性 |
| 自定义奖励为 NaN | 检查除零、张量范围和仿真异常 |
| 评估结果和训练不同 | 核对观测、动作、归一化、命令范围和随机化 |
| Sim2Sim 表现差 | 检查接触参数、摩擦、执行器和时间步 |
| 真机表现差 | 先停止测试,核对传感器、控制频率、关节顺序和延迟 |
附录 C:推荐的项目学习顺序
| 顺序 | 项目 / 工具 | 建议学习目标 |
|---|---|---|
| 1 | MuJoCo Viewer | 理解机器人模型和基本物理行为 |
| 2 | MuJoCo Menagerie | 认识常见机器人 MJCF 模型 |
| 3 | Isaac Lab 官方教程 | 学习场景、资产、传感器和环境配置 |
| 4 | mjlab 官方示例 | 学习 Manager 风格的 RL 环境组织 |
| 5 | rsl_rl | 理解 PPO 训练入口和日志 |
| 6 | unitree_rl_mjlab | 学习 Unitree 机器人速度跟踪和动作模仿 |
| 7 | Motion Tracking / AMP 项目 | 学习参考动作处理和模仿学习 |
最后:初学者最应该记住的五件事
- 先确认机器人模型正确,再开始训练。 模型、关节顺序或执行器参数错了,调奖励通常解决不了根本问题。
- 先跑通官方示例,再写自己的环境。 先建立一个可工作的基线,后续才容易定位问题。
- 观测、动作和奖励是 RL 环境的核心。 理解这三部分,就能读懂大多数运动控制任务。
- 训练曲线不能代替真实行为评估。 reward 上升不等于机器人一定走得正确。
- 仿真成功不等于真机安全。 部署前必须进行严格的仿真验证、接口核对和安全测试。
建议把 Go2 平地速度跟踪作为第一个完整项目。完成它之后,再逐步学习横移、转向、复杂地形、人形机器人和动作模仿。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)