各位做机器人或者强化学习方向的朋友，应该都有过这样的体会：硬件贵、仿真难、复现更难。尤其是一些双足机器人项目，动辄几万元，再加上从仿真到真机部署之间的巨大鸿沟，很多初学者往往在“仿真里跑得挺好，实机一运行就摔倒”这个阶段反复折腾，最后不了了之。

今天要聊的 Microduck 是一个很有意思的开源项目。它把价格压到了 399 美元，并且把强化学习从仿真训练到真机部署的完整流程全部开放了出来。这意味着，我们不再需要自己从零去写一套繁琐的机器人控制算法，而是可以基于现成的开源工程，用强化学习训练一个双足机器人稳定行走，并且直接部署到物理实体上。

这篇文章我会从概念、环境、原理、训练、部署到排错，完整梳理一遍 Microduck 的实战流程。无论你是想了解强化学习在机器人控制中的落地方式，还是准备入手一套低成本硬件做实验，这篇文章都能给你一条清晰、可执行的路径。

1. 背景与核心概念

1.1 Microduck 是什么

Microduck 是一个基于强化学习训练的开源双足机器人项目。它采用了类似“小鸭子”的仿生造型，整体结构紧凑，核心硬件成本控制在 399 美元左右。这个价位在双足机器人领域算是非常亲民的。

从技术架构上看，Microduck 的核心思路是：

  • 在仿真环境中训练机器人的运动策略；
  • 把训练好的策略导出并部署到真实硬件上；
  • 通过强化学习算法实现行走、转向、姿态稳定等能力。

这样一套流程，业内称为“Sim-to-Real”，也就是从仿真到真机的迁移。它的意义在于，我们不必在真实机器人上反复试错，而是在虚拟环境中低成本、高效率地训练策略，再迁移到物理实体中。

Microduck 项目借助了 Hugging Face 平台来发布数据集、预训练模型和训练代码，整个项目的可复现性很强。对于科研人员、学生以及机器人爱好者来说，它提供了一个非常合适的实验平台。

1.2 为什么双足机器人需要强化学习

传统的双足机器人控制通常依赖模型预测控制或基于零力矩点等经典方法。这些方法的问题在于：双足机器人的动力学模型非常复杂，摩擦、重心偏移、关节弹性等因素很难精确建模，导致传统控制算法在真实环境中的鲁棒性不够好。

强化学习的思路则完全不同。它不依赖于精确的动力学模型，而是通过智能体与环境的大量交互，自主学习出运动策略。训练过程中，机器人会不断尝试不同的动作，并根据奖励函数来调整自己的控制策略，最终学会稳定行走。

这种数据驱动的方式有几个明显优势：

  • 对建模误差不敏感；
  • 能够自动发现非直觉的运动策略；
  • 更容易适配不同的硬件结构。

Microduck 正是把这一套方法完整落地，并且通过开源的方式，让更多人能够低成本地复现和实验。

1.3 Microduck 与传统开源机器人项目的区别

我们在 GitHub 上能看到很多开源机器人项目，但大部分存在一个问题：资料分散，复现成本高。Microduck 的不同之处在于，它把“仿真训练”和“真机部署”两个环节都打通了。

具体来说，它提供了：

  • 完整的硬件设计文件；
  • 仿真环境配置；
  • 强化学习训练代码；
  • 已训练好的策略模型；
  • 真机部署的推理代码。

也就是说，你拿到的不是一个“半成品”，而是一条从仿真到真机的完整流水线。对于想学习强化学习和机器人控制的人来说，这就大大降低了入门门槛。

2. 环境准备与版本说明

2.1 硬件清单

Microduck 的硬件结构包含双足结构、多个舵机、控制板以及必要的传感器。如果你已经购买了成套硬件，可以直接跳过物料准备，关注软件环境。如果是自己搭建，则需要注意购买时主要参考几个关键部件：

  • 控制板：用于运行强化学习推理代码和发送舵机指令；
  • 舵机：双足机器人的核心执行器，直接影响运动性能；
  • 电源模块：为控制板和舵机提供稳定的电压和电流；
  • 结构件：机身、腿部、脚掌等结构，通常为 3D 打印件。

需要注意的是，硬件版本的差异会影响舵机控制信号的频率、波特率以及位置映射关系。因此，在后续部署中，一定要根据自己手里的硬件型号，调整舵机配置代码。

2.2 软件环境

Microduck 的软件部分主要分为两个阶段：仿真训练和真机部署。

仿真训练阶段，推荐在 Ubuntu 环境下进行，因为 MuJoCo、Isaac Gym（如果用得到的话）等物理仿真器对 Ubuntu 的支持更好。主要依赖如下：

  • Python 3.8 或 Python 3.10；
  • MuJoCo 物理仿真器；
  • PyTorch，用于搭建神经网络和强化学习训练；
  • OpenAI Gym，用于提供标准的强化学习环境接口；
  • NumPy、SciPy 等基础科学计算库。

真机部署阶段，通常在机器人控制板上运行推理代码。这部分代码对算力要求不高，一般只需要加载训练好的策略网络，然后根据传感器数据或预设状态计算出舵机目标位置。

这里有一个非常关键的点：版本需要根据你的实际环境调整。因为 MuJoCo 和 PyTorch 的版本更新速度很快，不同版本之间的 API 变化也很大，如果照搬别人的环境配置，很可能会遇到接口不兼容的问题。

2.3 获取项目代码

Microduck 的代码托管在 GitHub 上，同时相关的模型和数据集会上传到 Hugging Face。整体项目结构大致如下： 

microduck/
├── hardware/               # 硬件设计文件
├── sim2real/               # 仿真训练与真机部署代码
├── policies/               # 预训练策略模型
├── configs/                # 训练和部署配置
├── README.md               # 项目说明文档
└── requirements.txt        # Python 依赖列表

在开始之前，建议先阅读 README，因为作者经常会更新环境配置步骤。

克隆项目的方式很简单： 

git clone https://github.com/your-org/microduck.git
cd microduck

如果网络条件不支持直接从 GitHub 拉取（比如某些特定环境），也可以尝试通过镜像站下载压缩包，再把文件上传到本地环境。

3. 强化学习与 Sim-to-Real 核心原理

3.1 仿真到真机迁移的核心挑战

在正式进入代码之前，有必要理解一个核心问题：为什么仿真里训练好的策略，搬到真机上往往会失效？

原因在于仿真环境永远无法做到和真实物理世界完全一致。摩擦力、质心偏差、关节阻尼、通信延迟、电压波动，这些因素很难精确建模。如果策略只在理想仿真环境中训练，它就会“过拟合”到仿真环境上，一旦环境发生变化，表现就会急剧下降。

为了解决这个问题，项目通常会采用域随机化策略。简单来说，就是训练时不固定环境参数，而是随机改变机器人质量、摩擦系数、关节阻尼、电机力矩等物理参数。这样，策略在训练过程中就接触到了大量不同的物理环境，自然学会了适应不确定变化的能力。

Microduck 的训练过程也采用了类似思想。正因为如此，它的策略在实际硬件上才有较好的迁移能力。

3.2 PPO 强化学习算法

Microduck 训练过程中，常用的强化学习算法之一是 PPO，也就是近端策略优化算法。PPO 是一种基于策略梯度的算法，它的核心思想是在更新策略时限制每次更新的幅度，避免策略发生剧烈变化导致训练崩溃。

PPO 的目标函数可以简化理解成：让新策略和旧策略的比率保持在合理范围内，同时最大化累积奖励。这样既能稳定训练，又能保证足够的探索能力。

在代码实现中，PPO 相关的核心逻辑通常已经在强化学习库中封装好了。对于初学者来说，重点不是从零实现 PPO，而是理解奖励函数、网络输入输出以及训练循环的含义。

3.3 奖励函数的设计

奖励函数是强化学习中最重要的部分，它直接决定策略最终学会什么样的行为。对双足机器人来说，我们需要引导它：

  • 保持直立，不摔倒；
  • 身体沿目标方向前进；
  • 动作平滑，不过度抖动；
  • 尽量节约能量。

因此，奖励函数通常是一个加权组合： 

reward = (
    weight_upright * reward_upright +
    weight_progress * reward_progress -
    weight_action_rate * action_rate_penalty -
    weight_torque * torque_penalty
)

这里的关键是各个权重怎么取。如果直立奖励权重太高，机器人可能站在原地不动；如果前进奖励太高，机器人可能用非常夸张、不可控的动作冲刺。实际调参过程中，通常需要反复实验。

为了便于调试，Microduck 的训练代码通常会把每个奖励项的数值都输出到日志，方便我们观察是哪一项在主导学习。

3.4 网络输入与输出

在 PPO 中，策略网络承担“状态到动作”的映射。对于双足机器人，状态输入通常包括：

  • 机身的角速度和线速度；
  • 机身姿态（俯仰角、横滚角）；
  • 各关节角度；
  • 各关节角速度；
  • 上一步动作数据。

动作输出通常是每个关节的目标角度或力矩目标值。在真机部署时，这个输出值会被转换成舵机的脉冲宽度调制信号，从而控制舵机运动到指定位置。

4. 完整实战：从仿真训练到真机部署

接下来我们进入最核心的实操环节。我会按照实际操作的顺序，从获取代码、搭建环境、启动训练，到最终把策略部署到真机上，逐步演示整个流程。

4.1 创建项目结构

假设我们已经把 Microduck 项目克隆到了本地，首先确认目录结构： 

cd microduck
mkdir -p logs checkpoints

其中 logs 用于存放训练日志， checkpoints 用于保存训练过程中的策略权重。

接下来建议创建一个全新的虚拟环境，避免污染全局 Python 环境： 

python3 -m venv microduck_env
source microduck_env/bin/activate

在虚拟环境中，再安装依赖。

4.2 安装 MuJoCo 与训练依赖

新版 MuJoCo 可以通过 pip 直接安装，非常方便： 

pip install mujoco

接下来安装强化学习相关的依赖。如果项目使用稳定基线库，那么： 

pip install stable-baselines3

如果项目使用自研训练框架，那就是： 

pip install -r requirements.txt

这里需要注意的是，MuJoCo 需要 GPU 授权密钥。如果你只需要在 CPU 上跑，可以不用申请。但如果训练速度太慢，还是建议申请一个免费的 GPU 密钥，并配置环境变量： 

export MUJOCO_GL=egl

这样设置之后，MuJoCo 在无显示器的远程服务器上也可以正常运行。

4.3 启动仿真环境

仿真环境内部封装了双足机器人的物理模型、传感器数据和交互接口。我们可以写一段 Python 脚本来测试环境是否正常加载： 

import gymnasium as gym
import microduck_env

env = gym.make("MicroduckWalking-v0", render_mode="human")

obs, info = env.reset()
for _ in range(1000):
    action = env.action_space.sample()  # 随机动作，仅测试
    obs, reward, terminated, truncated, info = env.step(action)
    if terminated or truncated:
        obs, info = env.reset()

env.close()

如果运行这段代码能够正常打开仿真窗口，并且看到机器人模型在环境中，说明仿真环境已经准备就绪。

如果希望在没有图形界面的服务器上验证环境，可以把 render_mode 设置为 "rgb_array" ，把画面渲染成图像数组，再用 OpenCV 写成本地视频文件来做可视化。

4.4 编写训练脚本

下面是一份简化版训练脚本的核心逻辑，它并不一定是 Microduck 原仓库最终代码，但训练流程的思路是一致的：创建环境、构建策略网络、实例化 PPO 算法、启动学习、保存模型。

完整示例代码： 

import gymnasium as gym
from stable_baselines3 import PPO
from stable_baselines3.common.vec_env import DummyVecEnv, VecNormalize
import microduck_env

# 创建环境
env = gym.make("MicroduckWalking-v0", render_mode="rgb_array")

# 向量化环境
env = DummyVecEnv([lambda: env])

# 归一化，提升训练稳定性
env = VecNormalize(env, norm_obs=True, norm_reward=True)

# 创建 PPO 模型
model = PPO(
    "MlpPolicy",
    env,
    learning_rate=3e-4,
    n_steps=2048,
    batch_size=64,
    n_epochs=10,
    gamma=0.99,
    gae_lambda=0.95,
    clip_range=0.2,
    verbose=1,
    tensorboard_log="./logs"
)

# 开始训练
model.learn(total_timesteps=2_000_000)

# 保存模型
model.save("checkpoints/microduck_ppo")

这段代码做了几件事：

  • 使用向量环境封装，统一接口；
  • 对观测和奖励做归一化；
  • 用 MlpPolicy 策略网络，也就是多层感知机，来处理双足运动的输入输出；
  • 训练 200 万步，这个规模在双足机器人训练中属于适中；
  • 训练完成后保存策略模型。

你可能注意到了代码里用到了 VecNormalize ，这一步很重要。因为强化学习对输入数据的量级比较敏感，如果直接输入角度、角速度等不同量纲的数据，训练很容易不稳定。归一化之后，所有输入特征的尺度被统一，策略网络的学习难度会降低很多。

4.5 训练过程监控

训练过程中可以把输出写到 TensorBoard，方便实时观察： 

tensorboard --logdir logs

浏览器访问终端中提示的本地地址后，可以重点关注：

  • ep_rew_mean ：平均奖励，整体趋势应该上升；
  • ep_len_mean ：平均回合长度，对于行走任务，回合长度增加通常意味着机器人能坚持更久才摔倒；
  • policy_gradient_loss ：策略梯度损失，这个值在一定范围内波动是正常的。

如果训练一段时间后发现 ep_rew_mean 几乎不上升，甚至下降，通常意味着奖励函数或者超参数设置有问题。可以先直接从较低学习率开始调整。

4.6 策略导出

训练完成的模型不能直接部署到真机上。因为真机上的推理代码通常只关心“给定一个状态，输出动作”这一个前向计算过程，而不需要训练相关的优化器、归一化统计量等额外信息。

推荐先记录观测归一化参数，然后在部署脚本中手动加载： 

import numpy as np
import torch
from stable_baselines3 import PPO

# 加载策略模型
model = PPO.load("checkpoints/microduck_ppo")

# 创建一个用于导出的字典结构
policy_data = {
    "obs_rms_mean": env.obs_rms.mean,
    "obs_rms_var": env.obs_rms.var,
    "policy_state_dict": model.policy.state_dict(),
}

torch.save(policy_data, "checkpoints/microduck_export.pt")

这里导出的内容包括两部分：

  • 策略网络的权重；
  • 训练时观测数据的均值和方法。

这两部分缺一不可，因为策略网络输入要求的是归一化后的观测值，部署时如果不做同样处理，输入分布就会产生偏移，策略效果会明显下降。

如果你想导出为更通用的格式，还可以把策略网络转换为 ONNX： 

dummy_obs = torch.randn(1, 20)
torch.onnx.export(model.policy, dummy_obs, "microduck.onnx")

ONNX 格式的好处是部署时不必依赖 PyTorch，在控制板上运行时会更加轻量。

4.7 真机部署流程

真机部署时，Microduck 的控制板需要运行一段推理代码。这段代码的职责是：

  1. 读取期望运动状态；
  2. 获取当前机身姿态；
  3. 计算策略网络输出的动作；
  4. 将动作转换为舵机指令；
  5. 发送给舵机并循环执行。

下面是一个部署逻辑的伪代码示例： 

import numpy as np
import torch

# 载入导出的策略
data = torch.load("checkpoints/microduck_export.pt")
policy = build_policy_from_state_dict(data["policy_state_dict"])

# 获取归一化参数
obs_mean = data["obs_rms_mean"]
obs_var = data["obs_rms_var"]

# 初始化串口
uart = init_uart(port="/dev/ttyUSB0", baudrate=115200)

# 设置频率
control_rate = 100  # 100Hz
dt = 1.0 / control_rate

while True:
    # 读取传感器状态
    joint_angles = read_joint_angles(uart)
    imu_data = read_imu(uart)
    
    # 拼接观测向量
    obs = build_observation(
        joint_angles=joint_angles,
        imu=imu_data,
        vel=estimate_velocity(imu_data, dt)
    )
    
    # 归一化
    obs_normalized = (obs - obs_mean) / (np.sqrt(obs_var) + 1e-8)
    
    # 计算动作
    action = policy(torch.tensor(obs_normalized, dtype=torch.float32))
    
    # 转换为舵机目标位置
    target_positions = action_to_servo_position(action)
    
    # 发送舵机指令
    send_servo_command(uart, target_positions)
    
    time.sleep(dt)

需要注意的是，真机部署时我们并不需要重新训练策略。因为强化学习策略在仿真训练时已经掌握了控制逻辑，实机上只是做前向推理。所以即使控制板算力不高，也能以较高频率运行。

如果部署时机器人走路不稳，常见原因包括：舵机响应速度不够、控制频率太低、姿态反馈噪声大、观测数据的尺度没有正确归一化。这些问题需要在实际硬件上逐步调试，不能指望策略模型在真机上“一启动就完美”。

4.8 仿真与真机行为的差异处理

在部署过程中最常遇到的现象是“仿真中能走，真机不会走”。这背后的原因可能有很多，但最常见的一个是：舵机模型差异。

仿真环境中的舵机可能被理想化了，输出力矩和响应速度都很完美，而真实舵机存在响应延迟、死区、力矩限制等问题。即便不修改策略，也可以做以下改进：

  • 降低控制频率，给舵机更多响应时间；
  • 在动作输出中增加低通滤波，避免高频抖动；
  • 缩小动作幅度的上下限，让机器人动作更温和；
  • 校准舵机初始位置，确保关节角度零点对齐。

这些属于工程层面上的优化手段，虽然看起来简单，但往往能解决大部分真机部署问题。

5. 常见问题与排查思路

5.1 仿真环境无法正常创建

问题现象 常见原因 解决思路
gym.make("MicroduckWalking-v0") 报错 环境未注册 检查是否已经导入环境包，或是否正确安装项目
MuJoCo 显示渲染失败 缺少 EGL 或 OpenGL 环境 设置 MUJOCO_GL=egl ，或安装对应图形库
导入模型报错 物理模型路径错误 确认模型文件路径，使用绝对路径

5.2 训练不收敛

问题现象 常见原因 解决思路
平均奖励持续很低 奖励函数引导不足 检查各奖励项权重，确认是否存在“局部最优”
回合长度一直很短 机器人频繁摔倒 降低动作幅值，增加稳定奖励
训练过程梯度爆炸 学习率过高 降低学习率到 1e-4 或更低
奖励震荡剧烈 归一化未启用 启动 VecNormalize

5.3 仿真能走，实机不能走

问题现象 常见原因 解决思路
实机原地抖动 舵机响应跟不上控制频率 降低控制频率，增加动作滤波
机器人向前倾倒 状态估计不准 校准 IMU 数据，检查机身方向定义
机器人向后滑倒 脚掌摩擦力不足或重心偏后 调整物理结构，或检查动作映射方向
偶尔能走几步后摔倒 策略对完全固定参数过拟合 在训练中增加域随机化，增强泛化能力

5.4 依赖安装问题

如果安装 mujoco 时出现网络超时，或者 pip 下载速度过慢，可以尝试指定国内镜像源： 

pip install mujoco -i https://pypi.tuna.tsinghua.edu.cn/simple

需要说明的是，在部分网络环境里，外部开源网站访问受限时，直接使用国内开源镜像站是比较方便的替代方案。但要注意镜像站的更新速度可能会略慢于官方源，如果遇到“找不到某个新版本包”的情况，可以切回官方源再试一次。

6. 最佳实践与工程建议

6.1 从仿真就开始考虑真机限制

很多人会先训出一个完美的仿真策略，再考虑真机能不能跑。这种思路在实际项目里很容易翻车。更推荐的做法是，在训练阶段就把真机限制考虑进去：

  • 设定动作幅度限制，避免输出超出舵机范围；
  • 加入动作变化率惩罚，让动作更平滑；
  • 对传感器输入加入噪声，提高策略的鲁棒性；
  • 随机化重心位置和摩擦力，模拟真实装配误差。

这些都属于域随机化的范畴，能显著提高策略迁移到真机的成功率。Microduck 项目能在低成本硬件上跑通，很大程度上正是因为在训练阶段考虑了这些真机因素。

6.2 训练实验要注意记录和可复现

强化学习的实验可复现性非常重要，因为同样一组代码，换一个随机种子，最后的策略表现可能差异很大。建议每次训练前固定随机种子： 

import numpy as np
import torch

np.random.seed(42)
torch.manual_seed(42)

同时在日志中记录：训练时间、随机种子、学习率、奖励函数版本、模型文件路径。这样当策略表现异常时可以回溯是哪一项配置发生了变化。

6.3 真机部署时必须重视安全

双足机器人看起来小，但一旦运动起来，舵机力矩仍然有可能造成伤害，或者破坏设备。在真机测试时务必注意：

  • 第一次通电前，先手动校准所有舵机到中位；
  • 设置一个紧急停止按键或遥控器急停开关；
  • 尽量在桌面上安装支撑架，把机器人悬挂起来进行首次测试；
  • 控制板代码中增加超时自动停机逻辑，防止程序卡死导致机器人持续抖动。

下面是一个简单的安全代码片段： 

import time

last_command_time = time.time()
timeout = 0.5  # 如果超过0.5秒没有正常循环，就停机

while True:
    if time.time() - last_command_time > timeout:
        disable_servos()
        break

    # 正常控制逻辑
    last_command_time = time.time()

这种保护逻辑虽然简单，但在开发阶段的保护作用非常明显。

6.4 低成本硬件的调参思路

Microduck 的硬件价格很低，这意味着它的传感器精度、舵机质量都不会特别顶尖。这种硬件条件下，不要追求极致的运动性能，而应该先以稳定为首要目标。

建议按以下顺序调参：

  1. 让机器人能站住；
  2. 让机器人能原地踏步；
  3. 让机器人能迈出一步并站立恢复；
  4. 让机器人能连续行走；
  5. 最后优化步态效率和美观度。

每到一个阶段就保存一次策略，这样即使后续实验失败，也能回退到之前稳定的版本。

6.5 关注模型和数据的统一管理

Microduck 项目把训练好的模型发布在 Hugging Face 上，这一点非常值得借鉴。社区里很多开源模型和数据集都通过 Hugging Face 分发，对于复现实验、共享模型非常方便。如果你也在做类似项目，可以考虑把手上的强化学习模型也整理成标准格式，上传到公开平台，方便其他开发者直接下载使用。

从工程角度看，模型管理不仅仅是“把文件存起来”，还要记录模型对应的环境版本、训练配置、奖励函数等元信息，这样才能保证别人拿来就能用。

7. 总结与学习路线

这篇文章我们围绕 Microduck 这个开源双足机器人项目，完整梳理了从强化学习基本原理、仿真环境搭建、PPO 策略训练，到最终真机部署的全过程。

几个值得记住的关键点：

  • Microduck 的核心价值是提供了一条低成本的 Sim-to-Real 闭环链路，而不只是一堆硬件图纸；
  • 强化学习训练时，奖励函数和域随机化直接影响策略能否迁移到真机；
  • 真机部署时的控制频率、舵机校准、安全机制决定了项目能否稳定跑起来。

如果你是从零开始，下一步建议按照这样的顺序学习：

  1. 熟悉强化学习基础 ：先掌握 MDP、策略梯度、PPO 这几个核心概念；
  2. 动手跑通仿真训练 ：能用 PPO 在仿真环境里训练出稳定行走的策略；
  3. 理解 Sim-to-Real 方法论 ：研究域随机化、动作滤波、系统辨识等迁移手段；
  4. 真机部署与调试 ：从站立开始，逐步迭代，记录每一次调整带来的影响；
  5. 尝试扩展与改进 ：比如修改训练输入、引入更先进的强化学习算法、或者在更高难度的地形上测试。

Microduck 这类项目最让人兴奋的点在于：它把原本非常昂贵的机器人实验平台变成了几千块钱以内就能接触到的开源套件。即便你还没有购买真机，也可以先跑通仿真训练流程，感受强化学习在机器人运动控制上的完整闭环。等项目玩熟了，再入手硬件部署到真机，整个过程会顺畅很多。

如果这篇文章对你有帮助，可以收藏备用。后续我也会继续更新强化学习机器人控制方向相关内容，点赞关注不迷路，有问题欢迎在评论区交流讨论。

Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

2026年选地轨厂家，靠谱就看这三点

avatar DAMO开发者矩阵
cover

小白程序员也能抓住的风口：大模型应用开发入门指南（含薪资揭秘）

avatar DAMO开发者矩阵
cover

企业微信二次开发：群权限、管理员与群主变更如何设计完整状态同步机制

avatar DAMO开发者矩阵