初创具身智能公司需要几个模型？一张图看懂 ASR、LLM、VLA、步态算法和 ROS 2

很多人第一次了解具身智能，会被一串缩写吓住：ASR、TTS、LLM、VLM、VLA、YOLO、PPO、MPC、WBC、ROS 2。

先记住一句话：

机器人不是靠一个万能模型完成任务，而是靠“听懂、看见、想清楚、走稳、执行安全”几层能力配合。

初创公司也不需要一开始把所有模型都做出来。更实际的路线是：

先让机器人稳定站立和行走
        ↓
再让它听懂人话、说出结果
        ↓
再让它看见人和物体
        ↓
最后再做复杂的视觉操作

一张图看懂机器人由什么组成

具身智能机器人的五层结构

这张图可以用一句话记忆：

上面三层决定“做什么”，下面两层保证“安全地做出来”。
层主要问题常见组件
人与环境机器人收到什么信息麦克风、摄像头、深度、IMU、关节传感器
感知机器人听到、看到什么ASR、目标检测、深度估计、跟踪
决策机器人准备做什么LLM、任务规划、技能调用
运动控制怎样保持平衡并移动步态策略、PID、MPC、全身控制
执行怎样安全驱动身体电机驱动、限位、急停、温度保护

这里最容易混淆的是：ASR、LLM、YOLO 是模型；PPO 是训练算法；PID、MPC 是控制方法；ROS 2 是通信框架。它们不是同一种东西。

初创公司到底需要几个模型

没有固定答案。按照一个“会说话、能看见物体、能稳定行走”的双足机器人来估算，最小组合大约是下面这些：

能力要不要单独模型第一版建议
听懂语音有语音交互时需要直接用 Qwen3-ASR、Whisper 或 FunASR
理解任务有自然语言控制时需要先用云端或现成小型 LLM
说话需要语音反馈时需要Piper、CosyVoice 或其它现成 TTS
看到物体需要视觉任务时需要YOLO 或 RT-DETR 做固定类别检测
双足行走必须有经典控制器或 PPO 运动策略
复杂操作后期才需要VLA、模仿学习或动作规划
ROS 2不是模型根据系统复杂度选择

所以第一版产品不一定是“七个模型”。更常见的是：

1 个步态策略
1 个语音识别模型
1 个语言模型
1 个语音合成模型
0～1 个视觉模型

VLA 通常不是第一天就要做的东西。它更适合“看着画面、听着指令、完成抓取或操作”这类复杂任务。

ASR、LLM、TTS 分别做什么

用“机器人听人说话”为例：

“走到桌子旁边”
        ↓
ASR：把声音变成文字
        ↓
LLM：理解任务，选择 navigate_to 技能
        ↓
运动控制：执行走路
        ↓
TTS：播报“我到了”

ASR：听懂声音

ASR 是语音识别，输入音频，输出文字。

常见开源方案：

  • Qwen3-ASR：适合中文、多语言和领域词适配；
  • Whisper：生态成熟，适合多语言和离线转写；
  • FunASR：中文实时识别和配套工程能力较强。

ASR 只负责“听写”，不负责决定机器人是否应该行动。识别出“打开门”之后，还要经过权限、安全和任务检查。

LLM：把话变成任务

LLM 适合做任务理解和技能调用，例如：

{
  "skill": "navigate_to",
  "target": "桌子旁边"
}

不要让 LLM 直接生成电机角度、电流或 PWM。LLM 只调用受约束的技能，底层控制器决定什么动作真正可以执行。

TTS：让机器人说话

TTS 是文字转语音。早期可以直接使用 Piper、CosyVoice 或其它成熟方案。重点不是先训练一个“机器人声音大模型”，而是先解决：

  • 首次响应是否足够快；
  • 用户说“停止”时能否打断播报；
  • 网络断开时是否还能发出关键提示；
  • 中文数字、金额和专有名词是否读对。

VLA 到底是什么

VLA 是视觉语言动作模型。它把图像、文字和机器人状态放在一起，输出动作或动作片段。

图像：“看见一个杯子”
文字：“把杯子递给我”
状态：手臂和身体当前姿态
        ↓
VLA：输出抓取、移动、递出的动作序列

可以这样区分：

名称主要输入主要输出
LLM文字文字、计划、技能调用
VLM图像 + 文字图像理解和回答
VLA图像 + 文字 + 状态动作、轨迹或技能
步态策略IMU、关节状态、目标速度关节动作

VLA 不能代替电机安全层，也不能自动解决双足平衡。它更像“复杂任务的大脑”，不是整个机器人系统。

常见开源方向包括 OpenVLA、Octo、SmolVLA、Diffusion Policy 和 ACT。它们主要用于抓取和操作，初创双足公司不应该在行走还不稳定时就优先训练 VLA。

双足步态到底用什么“模型”

这是最需要分清的一部分。双足领域没有一个类似 YOLO 的统一“步态模型品牌”，主要有两条路线：

双足步态算法两条主路线

路线一：经典控制

经典控制不是神经网络，常见做法是：

倒立摆 / ZMP
        ↓
规划脚步和身体轨迹
        ↓
逆运动学
        ↓
PID / MPC / 全身控制
        ↓
关节动作

它的特点是可解释、约束明确，适合先把硬件调通。缺点是遇到复杂地面、外力和快速动作时，需要较多人工建模。

路线二：强化学习步态

现在腿式机器人最常见的学习路线是：

Isaac Lab 或 MuJoCo
        ↓
PPO 训练
        ↓
得到 actor 策略网络
        ↓
导出 policy.onnx
        ↓
真机实时推理

这里几个词的关系是：

  • PPO：训练方法；
  • actor：真正输出动作的神经网络；
  • Isaac Lab / MuJoCo：让机器人在电脑里练习的仿真环境；
  • RSL-RL / skrl：强化学习训练实现；
  • policy.onnx：部署到机器人上的模型文件。

NVIDIA Isaac Lab 官方文档把 RSL-RL 列为 GPU 并行腿式运动任务的常用后端，并支持 PPO、教师学生蒸馏和对称性增强。Isaac Lab 强化学习文档

其它步态学习方法放在什么位置

方法什么时候用记忆方式
PPO训练基本行走、转向和速度跟踪让机器人在仿真里试错学走路
AMP / DeepMimic想让动作更自然，学习起身、踢球等给策略一个动作示范
残差 RL已有 MPC/WBC，但还需要学习补偿经典控制打底，RL 修细节
教师-学生仿真能看到完整状态，真机看不到老师先学会，学生学会少量传感器输入

因此，对初创公司最实用的答案是：

先用经典控制保证安全，再用 PPO 训练本体感觉步态；需要自然动作时再加 AMP 或模仿学习。

Microduck 的双足算法是什么

根据 Pollen Robotics 官方公开仓库，Microduck 的运动训练链路是：

mjlab / MuJoCo Warp
        ↓
PPO
        ↓
执行器模型 + 领域随机化 + 齿隙模拟
        ↓
ONNX 策略
        ↓
机器人运行时

官方资料明确提到：

  • 运动策略使用 MuJoCo 和 PPO 训练；
  • 训练频率和运行接口是 50 Hz；
  • 策略导出为 ONNX；
  • 使用执行器物理模型、领域随机化和 backlash 齿隙模拟；
  • 不同动作策略共享 61 维观测和 14 维动作接口；
  • 运行时控制循环负责把策略输出交给电机。

因此 Microduck 的步态“模型”可以准确地说成：

一个以 IMU、关节状态和运动指令为输入，以关节动作作为输出的 PPO 策略网络。

它不是 VLA，也不是 YOLO。Microduck 官方运动策略不直接把摄像头原始图像作为走路输入。视觉、高层行为和运动控制是分开的。Microduck 官方仓库、Microduck RL 训练仓库

Microduck 的视觉算法是不是 YOLO

目前公开资料没有确认 Microduck 核心运行时使用 YOLO、Grounding DINO 或某个固定 VLM。因此不能直接说“Microduck 的视觉算法就是 YOLO”。

更严谨的理解是：

摄像头 / ToF
      ↓
感知进程
      ↓
“发现目标”“目标在这里”等简单结果
      ↓
高层行为
      ↓
运动策略

如果你的机器人要找红色杯子，可以选 YOLO；如果要根据文字找陌生物体，可以选开放词汇检测；如果要精确抠出物体轮廓，可以再接分割模型。

YOLO 是什么

YOLO 是实时视觉模型，最常见的任务是目标检测：它不只回答“图中有没有杯子”，还要回答“杯子在哪里”。

{
  "label": "cup",
  "confidence": 0.93,
  "box": [120, 80, 260, 310]
}

常见选择可以这样记：

任务方案结果
找固定类别YOLO、RT-DETR物体框和类别
用文字找陌生物体Grounding DINO、YOLO-World文字对应的目标框
抠出物体轮廓SAM 2像素级区域
估算距离RGB-D、双目、Depth Anything深度或距离
视频中持续跟踪ByteTrack、BoT-SORT目标 ID

Ultralytics 官方工具支持检测、分割、姿态、跟踪以及 ONNX、TensorRT 等导出方式。Ultralytics YOLO 官方文档

ROS 2 是什么，Microduck 为什么不用

ROS 2 不是模型，也不是 Linux 操作系统。它更像机器人的“通信和工具箱”：让摄像头、定位、规划、电机和可视化程序能够交换数据。

最重要的三个概念就够入门：

概念白话解释
Topic持续广播的数据，例如图像、IMU、里程计
Service发一个请求，得到一个结果，例如查询状态
Action可持续、可反馈、可取消的任务，例如导航

ROS 2 的价值是有大量现成驱动、导航、仿真和调试工具。ROS 2 官方文档把它定义为基于强类型发布/订阅机制的机器人中间件。ROS 2 基本概念

Microduck 选择的是另一条路：官方运行时是 Rust workspace，各个守护进程通过 Unix socket 上的 JSON-RPC 通信，控制循环和电机由自己的 robotd 管理。它的硬件固定、系统规模小，自己做通信层可以减少依赖和运行时开销。Microduck 架构说明

所以：

多传感器、多团队、需要快速接入生态
        → ROS 2 更方便

固定硬件、系统较小、追求可控和低延迟
        → 自研 IPC / RPC 也合理

不管用不用 ROS 2
        → 最底层电机安全回路都要独立、可靠、可急停

初创公司的推荐路线

初创具身智能公司落地路线

第一步：只解决“能走”

  • 电机、编码器、IMU、急停和限位；
  • 先用经典控制或已有步态策略；
  • 建立仿真、日志和真机回放；
  • 先追求不摔倒、能停止、能恢复。

第二步：解决“能交流”

  • ASR 把声音变成文字；
  • LLM 把文字变成技能调用；
  • TTS 把结果说出来；
  • 所有危险动作必须经过安全检查。

第三步：解决“能看见并完成任务”

  • 用 YOLO 或其它检测模型找到固定类别；
  • 用深度和跟踪解决距离、位置和连续动作；
  • 有抓取和操作数据后，再研究 VLA。

不要把“模型数量”当成公司技术实力。真正决定产品能否落地的是：

延迟是否稳定
传感器时间是否对齐
电机是否安全
模型出错时能否降级
数据能否持续回流

最终记忆版

ASR：听懂
YOLO：看见固定物体
LLM：想清楚下一步
TTS：说出来
PPO policy：学会走路
MPC / PID：保证控制和安全
VLA：后期学习复杂视觉操作
ROS 2：让各个模块互相通信

对于 Microduck：

PPO + MuJoCo/mjlab + sim-to-real + ONNX
        ↓
本体感觉运动策略
        ↓
50 Hz 控制循环
        ↓
电机和安全层

这比“机器人里面有 ASR、TTS、VLA、LLM、YOLO、ROS 2，所以需要七个模型”更准确，也更适合初创公司做第一版产品。

参考资料

# 算法 # 人工智能 # 机器人
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

具身智能系统概论——边缘计算和云端协调

avatar DAMO开发者矩阵

【VLA与模仿学习】UniAD代码导读

UniAD 代码导读：基于官方仓库标准 stage2 配置，梳理输入输出、各类 Query、BEV 构建、Transformer 模块、监督损失、预测与评测流程。

avatar DAMO开发者矩阵

【导航与地图】NavDP导航扩散策略

NavDP 精读：只在仿真训练、真机零微调的导航扩散策略，用局部 RGB-D 生成多条轨迹再由 critic 挑选最安全的一条，支持多种机器人本体。

avatar DAMO开发者矩阵