IL_策略训练---Transformer神经网络种类五

田间的水稻

148人浏览 · 2026-10-09 16:15:18

田间的水稻 · 2026-10-09 16:15:18 发布

EI：Embodied Intelligent，IL：Imitation Learning

Transformer 作为机器人动作预测主干网络：训练算法、开源库、厂商、功能详解

前置定义：这里的Transformer 是动作预测主干（不是单纯图像编码器），依靠自注意力机制建模全局时序依赖，支持多模态 token 融合（图像、本体状态、语言指令），一次性输出动作 Chunk。
区分：

MLP：单帧马尔可夫；1D-TCN：局部时序卷积；LSTM：串行隐状态短时记忆；
Transformer：全局时序注意力，原生支持跨模态融合，长时序全局依赖建模能力最强。
适配链路：光学动捕 BVH 时序序列、遥操作示教轨迹，转 LeRobot/HDF5 数据集，训练 Transformer 动作策略。

一、采用 Transformer 作为动作主干的训练算法、开源代码库、论文 & 数据集

1. ACT Action Chunking Transformer（最主流模仿学习，CVAE+Transformer）

网络主干：Transformer 编码器 + CVAE 隐变量分支
论文：Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware（RSS 2023，斯坦福 ALOHA）arXiv
原理：行为克隆 BC，条件变分自编码器 + Transformer；输入图像 + 本体状态，一次性预测未来一整段动作 Chunk，减少长时序误差累积；隐变量建模示教中不同操作方案的多样性；滚动时域推理。
开源仓库：
- https://github.com/tonyzhaozh/aloha（原版 ALOHA+ACT）
- HuggingFace LeRobot 原生内置 ACT 策略，开箱训练
数据集：ALOHA 双臂示教数据集、Robomimic、Push-T；支持导入 BVH 转时序示教数据。
适用：双臂精细装配、插拔、穿线、小样本示教（几十条 demo 即可）。

2. Diffusion Policy Transformer 版本（Diffusion-Transformer / DiT Policy）

网络主干：Transformer（DiT，Diffusion Transformer）作为扩散模型的去噪网络
论文：Diffusion Policy: Visuomotor Policy Learning via Action Diffusion（IJRR 2024）；DiT-Block Policy（2025）Diffusion …
原理：条件扩散生成；观测编码为 token 送入 Transformer，通过去噪生成连续动作序列；极强多峰分布建模，同一个观测可生成多种可行操作轨迹。
开源仓库：https://github.com/real-stanford/diffusion_policy，LeRobot 原生支持 Diffusion Policy Transformer 版本。
数据集：Robomimic、ALOHA、Bridge、DROID。

区分 Diffusion Policy 两个版本：1D U-Net（TCN 主干）、Transformer/DiT 主干；DiT 版本长时序、多模态性能更强，但显存更高。

3. RT-1 Robotics Transformer（谷歌，端到端 VLA Transformer）

主干：Transformer
论文：RT-1: Robotics Transformer for Real-World Control at Scale（RSS 2022）Robotics: …
原理：大规模多任务预训练，图像 + 语言指令 token 输入 Transformer，输出离散 / 连续动作序列；跨任务泛化，语言指令驱动机器人操作。
开源：谷歌开源 RT-1 实现；
数据集：谷歌内部大规模机器人多任务数据集，Open X-Embodiment。

4. Octo（通用机器人基础策略 Transformer）

主干：Transformer
论文：Octo: An Open-Source Generalist Robot Policy（2024）arXiv
原理：在 Open X-Embodiment 80 万条跨机器人示教数据上预训练，Transformer 主干，支持语言 / 目标图像作为条件，可少量数据微调适配新机器人。
开源：https://github.com/octo-models/octo
数据集：Open X-Embodiment 跨具身机器人数据集。

5. Transformer-PPO / Causal Transformer RL（强化学习）

主干：Causal Transformer（因果 Transformer，时序自注意力），Actor/Critic 均为 Transformer
论文：Humanoid Locomotion as Next Token Prediction NeurIPS2024；Science 子刊人形全身 locomotion Transformer RL 论文
原理：序列式 PPO，把传感器历史序列送入因果 Transformer，利用历史观测解决 POMDP，预测全身动作；可以直接在 BVH 动捕数据上做预训练，再 RL 微调。
开源：RSL-RL、CleanRL、TorchRL 均可自定义替换 Actor/Critic 为 Causal Transformer；IsaacLab 支持 Transformer 策略。
数据集：CMU Motion BVH、仿真本体传感器时序。

6. Transformer-GAIL / Transformer-AMP（对抗模仿变体，科研原型）

主干：Actor 为 Transformer；判别器一般 MLP，少数方案判别器也用 Transformer
原理：GAIL/AMP 框架不变，Actor 替换为 Transformer，建模长时序运动分布；AMP 变体可以用 BVH 姿态序列训练拟人全身运动。
开源：基于 rsl-rl 二次开发，无官方原生实现；仅科研原型。
短板：对抗训练不稳定，算力开销巨大，极少真机落地。

7. HoloMotion-1 MoE Transformer（地平线人形运动基础模型）

主干：稀疏 MoE Transformer，序列级 PPO 训练
论文：HoloMotion-1 Technical Report（2026）arXiv
原理：在海量动捕 + 视频重建人体运动数据预训练，MoE 降低推理开销，用于人形全身运动轨迹跟踪；KV-cache 加速实现真机闭环。
开源：项目主页开放技术报告，权重与训练代码开源。

二、使用 Transformer 作为动作预测主干的机器人公司（分层架构说明）

行业统一分层：底层高频全身步态平衡 → MLP；上层操作 / 多模态语言任务 → Transformer。Transformer 几乎不会用于人形底层 100Hz 步态闭环，多用于双臂、灵巧手、VLA 多模态任务、长时序复杂操作。

谷歌 Google（RT-1/RT-2）
- RT-1/RT-2，Transformer 作为端到端动作主干；语言 + 视觉输入，完成多任务桌面操作；科研原型。
NVIDIA 英伟达 GR00T
- GR00T VLA 人形基础模型，Transformer 为主干；跨具身通用人形技能；用于人形机器人上层操作策略，底层 locomotion 依旧 MLP+PPONVIDIA。
智元机器人（A01 人形）
- 灵巧手 / 双臂精细操作模块：ACT、Diffusion Transformer（DiT）作为动作主干；全身行走平衡采用 MLP+AMP/PPO；支持遥操作示教、动捕数据微调。
Figure AI Figure01
- 双臂操作策略：Transformer 类 VLA 策略（ACT/Diffusion Transformer）做抓取、物品操作；底层步态 MLP。
星动纪元
- VPP2 模型，Action DiT（Diffusion Transformer）作为动作专家主干；负责长时序、物理感知型灵巧操作；高层 VLM 做任务规划。
小米机器人 Xiaomi-Robotics-0
- 端到端 VLA Transformer 主干，双臂操作，支持语言指令；开源训练代码与模型权重arXiv。
地平线机器人 HoloMotion
- MoE 稀疏 Transformer，人形全身运动基础模型，从大量 BVH 动捕数据学习全身运动，零 - shot 运动迁移；底层实时平衡控制器依然 MLP。
Franka Emika、UR（协作臂，学术客户）
- 原厂控制器不用 Transformer；大量高校、实验室在 Franka 机械臂部署 ACT、Diffusion Transformer 做上层操作 AI 策略。

补充：特斯拉 Optimus、宇树、傅里叶、优必选：底层全身运动策略依旧 MLP；Transformer 仅在预研原型、上层 VLA 任务规划 / 操作策略中测试，未进入量产底层控制闭环。

三、Transformer 作为动作预测主干，主要完成的功能

全局长时序依赖建模（Transformer 核心独有优势）
MLP 只能看当前一帧；TCN 只能看局部窗口；LSTM 长序列梯度衰减；Transformer 自注意力可以直接关联相隔很远的时序观测，适合长任务（多步骤装配、连续工具使用、多阶段操作）。
多模态信息原生融合（图像、本体状态、语言指令、目标图像）
把 RGB 图像 token、关节本体状态 token、自然语言指令 token 全部放到同一个注意力空间做融合；实现语言指令驱动机器人执行任务（比如 “把电池塞进卡槽”），这是 MLP/TCN/LSTM 原生做不到的。

MLP/TCN/LSTM 想要语言输入，必须单独训练语言编码器，拼接特征，无法原生统一 token 空间。

动作 Chunk 生成，滚动时域闭环（ACT/Diffusion Transformer）
单次前向推理一次性输出未来一段连续动作序列；执行几步后，采集新视觉 / 本体观测，重新预测新动作块，抑制长时序误差累积，适合高精度接触操作。
多峰动作分布建模（Diffusion Transformer DiT）
同一组视觉观测下，存在多种可行操作轨迹（抓取可以从左侧 / 右侧，不同插入姿态），Transformer + 扩散可以学习多模态动作分布，不会出现 MLP/LSTM 的均值坍缩，接触丰富灵巧手任务成功率大幅提升。
跨任务、跨机器人泛化，机器人基础模型预训练
大规模多机器人、多任务示教数据集（Open X-Embodiment）预训练 Transformer，少量新任务示教数据即可微调，实现小样本学习（Octo、RT-1、GR00T）。
长时序 POMDP 任务（因果 Transformer+RL）
利用全部历史传感器 token，解决观测不完全、传感器延迟、环境部分不可见的人形全身运动任务；可以直接在 BVH 人体动捕序列上做预训练，再强化学习微调。
作为上层任务策略，和底层 MLP 运动控制器分层配合
高层 Transformer 负责理解语言、规划长任务、生成操作动作序列；底层 MLP 负责高频（50~200Hz）全身平衡、步态抗扰动，兼顾智能泛化 + 实时控制。

Transformer 不擅长的任务

高频动态全身跑跳、强扰动实时平衡：Transformer 推理延迟高、显存占用大；不适合人形底层 100Hz 以上闭环，这类场景优先 MLP；
算力受限嵌入式端实时部署：标准稠密 Transformer 推理开销大；MoE 可以降低开销，但工程复杂度显著提升；
对小数据集（极少 demo）相比 ACT 有过拟合风险；
训练开销巨大，并行仿真训练效率低于 MLP/1D-TCN。

四、横向汇总对比

表格

网络主干	时序能力	多模态 (图像 + 语言)	多峰动作建模	推理延迟	小样本性能	核心短板	推荐场景
MLP	❌单帧马尔可夫	❌图像需单独编码	❌均值坍缩	<1ms	中等	无记忆，长任务漂移	四足 / 人形步态、平衡、点位控制
1D Temporal CNN /1D U-Net	✅局部时序	❌原生不支持语言	✅优秀	20~60ms(DDIM)	良好	长距离时序弱，chunk 接缝抖动	机械臂抓取、推、插入、柔性物体操作，Diffusion Policy-CNN
LSTM/GRU（RNN）	✅短时序记忆（隐状态）	❌原生不支持语言	❌均值坍缩	5~20ms	中等	串行训练、长序列梯度消失、隐状态管理复杂	传感器延迟、POMDP、布料 / 线缆慢时序操作；科研基线原型
ACT CVAE+Transformer	✅全局时序	✅支持图像 + 语言	✅一般	~10ms	优秀	隐变量模式坍缩	双臂精密装配 ALOHA，小数据集
Diffusion Policy Transformer(DiT)	✅全局时序	✅强	✅最优	40~120ms	优秀	显存大、推理慢	灵巧手、多模态语言指令、长时序复杂操作

五、工程落地要点（对接 BVH 动捕 / LeRobot）

数据预处理：BVH 动捕时序转为观测 - 动作序列；转为 HDF5/Parquet LeRobot 数据集；输入要把图像、本体状态 token 化；
选型决策：
- 全身步态、抗扰动平衡 → MLP
- 双臂精细装配、小样本示教 → ACT Transformer
- 灵巧手、多可行轨迹、语言指令任务 → Diffusion Transformer DiT
- 传感器延迟、慢时序形变 → GRU/LSTM
- 局部时序、算力有限、不想太高推理延迟 →1D U-Net
推理优化：KV-cache、MoE 稀疏激活、模型量化降低延迟；滚动时域 + 动作块融合，消除 chunk 边界抖动；
训练注意：Transformer 对学习率、位置编码、token 归一化非常敏感；数据集少时容易过拟合，需要数据增强、正则。