1. 动机贡献

Openvla/RT-2的 naive binning

(先缩放到[-1,1],每维、每时刻切成 256 格):
把连续值量化成为整数编号 7*50=350个token序列

问题:
  1. 序列太长 训练极慢

  2. 相邻 token 高度相关变化很小,next-token 的边际信息趋近于 0,模型容易学成「抄上一时刻」

  3. 各维度独立编码 丢失时序连贯性,相邻时刻关节角度高度相关,要自己学平滑运动,很困难

Pi0 的 FM

精度高,但是无法复用语言模型的工程积累

2. 核心思路

1. DCT

信号压缩 更少的数据精确保存连续信号 JPEG/MP3
机器人信号特点 平滑 低频为主

**时间域:**某一关节维 1s 输入 H 个数(时间步) → **频域:**用多少块 慢摇的余弦波 + 快摇的余弦波 叠起来,能还原这条曲线?仍是 H 个系数(H 个频率分量的强度)

平滑的线性运动,能量几乎全在X[0]均值,X[1]趋势

低频 = 大轮廓、慢趋势,这 1 秒里这一维「往哪动、动成什么大形」;高频 = 在这大形上 很短的间隔内「多快、多细地扭、突然变一下」

IDCT 只保留低频 还原效果很好 测试 FAST 保留5个分量 误差0.001量级

产出:

FAST+ 通用预训练 Tokenizer 不必为了用 FAST+ 刻意 pad 到 32;decode 时用你自己的 

D 即可。

3. 实验

  1. 自回归首次完成精细操作,之前认为只有DF/FM可以

  2. 和Pi0 FM相比相同任务成功率 所需训练步数快5倍:序列短,和LLM预训练目标一致,token有轨迹形状无需自己学平滑性

  3. 首次开放数据集上实现零样本语言跟随

局限:

推理速度慢 自回归解码不能并行 Pi0 FM 10ms →Fast 30-50ms

4. 贡献

借鉴b站视频

【π系列EP02】动作也能"MP3 压缩"?FAST 用 DCT+BPE 让机器人训练快 5 倍

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐