Pi0-FAST 的 DCT + BPE 流水线拆解
1. 动机贡献
Openvla/RT-2的 naive binning
(先缩放到[-1,1],每维、每时刻切成 256 格):
把连续值量化成为整数编号 7*50=350个token序列
问题:
-
序列太长 训练极慢
-
相邻 token 高度相关变化很小,next-token 的边际信息趋近于 0,模型容易学成「抄上一时刻」
-
各维度独立编码 丢失时序连贯性,相邻时刻关节角度高度相关,要自己学平滑运动,很困难
Pi0 的 FM
精度高,但是无法复用语言模型的工程积累
2. 核心思路


1. DCT
信号压缩 更少的数据精确保存连续信号 JPEG/MP3
机器人信号特点 平滑 低频为主
**时间域:**某一关节维 1s 输入 H 个数(时间步) → **频域:**用多少块 慢摇的余弦波 + 快摇的余弦波 叠起来,能还原这条曲线?仍是 H 个系数(H 个频率分量的强度)
平滑的线性运动,能量几乎全在X[0]均值,X[1]趋势
低频 = 大轮廓、慢趋势,这 1 秒里这一维「往哪动、动成什么大形」;高频 = 在这大形上 很短的间隔内「多快、多细地扭、突然变一下」
IDCT 只保留低频 还原效果很好 测试 FAST 保留5个分量 误差0.001量级



产出:
FAST+ 通用预训练 Tokenizer 不必为了用 FAST+ 刻意 pad 到 32;decode 时用你自己的
D 即可。
3. 实验
-
自回归首次完成精细操作,之前认为只有DF/FM可以
-
和Pi0 FM相比相同任务成功率 所需训练步数快5倍:序列短,和LLM预训练目标一致,token有轨迹形状无需自己学平滑性
-
首次开放数据集上实现零样本语言跟随
局限:
推理速度慢 自回归解码不能并行 Pi0 FM 10ms →Fast 30-50ms
4. 贡献

借鉴b站视频
【π系列EP02】动作也能"MP3 压缩"?FAST 用 DCT+BPE 让机器人训练快 5 倍
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)