饶承坤 Chengkun Rao · Physical WAM 实验记录

在 book_caddy 单任务离线仿真中,未来查询从 1,568 压缩到 196。同样 1,000 次更新,训练循环从 50.15 秒 缩短到 18.85 秒,耗时减少约 62.4%。## 为什么压缩未来查询机器人操作策略需要预测物体接下来可能在哪里、怎样移动,以及物体间的相对关系。Physical WAM 关注的是,用更少的查询预测这些与操作相关的信息,训练开销能降低多少。实验冻结 V-JEPA 视觉编码器。联合预测器读取当前视觉上下文和未来查询,预测物体状态、运动和相对关系。动作模块读取预测器提供的当前上下文,两部分联合训练。## 实验设置与结果两组使用相同设置。任务为 book_caddy,包含 16 个训练窗口和 8 个验证窗口,随机种子 42,批大小 2,各运行 1,000 次更新。| 指标 | 完整查询 | 压缩查询 | 变化 ||------|----------|----------|------|| 未来查询数 | 1,568 | 196 | 减少 87.5% || 预测器计算量 | 13.031 GFLOPs | 1.845 GFLOPs | 降低约 85.8% || 训练循环耗时 | 50.15 秒 | 18.85 秒 | 减少约 62.4% |耗时统计覆盖这 1,000 次训练循环更新,FLOPs 只统计预测器。## 下一步怎么测这轮实验量化了压缩查询后的训练成本。后续会在多个数据划分和随机种子上复测,记录任务完成率,比较不同查询预算下的训练成本和任务表现。完整实验记录 · 具身智能作品 · V-JEPA 研究背景

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐