本系列共三篇：上篇讲背景、配置与成绩；中篇讲 31 个坑与"更好的办法"反思；下篇讲学习清单与优化方向。这是天池「蚂蚁灵波具身大模型挑战赛」RoboTwin 赛题的全记录，队伍：喵喵喵喵而汪之队（个人小队）。

目录

一、比赛是什么

二、模型架构：它在模仿什么

三、完整配置一览

四、全程时间线

五、最终成绩与双峰分布

---

一、比赛是什么

天池「蚂蚁灵波具身大模型挑战赛」线上初赛：主办方提供开源 VLA（Vision-Language-Action，视觉-语言-动作）模型 LingBot-VLA2（6B）和固定的机器人操作演示数据，参赛者在 RoboTwin 2.0 仿真环境的 50 个双臂机械臂任务上微调模型，按评测成功率排名。任务包括抓取放置、开关抽屉、倒水、握手、盖章、微波炉开门等。

我的装备：AutoDL 租的一张 RTX 6000D 80GB，没有本地 GPU。

二、模型架构：它在模仿什么

组件	内容
基座	LingBot-VLA2 6B（模型总量 6375.9M，激活 5186.8M）
VLM	Qwen3-VL-4B-Instruct（视觉语言理解）
Action Expert	DiT（扩散 Transformer），36 层，hidden=768，MoE 32 experts top_k=4
输出方式	Flow matching 去噪（denoise_steps=10），直接输出动作序列
优化器	Muon + AdamW，lr 1e-4 余弦衰减至 5e-5（配置模板值）
几何辅助	MoGe-2（深度估计），训练含 Depth_Loss

一句话：VLM 负责"看懂"，DiT 负责"动手"，把图像和指令变成机械臂的动作块（action chunk）。

三、完整配置一览

环境（两个 conda env 隔离）

环境	Python	关键依赖
lingbotvla（训练/推理）	3.12	PyTorch 2.8.0+cu128、flash-attn 2.8.3、transformers 4.57.3、lerobot v0.4.2、torchcodec
RoboTwin（仿真评测）	3.10	SAPIEN 3.0、cuRobo、mplib、pytorch3d、Vulkan-Loader 1.4.365（源码编译）

• 两个环境隔离的原因：训练要新 PyTorch，仿真依赖（SAPIEN/mplib）只支持旧 Python
• flash-attn 源码编译必须 MAX_JOBS=2，否则 nvcc 编译内存爆掉
• RoboTwin 必须锁定 commit 13c3c47，版本不一致仿真行为会变，成功率暴跌
• GPU 是新架构，PyTorch 必须用 cu128 版本才带对应 kernel

数据

• RoboTwin clean 数据集：2500 episodes（50 任务 × 50 episodes），548893 frames
• LeRobot 格式 v2.1 → 官方脚本转 v3.0（就地转换）
• 指令高度碎片化：单条指令平均只有 2-5 个样本——这直接决定了后面"训练量不够"的结局

训练（最终提交版）

项	值
精度	BF16
步数	50,000 步（save_steps=5000）
速度	约 4.1 s/step，总计约 57 小时
实际训练量	约 0.73-1 个 epoch（官方基线 93 个 epoch）
显存峰值	约 78.8GB（80GB 卡，几乎顶满）
单份 checkpoint	约 74G（hf_ckpt 24G + model 24G + optimizer 26G）

评测

项	值
任务集	demo_clean，50 任务，按固定顺序执行
评测次数	20 episodes/任务（官方默认 100，需显式改脚本 test_num）
耗时	单集约 36s，全量 1000 次约 8.4 小时
架构	推理服务器（websocket）+ 仿真客户端，两个 conda env 来回切换
结果落盘	每任务完成立刻写 _result.txt，支持中断续跑

提交

• zip 9.45G（BF16 权重 3 分片 12G 压缩后 + 代码 + 文档）
• 天池超大文件必须 OSS 直传：ossutil + STS 临时凭证（1 小时有效），从 AutoDL 直传阿里云，9.45G 用时 9.4 分钟（17.9 MB/s），上传即自动登记为提交

四、全程时间线

时间	事件
09-15	启动：环境搭建、模型下载（主模型 27G + Qwen3-VL 8.3G + MoGe-2 400M）、数据转换
10-13	首次训练配置（batch=4，10k 步），踩 checkpoint 清理脚本 sort bug，误删 step 10000，重训
10-15	10k 步训练完成（loss≈0.08），Vulkan 渲染修复约 10 小时，评测管线打通，smoke test 7.7%，启动全量评测
10-20 后	复盘训练配置：确认 batch=4 过拟合，换大 batch 重训 50k 步 BF16（57 小时）
10-23	50k 模型全量评测（5 episodes）：58.0%；随后加测 20 episodes
10-24	20 episodes 版 568/1000 = 56.8%，整理提交材料，OSS 上传，提交完成

一个有意思的事实：5 episodes 版（58.0%）和 20 episodes 版（56.8%）统计上是一致的——早期小样本评测其实已经给出了可靠的点估计，只是当时我们不敢信它。

五、最终成绩与双峰分布

568 / 1000 = 56.8%（50 任务 × 20 episodes）

把 50 个任务排序后，得分呈明显的双峰分布：

• 约 20% 任务 ≥90%：place_burger_fries 100%、press_stapler / shake_bottle 系列 95%、dump_bin_bigbin / grab_roller / stack_bowls_two 90%……共性是单臂、短程抓取-放置，模型已稳定掌握
• 约 24% 任务 ≤35%：hanging_mug 10%、place_mouse_pad 20%、open_microwave / stack_blocks_three / pick_diverse_bottles 15%、move_stapler_pad / turn_switch 25%、lift_pot / handover_block / put_object_cabinet / stamp_seal / put_bottles_dustbin 35%……

短板集中在四类：双臂协同、毫米级对位堆叠、铰链/旋转交互、多样化泛化——恰好都是人类觉得"顺手"、对机器人却是地狱难度的事。

中篇预告：31 个坑的完整实录，以及每一条"当时有没有更好的办法"的诚实反思。

喵喵喵喵，汪！