英伟达:让机器人边做边想消除推理延迟

📖标题:TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency
🌐来源:arXiv, 2610.17540v1
🛎️文章简介
🔸研究问题:现有的视觉-语言-动作(VLA)模型在采取行动前需要生成推理文本,这虽然提升了性能,但导致严重的延迟,因为动作必须等待文本生成完毕。我们能否在不牺牲性能的前提下,消除这种推理带来的延迟?
🔸主要贡献:论文提出了TacitVLA模型,通过屏蔽动作专家对当前推理文本的注意力,实现了与显式推理模型相当的成功率,同时拥有无推理模型的极低延迟,在多个基准测试中刷新了最佳成绩。
📝重点思路
🔸核心洞察:研究发现,推理文本对动作的帮助主要来自于训练阶段的监督信号,它优化了骨干网络的特征表示,而不是因为动作执行时必须“看到”生成的文本。因此,动作专家无需等待或关注当前生成的推理文本。
🔸架构设计:TacitVLA采用混合Transformer架构,包含一个生成推理文本的视觉-语言骨干网络和一个输出动作的动作专家。关键创新在于训练时,动作专家的注意力机制被掩码,使其无法关注当前的推理token,从而解耦了动作生成与文本生成的依赖。
🔸异步执行策略:对于不需要记忆的任务,部署时完全跳过文本生成;对于需要记忆(如记录子任务进度)的长程任务,模型先输出动作并立即执行,同时在动作执行的物理时间窗口内异步生成推理文本作为后续的记忆条目,只要生成时间短于执行时间,就不会增加额外延迟。
🔎分析总结
🔸性能持平:在RoboMME、RMBench、LIBERO和PhysicalAI-AV四个涵盖机械臂操作和自动驾驶的基准测试中,TacitVLA的成功率与需要等待文本生成的显式推理模型相当,甚至在部分计数和记忆任务上略优。
🔸延迟大幅降低:TacitVLA的推理延迟比显式推理模型低1.7倍至3.4倍。在非记忆任务中,其延迟与完全不进行推理的基线模型一致;在记忆任务中,由于利用了动作执行的时间窗口,也几乎不增加额外延迟。
🔸刷新纪录:TacitVLA在RoboMME计数套件和RMBench上超越了此前发布的最佳结果,并在LIBERO-Plus和自动驾驶挑战中取得了极具竞争力的分数,证明了仅靠训练监督即可内化推理能力。
💡个人观点
论文打破了“推理必须发生在行动之前”的思维定势,利用了机器人物理执行的时间空隙来“偷偷”完成记忆记录,既保留了思维链训练带来的表征增强红利,又避免了实时生成文本的计算开销。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)