机器人想得快,靠一次画完轨迹
机器人想得快,靠一次画完轨迹
让机械臂去桌上一堆杂物里抓一只杯子,它得先弄明白几件事:杯子在哪、从哪个位置下手、手要沿着哪条路过去、路上别碰倒旁边的东西。这些答案最后都得落成坐标和轨迹。麻烦在于,现在负责「想」的视觉语言模型,是把坐标当成一个个词往外吐的——吐完一个,才轮到下一个。一条十个航点的三维轨迹,要吐五十四个词;更密的三维运动预测,得吐几百个。
在机器人身上的小算力板子上,模型每往前算一步要三四十毫秒。几十上百步攒下来,规划一次就得等好几秒。控制回路里,光是「吐坐标」这一件事就吃掉了四分之三以上的时间。手还没动,杯子可能已经被碰歪了。英伟达和几所高校的团队十一月五日挂出一篇论文,动的就是这个环节,方法叫 VFlash。
慢的不是手,是写字的方式
先把旧办法说清楚。自回归解码,说白了就是「一个字接一个字地写」:模型写完第一个坐标,回头看一眼自己刚写了什么,再写第二个。写文章这么干没问题,因为句子本来就有先后;可坐标不是句子,一条轨迹里的十个航点,彼此是同一个几何形状的不同部分,没有谁必须等谁。
有人会问,现成的投机解码能不能救?它让一个小的草稿模型先猜一串词,大模型一次性验收,写文章时提速很明显。但搬到坐标上就卡住了:这套办法要求草稿猜的每个词都跟大模型原本会写的那个词一模一样。坐标只要差一个分箱,五百对四百九十九,整段就被打回,接受率掉到每步两三个词——省下的时间还抵不上折腾。
VFlash 换的思路是:别按「词」验收,按「形状」验收。
一次把整块画出来
它把点、框、轨迹这类有固定几何结构的东西叫做视觉基元。做法分几步,每一步都能翻成大白话。
第一步是先声明长度。模型输出前,用一次结构化的工具调用讲清楚「接下来这段要写多少个坐标、是框还是轨迹」。这行声明的用处,是让后面的位置表有个固定格式,不至于写着写着错位。
第二步交给一个轻量草稿模型。它只有五层,用的是非因果结构——不用等前面写完再写后面,所有位置一起看、一起填。在冻结的大模型已经读过的图像特征之上,它一次并行计算,就把整条轨迹或者整个框的坐标全预测出来。原来要跑五十多步的事,现在一步做完。
第三步是验收,但验的东西变了。一个结构校验器只看两件事:格式对不对、坐标有没有越界。合法就整块收下,不要求跟大模型原本会吐的那串词逐字一致。论文里管这叫「结构上有效即可接受」——空间位置准不准,本来也不该用文字是否一模一样来衡量。必要时,再让大模型跑一次,把上下文同步回来。
为了让这三步真能并行,团队还处理了两个不起眼但很要命的细节。一是分块要按完整几何对象切,不能被固定长度的词窗口拦腰截断,否则草稿学到的是半截轨迹;二是位置要固定含义,用专用坐标词或者定宽的数值字段,让「第几个位置一定是什么」始终不变,不然不同长度的数字会把后面的位置全挤歪。
快了多少,准没准
在三维点运动预测上,单次生成大约快二十五倍。这个数字听着抽象,换个说法:原来要等一秒才出结果的地方,现在约四十毫秒就给出来,差不多是一次眨眼的三分之一。
更要紧的是快了之后没变糊。三个机器人数据集、三种目标模型配置下,平均三维位移误差比自回归解码低了百分之四十二点六,部分场景最多低百分之六十一。原因也好懂:一个词接一个词地写,前面写偏一点,后面会跟着越偏越远;整块一起画,反而少挨这种连带的错。
在嵌入式板子 Jetson Thor 和 DGX Spark 上,端到端的机器人推理速度大约提到五倍,自动驾驶规划那边超过三倍。四组 MolmoSpaces 任务里,接了 VFlash 规划的世界动作模型,平均成功率百分之七十点二,基线是百分之六十二点六——注意这已经不是「算得更快」,而是下游真把任务做成了更多次。物体定位上,每秒能出的框是原来的二点六到二点八倍,平均 F1 分数基本持平。
同一套解码器还能管几种不同的输出:长短不一的轨迹、稠密的三维运动、子任务文本。文本那部分仍走老办法,草稿猜十六个位置、大模型一次验完留最长匹配前缀,别把已经好用的东西推倒重来。
这些数字该放在哪
边界得摆清楚。二十五倍是批量大小为一、单次生成的初步测量,跑在指定的任务和硬件上;换到大批量、换张卡、换个任务,倍数不会原样复制。论文公布的成果以基准任务为主,真实车间、真实路口那种杂乱环境下的精度和稳定性,还没见到长期验证。
还有一点容易误读:VFlash 改的是「怎么把答案写出来」,不是换了个更聪明的大模型。主干模型全程冻结,训练时只动那个五层的小草稿。这也解释了为什么它值得看——很多团队卡在实时性上,第一反应是换更小的模型、砍精度;这篇给出的是另一条路:模型不动,改输出的组织方式,快和准可以不二选一。
对做工程的人,能直接抄走的是那句判断:只要输出本身有结构,就别硬按语言的规矩一个词一个词地生成。声明长度、固定位置、按完整对象验收——这三步不挑模型,换成别的结构化输出一样成立。
(信源:arXiv 二六一一·〇八四四九论文摘要与作者列表;机器人前瞻、智东西等中文技术解读;英伟达研究者公开评论。)
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)