smolVLA论文阅读
·
主要贡献:smolVLA使用了VLM模型的前半部分作为主干,减小了推理和训练成本,同时采用了异步的推理,能够使机器人在运动连续性和推理消耗之间平衡。
模型架构:采用了SigLIP视觉编码器+SmolVLM的模型前N层(总层数L,N=L/2),同时采用了动作专家action expert,一种流匹配的策略生成动作。
架构优化:
1、降低了视觉token的数量,过多的视觉token会增加注意力成本,核心是用少量视觉 Tokens 保留足够的操控信息。
2、使用了VLM的前N层,论文认为对于下游机器人操控任务,中间层的视觉语言表征已经可能提供足够的信息,不一定需要最后层的输出。
3、action expert采用交叉注意力层或自注意力层交替的形式,交叉注意力层根据图像和语言理解动作,自注意力层建模动作间关系,提升连续性。
训练策略:采用了社区收集的低成本机器人示范数据。
异步推理机制:通过对推理速度的计算以及动作执行时间的计算,让机器人减少因推理等待的时间。同步推理指的是在机器人执行动作完成之后再将此时的状态以及图像发送给模型推理。
总结:SmolVLA = 小型预训练 VLM + Flow Matching Action Expert + 高效 Attention 结构 + 社区机器人数据 + 异步 Action Chunk 执行。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)