浙大&宇树等 | Movens-Zero:机器人看懂听懂就会动
论文:Movens-Zero:Scaling Humanoid Motion Foundation Models with Large-Scale Human Videos
作者:Wendong Bu, Tinghong Ye, Qizhou Wang等
单位:浙江大学,宇树科技等
Arxiv:2610.41877
想象一下这个场景:你在厨房里随口说一句“把那边的杯子拿过来”,或者对着机器人比划一段动作,它就能立刻理解你的意图,当场做出一个既符合语义、又物理上站得住脚、还能稳稳执行的全身动作。这不是科幻片里的桥段,而是浙江大学、宇树科技联合微软研究院、北京大学、华东师大、新加坡国立大学等机构,刚刚放出的一份86页技术报告想要回答的问题。
这篇名为《Movens-Zero:用大规模人类视频规模化人形动作基础模型》的工作,给出了一个相当有说服力的答案:直接从互联网上海量的“人类视频”里学,把人怎么动的,翻译成机器人怎么动。更关键的是,它把这件事做成了一条可以规模化的流水线——数据有500万条可执行人形动作、超过1万小时,模型从6400万参数一路扩到9.11亿,四种输入模态(文本、语音、音乐、视频)全面受益。
今天我们就把这份报告掰开揉碎讲清楚:它到底解决了什么难题,数据是怎么“炼”出来的,架构为什么这么设计,以及那些漂亮的缩放曲线背后藏着什么工程智慧。

一、为什么人形机器人基础模型一直“规模不起来”
语言模型和视觉模型这几年的突飞猛进,靠的是一件事:把数据和模型规模堆上去,能力就“涌现”出来了。互联网上有海量的文本和图片,随便抓。可人形机器人不一样——你很难从网上直接抓到“机器人执行动作”的数据。
但论文作者指出,互联网上其实藏着一个巨大的宝藏:无数人在各种场景里活动的视频。这些视频天然记录了“人做了什么动作、在什么场景里做”。于是问题变成:能不能把人类视频规模化地转化成机器人的学习监督信号?
作者认为,之前人形动作基础模型没能像语言、视觉那样规模化,卡在两个环环相扣的难题上。
第一个难题是数据构建。互联网视频质量参差不齐,镜头抖动、遮挡会给动作恢复带来误差;就算动作恢复得准,人和机器人的“身体构造”不一样,从人体动作重定向到机器人关节又是一层误差;就算重定向也准了,生成的动作还不一定满足物理约束——它可能让机器人摔倒、脚底打滑、关节穿透。所以每一步都要验证。除此之外,你还得把文本、语音、音乐、视频这些形态各异的“人类指令”,和机器人动作精确对齐,才能做大规模的多模态指令跟随训练。
第二个难题是模型训练。文本、音频、视频的格式和时间结构完全不同,你需要一个共享的动作预测架构来吃下这些异构输入;在这个架构之上,还要有一个统一的训练目标,让不同模态的数据能一起训;更要命的是,模型越大、推理越慢,而实时闭环控制恰恰要求快。规模化和实时性,在这里是矛盾的。
这份报告的核心贡献,就是对着这两个难题各给了一套完整方案:数据侧是Movens-5M数据引擎,模型侧是Movens-Zero架构加MM-RTC实时分块机制。
二、Movens-5M:把互联网视频“炼”成可执行动作
先看数据侧的硬成果。Movens-5M完全从原始互联网视频构建,不是把别人现成的小数据集拼一拼。它包含1500万条人类动作序列、500万条物理可执行的人形动作序列,总时长超过1万小时,并且和文本、RGB视频、语音、音乐四种模态对齐。用论文Table 1的话说,它有297种动作类型、16个粗粒度场景、6类物理约束,还在4种跟踪策略下做过验证——无论规模还是多样性,都把现有数据集甩开一大截。
这套数据引擎是一条五步流水线,我们顺着Figure 2走一遍。

第一步,切片生成。用AutoShot做场景切分,把长视频切成连贯的小片段。
第二步,质量过滤。这一步筛子特别多:RAFT光流、DOVER质量分、审美分、水印与OCR检测、相机抖动检测、人物ID跟踪、音视频相关性、全身检测。目的只有一个——把“人动得好、镜头和背景干净”的片段留下,把垃圾剔掉。
第三步,语义标注。给视频打字幕、给动作打字幕,再做“文本改写”,把一句描述扩写成N个语言变体。比如“一个人在阳光公园里下蹲、伸展双臂保持平衡”,会被拆成“躯干挺直地下蹲”“双臂向前伸展”“下蹲时膝盖弯曲”等等细粒度描述。这样同一个动作就配上了丰富的指令表达。
第四步,动作恢复。用GVHMR、PromptHMR这类方法,从视频里估计出SMPL家族的3D人体姿态、形状和根节点轨迹,并统一规范化到SMPL-X表示。
第五步,物理精修。这是最关键的一步,也是“人类动作”变“机器人可执行动作”的分水岭。它又分两条闭环:一条是闭环运动优化,用地面接触、时间抖动、跌倒风险、肢体穿透、脚底打滑等指标给动作打分,过阈值的留下,反复修复失败的直接丢弃;另一条是闭环重定向加跟踪验证,用GMR把人体动作重定向到机器人,再交给SONIC、HumanoidGPT、HoloMotion、OmniXtreme这些跟踪策略去执行,一旦跌倒或跟踪失败,就重新播种再来。
这里有两个小巧思值得用公式点出来。为了让改写后的文本描述足够“新”、不和原始语料重复,作者用了一个基于嵌入空间最小距离的新颖度打分:
dnov(c~)=minc∈C ∥π(c~)−π(c)∥2 d_{nov}(\tilde{c})=\min_{c\in\mathcal{C}}\ \|\pi(\tilde{c})-\pi(c)\|^2 dnov(c~)=c∈Cmin ∥π(c~)−π(c)∥2
其中c~\tilde{c}c~是改写后的描述,C\mathcal{C}C是原始描述集合,π(⋅)\pi(\cdot)π(⋅)是嵌入函数。这个距离越大,说明新描述和已有描述差别越大、越有信息量。而为了判断一段文字描述是否真的和视频内容对得上,作者用了一个VLM打分器,把“是/否”两个判断的logit做成softmax概率:
ssem(v,c~)=exp(zyes)exp(zyes)+exp(zno) s_{sem}(v,\tilde{c})=\frac{\exp(z_{yes})}{\exp(z_{yes})+\exp(z_{no})} ssem(v,c~)=exp(zyes)+exp(zno)exp(zyes)
vvv是视频,c~\tilde{c}c~是描述,zyesz_{yes}zyes、znoz_{no}zno分别是VLM判断“匹配”和“不匹配”的输出。概率越接近1,说明图文越吻合。这两个打分器一个管“新不新”、一个管“对不对”,是流水线里筛选语义质量的门卫。
物理精修那一环的本质,是一个带多重约束的序列优化问题:
Lseq=λfidLfid+λtempLtemp+λlimLlim+λgndLgnd+λskateLskate \mathcal{L}_{seq}=\lambda_{fid}\mathcal{L}_{fid}+\lambda_{temp}\mathcal{L}_{temp}+\lambda_{lim}\mathcal{L}_{lim}+\lambda_{gnd}\mathcal{L}_{gnd}+\lambda_{skate}\mathcal{L}_{skate} Lseq=λfidLfid+λtempLtemp+λlimLlim+λgndLgnd+λskateLskate
五项分别对应保真度、时间平滑、关节限位、地面接触和脚底打滑,λ\lambdaλ是各项权重。等于把“动作要像原视频、要顺、不能超关节极限、脚要踩稳别滑”这些常识,全部写进一个可优化的损失里,反复迭代直到动作既像人又能被机器人稳稳执行。
论文还专门做了数据增强(Figure 3):用“文本设计—动作合成—闭环验证”三阶段流程,让Qwen3.5这类VLM给合成动作打分、反馈修改,进一步扩充稀缺动作类型。Figure 4则展示了数据集的统计分布——时长密度、动作层级、场景分组、动作与场景的关联热力图,能看出覆盖面确实广。


值得一提的是,这条流水线不是“一次性”的:闭环精修和跟踪验证会反复迭代,直到动作真的过得了物理关才收进数据集。换句话说,Movens-5M里的每一条人形动作,都是被机器人亲手试过、确认过不会摔的。这也是它和以往那些只做动作估计、不做执行验证的数据集最本质的区别——前者给你一堆看起来漂亮的骨架动画,后者给的是真能喂给控制器跑起来的动作。对做具身智能的团队来说,后者才是真正稀缺、也真正能撑起规模化的燃料。想明白这一点,就能理解为什么作者愿意在数据引擎上花这么大力气:数据不光要多,更要真正能用。
三、Movens-Intent:给四个模态立一把统一的尺子
要证明模型真的“听懂看懂”了,得有一把公平的尺子。作者构建了Movens-Intent基准,包含文本、语音、音乐、视频四条赛道,每条2048个条件—动作对,总共8192对,全部经过专家验证。它最大的特点是“源不重叠”——测试用的原始视频、恢复出的动作身份、近似片段,统统不进训练集,杜绝数据泄漏;而且四条赛道统一用宇树G1机器人作为动作表示,评测条件对齐、动作保真度、机器人可执行性三个维度。

四、Movens-Zero架构:理解—生成—执行三层怎么打通
重头戏来了。Movens-Zero是一个“理解—生成—执行”三层架构(Figure 7),可以理解为机器人的“大脑—小脑—脊髓”。

第一层,全模态理解(System 2)。作者用Qwen2.5-Omni-3B做骨干,它的共享接口能同时吃进文本、图像、音频。文本直接分词,视频采样成RGB帧,音频(语音和音乐)走音频前端,需要时还可以叠加文本提示。最后取最后一层的token序列作为条件表示。训练时这个全模态编码器是冻结的、条件token预先算好缓存——这样所有优化算力都花在学“动作生成”上,而不是反复编码同样的条件。这是个很实在的工程取舍。
第二层,流匹配动作专家(System 1)。这是模型的主体,采用joint-attention设计。条件token从2048维投影到模型宽度,再把当前40维机器人状态当作一个额外的上下文token拼进去。对于流时间σ\sigmaσ下的第jjj个动作位置,带噪的动作帧先经一个两层MLP嵌入,再加上位置嵌入和“进度残差”:
an,j0=Fact(xn,jσ)+ejpos+Fprog(gn,j)∈RD a^0_{n,j}=F_{act}(x^{\sigma}_{n,j})+e^{pos}_j+F_{prog}(g_n,j)\in\mathbb{R}^{D} an,j0=Fact(xn,jσ)+ejpos+Fprog(gn,j)∈RD
这里的gn,jg_n,jgn,j是逐token的时间进度编码,专门解决“相似姿势出现在动作不同阶段”的歧义:
gn,j=[ pn,j, 1−pn,j, pnstart, sin(2πpn,j), cos(2πpn,j) ] g_{n,j}=[\,p_{n,j},\ 1-p_{n,j},\ p^{start}_n,\ \sin(2\pi p_{n,j}),\ \cos(2\pi p_{n,j})\,] gn,j=[pn,j, 1−pn,j, pnstart, sin(2πpn,j), cos(2πpn,j)]
pn,jp_{n,j}pn,j是这一帧在参考动作时间轴上的归一化位置,pnstartp^{start}_npnstart是当前分块的起点。有了它,模型就知道“这个下蹲动作是刚开始还是快结束”,避免处以相似姿态时生成错动作。Transformer块联合更新动作token和上下文—状态token,流时间通过自适应层归一化调制动作流,最后输出40维的速度预测。
第三层,跟踪执行(System 0)。预测出的40维序列解码成关节和根节点参考轨迹,交给高频全身跟踪控制器去执行。注意生成器本身跑得慢(按分块速率),控制器跑得快——这种“慢思考、快执行”的分工,是实时性的关键。每执行完一段,最新的机器人状态就变成下一次预测的本体感觉token,闭环就此合上。
五、七任务混合的流匹配训练:一个专家学遍四种模态
模型怎么训?作者把所有模态的数据混在一起,训练同一个动作专家。七个生成任务(文本、语音、音乐、视频的各种组合)按数据集规模配比混合,共享同一套机器人中心的动作表示、同一个条件流匹配目标。每个batch都在更新同一个“动作先验”和“条件—动作接口”,这让模型天然学会了跨模态的共性。
核心训练目标是条件流匹配。设XXX是归一化的目标动作分块,ϵ∼N(0,I)\epsilon\sim\mathcal{N}(0,I)ϵ∼N(0,I)是高斯噪声,对于σ∈[0.05,1)\sigma\in[0.05,1)σ∈[0.05,1),构造一条线性概率路径:
Xσ=(1−σ)X+σϵ,V⋆=ϵ−X X^{\sigma}=(1-\sigma)X+\sigma\epsilon,\qquad V^{\star}=\epsilon-X Xσ=(1−σ)X+σϵ,V⋆=ϵ−X
直观理解:σ\sigmaσ从1走到0,就是把一团纯噪声“X1=ϵX^1=\epsilonX1=ϵ”逐渐“去噪”还原成真实动作X0=XX^0=XX0=X的过程;V⋆=ϵ−XV^{\star}=\epsilon-XV⋆=ϵ−X是这条路径上每一点应该走的方向(速度场)。动作专家要学的,就是预测这个速度:
Lflow=EX,ϵ,σ[∑j,kMj,k wk(Vθ,j,k−Vj,k⋆)2] \mathcal{L}_{flow}=\mathbb{E}_{X,\epsilon,\sigma}\left[\sum_{j,k}M_{j,k}\,w_k\left(V_{\theta,j,k}-V^{\star}_{j,k}\right)^2\right] Lflow=EX,ϵ,σj,k∑Mj,kwk(Vθ,j,k−Vj,k⋆)2
其中Vθ,j,kV_{\theta,j,k}Vθ,j,k是模型的速度预测,Mj,kM_{j,k}Mj,k是有效性掩码(只在该算的位置算损失),wkw_kwk是逐通道权重(让关节、根节点等不同通道按重要性加权)。这是个加权的均方误差——比标准的“直接回归动作坐标”更稳,训练也更平滑。
六、MM-RTC:让“慢生成”接得住“快控制”
如果说流匹配解决了“怎么生成动作”,MM-RTC(多模态实时分块)解决的就是“怎么边生成边执行、还能随时听新指令”。这是把模型推到真实机器人上的点睛之笔。
它的做法有点像“边走边看路”:每次预测HHH帧,但只把前HcH_cHc帧真正提交执行,剩下的K=H−HcK=H-H_cK=H−Hc帧保留下来,当作下一个分块的前缀。等到下一步,用最新观测到的机器人状态和当前指令,把这段保留的尾部重新编码(接触通道保持不变),前缀固定不动,只重新生成剩下的部分。这样既保证了动作连贯不跳变,又能让新指令、新状态实时注入。
难点在于:训练时的动作专家没见过“前面一段是固定的干净前缀”这种输入。作者的解决办法很巧妙——在训练时随机采样一个干净前缀长度ℓ∈{0,…,K}\ell\in\{0,\dots,K\}ℓ∈{0,…,K},前ℓ\ellℓ帧保持干净、流时间设为0,剩下ℓ\ellℓ之后的帧才按公式走加噪流程:
x~jσ={xj,j<ℓ(1−σ)xj+σϵj,j≥ℓMj,kRTC=Mj,k 1[ j≥ℓ ] \tilde{x}^{\sigma}_j=\begin{cases}x_j, & j<\ell\\(1-\sigma)x_j+\sigma\epsilon_j, & j\ge\ell\end{cases} \qquad M^{RTC}_{j,k}=M_{j,k}\,\mathbf{1}[\,j\ge\ell\,] x~jσ={xj,(1−σ)xj+σϵj,j<ℓj≥ℓMj,kRTC=Mj,k1[j≥ℓ]
所有HHH个位置一次前向算完,但损失只在“未知的后缀”上算(MRTCM^{RTC}MRTC里那个指示函数就是把前缀位置的损失屏蔽掉)。随机化ℓ\ellℓ,让模型既见过“从头生成”(ℓ=0\ell=0ℓ=0),也见过“带各种长度前缀续写”。这样一来,推理时MM-RTC要的“前缀条件续写”能力,训练阶段就练熟了。
七、实验:数据、模型一起放大,四个模态齐涨
实验部分回答三个问题:生成得好不好?放大数据和模型有没有稳定收益?数据质量和跨模态监督到底重不重要?
先看定性结果(Figure 8)。在视频、音乐、语音、文本四种条件下,Movens-Zero生成的动作序列都更贴近真值——基线方法常出现“躯干不够直”“手臂角度不对”“蹲姿前倾”“双手没合拢”这类肉眼可见的毛病,而Movens-Zero明显更少。

再看数据缩放(Table 7)。用最大的XL专家(9.11亿参数),把Movens-5M从1%放到100%,独立时长从122小时涨到12231小时,各项指标一路走高:Text R@3从12.72%升到62.57%,Video MPJPE从132.82毫米降到40.90毫米,Audio BeatAlign从0.23升到0.61,Speech R@3从13.98%升到74.30%,Tracking Score从0.21升到0.72。

模型缩放(Table 8)同样漂亮:从S(6400万)到XL(9.11亿),验证FM损失从0.487降到0.159(降幅67.4%),Video MPJPE从108.50降到40.90毫米(降幅62.3%),Text R@3涨了52.27个百分点,Speech R@3涨了48.93个百分点,Tracking Score从0.18翻到0.72。而且从L到XL这一步仍在明显进步,说明还没到天花板。

最有意思的是Figure 9的“数据—模型联合缩放”:把数据量从10%扩到100%时,模型越大、吃到的红利越多。以Text R@3为例,小模型S只提升62.5%,大模型XL提升了151.1%;Speech R@3,S提升96.5%,XL提升241.5%;Tracking Score,S提升46.3%,XL提升100%。结论很直白:大专家更能从海量数据里获益——数据和模型是互补的,不是二选一。

消融实验(Table 9)则把“质量”和“数量”分开了。在样本数完全相同的前提下,从“原始恢复动作”一路叠加到“完整流水线”,Text R@3从48.72%升到62.57%,Video MPJPE从126.82降到40.90毫米(降幅67.7%),Tracking Score从0.41升到0.72。这说明数据策划(过滤、物理精修、跟踪验证、分布平衡)本身就带来巨大增益,不是单纯堆量。模态对齐的消融也显示,拿掉任何一个模态的对齐训练,其他模态的表现也会下滑——跨模态监督确实在互相成就。

顺带一提,Tracking Score这个衡量“机器人能不能跟上参考动作”的指标,是把29个关节的误差分成四档加权求指数衰减:
q=0.35e−erms/0.12+0.20e−emae/0.10+0.30e−e95/0.25+0.15e−emax/0.50 q=0.35e^{-e_{rms}/0.12}+0.20e^{-e_{mae}/0.10}+0.30e^{-e_{95}/0.25}+0.15e^{-e_{max}/0.50} q=0.35e−erms/0.12+0.20e−emae/0.10+0.30e−e95/0.25+0.15e−emax/0.50
ermse_{rms}erms、emaee_{mae}emae、e95e_{95}e95、emaxe_{max}emax分别是均方根误差、平均绝对误差、95分位误差和最大误差。四档权重(0.35/0.20/0.30/0.15)意味着既看整体平均,也严防个别关节的极端偏差——毕竟机器人摔倒往往就栽在那一个失控的关节上。
八、结论与启发Movens-Zero这份工作,本质上做了一件“把互联网变成机器人动作教材”的事。它给我们的启发有三点。
第一,数据的“可执行性”比“数量”更金贵。从人类视频到机器人动作,中间要过质量过滤、物理精修、跟踪验证一道道关。 Movens-5M的消融证明,正是这些把关环节,让数据从“看着像”变成“真能做”。
第二,统一表示是规模化的前提。七种任务、四种模态、同一个动作专家、同一套流匹配目标——正是这种“大一统”的设计,才让模型能把跨模态的共性学到位,也让数据和模型的缩放红利能被四个模态同时吃到。
第三,实时性要靠系统分层解决。语义理解可以慢一点、大一点,但底层控制必须快。MM-RTC用“重叠分块加前缀续写”的巧劲,把慢生成和快控制缝在了一起,还顺手让新指令能随时插进来。
当然,作者也很坦诚地留了下一步:更丰富的人—物交互、更多种机器人本体、更广阔的真实世界场景。从一个“看懂听懂就会动”的起点,到真正通用的家庭机器人,路还长。但至少这条从人类视频出发的规模化路线,已经被清晰地跑通了一截。
最后多说一句它的行业意义。过去人形机器人领域有个尴尬:语言模型有互联网文本这个“无限燃料”,机器人却苦于没有等价的数据来源,只能靠昂贵的遥操作一条条采。Movens-Zero试图证明,那个等价物其实一直就在眼前——互联网上数以亿计的人类视频。谁能把“人怎么做”大规模、高质量、可执行地翻译成“机器人怎么做”,谁就拿到了通向通用人形机器人的钥匙。从这个角度看,这份报告的价值不只是又刷了一轮指标,而是把“数据从哪来”这个最根本的问题,往前推进了一大步。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)