2026年VLA训练数据破局：为什么遥操作无法规模化，网络视频能做到什么

0. 前言

过去两年，视觉-语言-动作 (Vision-Language-Action, VLA) 模型发展迅速，但真正限制具身智能规模化的，往往不是模型或算力，而是高质量机器人数据。
遥操作能够提供与机器人本体严格对齐的动作监督，却受制于设备、操作员、采集时间和场景覆盖。网络视频虽然不包含完整的机器人控制信号，却能以更低的边际成本扩展模型接触到的环境、物体、人类行为和真实物理变化。因此，关键问题不是网络视频能否取代遥操作，而是：哪些知识适合从大规模真实世界视频中学习，哪些动作监督必须依靠真实机器人数据？

TL;DR｜核心结论
网络视频负责扩大视觉、动作语义和场景分布；遥操作和真实机器人轨迹负责完成动作空间对齐与任务精调。前者把“世界”做宽，后者把“动作”做准。

1. 数据才是具身智能真正的瓶颈，不是算力

1.1 机器人越来越多，但可训练经验并没有同步激增

视觉-语言-动作 (Vision-Language-Action, VLA) 模型正在把机器人训练推向一个熟悉又麻烦的阶段：模型越来越大，GPU 越来越多，可真正决定模型能不能泛化的，是数据。
具国际机器人联合会 (IFR) 统计，全球在役工业机器人约 390 万台，机器人硬件显然已经不是一种稀有物种。而目前规模最大的开放真实机器人数据集之一 AgiBot World 也仅有约 100 万条机器人轨迹。由此可以看出：人类已经能以百万台规模制造和部署机器人，却仍然很难以类似规模获取高质量、跨任务、跨环境的动作数据。

1.2 VLA 的数据结构和语言模型并不是一回事

原因在于 VLA 与语言模型的数据形态完全不同。语言模型可以从网页、书籍、代码里学习，从现成文本里预测下一个 token；而 VLA 不一样，机器人策略往往需要视觉帧、语言指令、关节状态、末端执行器位姿、夹爪状态、动作序列，有些任务还需要深度、力矩或触觉，并且和动作序列在时间轴上严格同步。视频里的一个人“拿起杯子”，和机器人真正执行 伸手 → 抓取 → 抬起，中间隔着具身差异、坐标系和控制空间三座山。机器人学习中的轨迹本身就是按时间排列的状态、观测与动作序列，因此这些模态之间的时间同步和对齐尤其重要。

所以真正稀缺的不是视频本身，而是与机器人动作空间严格对齐的数据。

2. 遥操作的三道天花板

遥操作能提供高质量机器人动作监督，但它很难单独支撑基础模型级的数据规模，因为设备、人力、采集速度和场景分布都会成为瓶颈：

1. 成本天花板：ALOHA 2 本来就是为了降低双臂遥操作门槛而设计的，但低成本只是相对于传统机器人研究平台而言。即便按较乐观的1.5万–2万美元硬件成本计算，再加入操作员工资、场景重置、QA、设备折旧和维护，单套每年约7万美元以上，关键在于成本基本随“机器人 × 操作员 × 时间”线性增长。
2. 速度天花板：2026 年 RAPIDS 项目在比较传统遥操作流程时给出的基线是每小时约 10–20 个 episode，并指出遥操作要求熟练人员，更麻烦的是，人并不是无限续航的数据 API，会受到操作员疲劳与熟练程度差异造成的数据质量波动影响。数据采集最后的性能瓶颈仍然是一个需要吃饭和休息的人。
3. 分布天花板：遥操作员能教机器人的，首先得是他们自己见过、场地里搭得出来的东西。标准厨房、标准货架可以反复采，但陌生物体、异常摆放、操作失误和低频长尾状态不会按采集计划准时出现。更关键的是，很多模仿学习管线天然偏爱“成功轨迹”，失败和纠错数据反而经常被丢掉。这种数据分布偏差，会直接限制模型面对未见场景时的恢复和泛化能力。

3. 网络视频的破局潜力

网络视频改变的不是单条机器人轨迹的质量，而是数据扩张方式。遥操作增加数据，通常意味着增加机器人、操作员、工位或采集时间；网络视频则可以从现实世界已有的大量记录中，筛选与训练目标相关的场景。
它的优势主要在于真实场景丰富、边际成本较低，并且更容易覆盖长尾环境。但网络视频通常没有与具体机器人本体同步的动作标签。视频中的“伸手、抓取、擦拭”，不会自动转换成机械臂关节角、末端位姿或夹爪控制量。因此，网络视频更适合用于视觉表征、物理先验、潜在动作学习、世界模型训练和长尾场景发现，而不能直接取代遥操作数据。
真正的问题是：如何把海量网络视频转化为 VLA 训练管线可以使用的数据？ 这时，网络视频数据基础设施才有价值。以 Bright Data 的 VLA 视频数据服务为例，它主要负责围绕任务定义场景、检索和筛选相关视频，并提取带有时间范围和结构化元数据的训练候选片段。

维度	遥操作	仿真（Isaac Sim / MuJoCo）	Bright Data 网络视频
每条数据成本	高	极低	极低
可扩展性	受限于操作员数量	理论无限（但存在域偏差）	实际无限
物理真实性	✅ 最高	⚠ 存在仿真偏差	✅ 真实物理
动作标签	✅ 有	✅ 有	⚠ 需额外标注
场景多样性	❌ 受限于演示者	⚠ 受限于场景设计	✅ 195国全覆盖
边缘案例覆盖	❌ 难以规模化	❌ 需人工设计	✅ 自然存在
合规性	✅	✅	✅ SOC 2 / GDPR

3.1 直接观察真实世界，减少对纯仿真分布的依赖

仿真数据最大的优势是状态可控、动作标签完整，但它始终需要近似材质、接触、光照、液体、软体以及复杂环境。但模型最终仍然需要从仿真分布转到现实环境，这就是仿真偏差 (Sim-to-Real Gap)，即仿真到现实的分布差距。
网络视频值得关注，是因为它换了一种扩数据的方式：不再要求每一个训练场景都先由机器人团队人工复现，而是直接利用现实世界中已经发生的大量人类行为和物理交互，能够保留真实光照、真实材料、遮挡、天气和物体运动，因此不存在仿真偏差。

3.2 单个视频片段的获取成本远低于重新遥操作采集

遥操作成本通常随着数据量接近线性增长。假设训练需要几万段雨夜道路、低光厨房或仓储搬运数据，传统方法往往意味着重新安排设备、场地和操作员。即使硬件已经折旧完毕，新增数据仍然需要持续消耗现实世界的人力和设备时间。
网络视频不要求团队为了每一种视觉环境重新安排机器人、操作员和采集工位。新增数据的主要成本转移到了场景发现、视频采集、片段筛选、切分和元数据处理，因此它更适合用于扩大 VLA 的视觉与场景分布。具体成本仍取决于数据来源、视频长度、筛选规则、存储和标注需求，不宜用固定倍数与遥操作直接比较。

3.3 分布覆盖从实验室尺度扩大到网络尺度

分布覆盖比成本更关键，网络视频能够覆盖遥操作团队几乎不可能自行穷举的环境组合，并显著提高发现长尾场景的概率。
Bright Data 已经提取超过 100 亿个视频(仍在持续增长中)，拥有约 90PB 网络存档(可用于历史场景检索)，每日为顶尖 AI 团队提供 10PB+ 视频数据，覆盖 195 个国家、所有光照条件、所有环境类型、所有边缘案例。
网络视频的核心价值不只是增加样本数量，而是扩大训练数据的分布。对于 VLA，这意味着团队可以围绕地理环境、天气、光照、摄像机视角和任务类型主动寻找训练样本，再将高价值场景交给后续筛选和机器人数据采集流程。

3.4 从“增加操作员”转向“增加机器吞吐”

遥操作里，一个人同时只能操作有限数量的机器人；把采集量提高十倍，通常意味着更多工位、更多操作或更长时间。
网络视频检索则不要求操作员亲自重演每个动作。一条数据管线可以同时搜索、下载、切分和处理大量视频；只要上游仍有满足条件的公开内容，下游计算、网络、存储和过滤系统能够继续扩容，数据摄取就不要求相应增加一批遥操作人员。
这才是网络视频对 VLA 训练真正有意思的地方。它没有让高质量遥操作数据失去价值，而是把遥操作从“必须承担整个预训练数据规模”的位置释放出来，回到它真正擅长的位置：提供与目标机器人严格对齐的动作监督、精细操作数据以及闭环失败恢复轨迹。网络视频负责让模型多见世界，遥操作负责教它怎么用自己的身体在这个世界里行动。

4. Bright Data VLA 视频搜索管道详解

如果只是“能找到公开视频”，其实离 VLA 训练数据还差得很远，真正需要的不是一个装满 URL 的 CSV，而是一条能回答下面这些问题的数据管道：我要找什么场景？怎样从海量视频里把它筛出来？真正有动作价值的片段在哪里？最后怎么以训练系统能直接消费的格式交付？
Bright Data 当前针对 VLA 的视频数据工作流，核心就是三个步骤：

Define（定义场景）→ Search（搜索筛选）→ Extract（提取交付）

这个流程看起来简单，但它解决的是网络视频进入训练管线之前最耗数据工程时间的一层：把“互联网里可能存在的视频”，变成“已经按任务切好、带时间边界和结构化元数据的训练候选片段”。

• step 1. Define (定义场景)：首先定义场景，例如：“厨房擦拭类操作”、“低光照仓储拣货”、“雨天高速合流” ，定义得越具体，后面需要人工清洗的垃圾数据越少
• step 2. Search (搜索筛选)：网络视频有规模优势，但规模本身也是麻烦。如果一个数据工程师面对的是数十亿级视频，简单搜“机器人 厨房”没有多少意义。真正有用的是把视频按环境、光照、相机视角、动作类型和领域上下文继续切分。这使得搜索单位可以从“某个视频”进一步变成“某个满足训练条件的场景”。例如，三个对 VLA 很典型的查询可以写成：
  • 厨房擦拭类操作：重点不只是找到厨房，而是寻找手与物体的交互过程，其中包含伸手接近、接触、擦拭、释放等动作阶段。对于人形机器人，这类数据更适合作为操作行为表征或潜在动作预训练的材料
  • 低光照仓储拣货：普通仓储视频并不难找。真正稀缺的是“仓储 + 暗光 + 拣货 + 特定视角”这个组合。它可以补充实验室数据中经常缺失的光照分布变化以及复杂背景条件，从而提高模型面对不同视觉环境时的鲁棒性
  • 雨天高速合流：对自动驾驶而言，“高速公路”只是一个大类；真正决定长尾场景价值的，是天气、道路结构以及车辆之间的动态交互
• step 3. Extract (提取交付)：发现视频以后，还有一个非常实际的问题：训练模型通常并不需要整条视频。假设一个 25 分钟的仓储视频里，真正相关的拣取并放置操作只发生在第 742 秒到 756 秒。如果先把整个文件下载下来，再让内部任务逐帧扫描，大量无关内容都会占用带宽、存储空间和预处理资源。Bright Data 的提取阶段针对的正是这个问题，输出包括：预裁剪 MP4 视频片段、结构化元数据、精确时间范围、按具体动作类型定位并提取相关场景。 换句话说，交付单位不再只是“网页”，甚至不一定是“完整视频”，而可以直接细化到与特定动作相关的视频片段。对于训练管线来说，一条数据可以被整理成以下形式，以下 JSON 仅为训练管线中的示意 schema，并非 Bright Data 官方 API 返回格式：

{
  "scenario_type": "kitchen_manipulation",
  "env_context": "residential_kitchen_low_light",
  "camera_pov": "third_person_overhead",
  "actions": ["reach", "grasp", "wipe", "place"],
  "start_ms": 12400,
  "end_ms": 28700,
  "fps": 30,
  "geo_region": "US"
}

视频数据最后还必须进入训练基础设施，Bright Data 交付方式支持 Amazon S3、Google Cloud Storage (GCS)、Microsoft Azure Blob Storage，其通用视频数据管线还支持 Webhook 交付。
对于 VLA 和具身智能团队，大规模引入网络视频时，数据处理只是问题的一半，另一半是安全、隐私与数据治理，尤其当训练管线涉及跨地区数据、云端存储和自动化处理时。
Bright Data 当前公开的安全资料显示，其安全体系采用 SOC 2 Type II 标准，在隐私保护方面，Bright Data 的官方隐私政策明确表示，其隐私实践按照包括 GDPR (General Data Protection Regulation) 和 CCPA (California Consumer Privacy Act) 在内的数据保护法规建立。在公共网络数据采集的法律实践方面，Bright Data 官网介绍称，公司在 2024 年针对 Meta 和 X 的美国联邦法院案件中两次胜诉。

5. 三类典型使用场景

5.1 人形机器人

人形机器人 (Humanoid Robotics) 的高价值数据通常集中在长期操作和复杂接触：

• 厨房：擦拭、摆放、倾倒液体、开关柜门
• 仓储：拣选、分拣、打包、堆叠
• 装配：插入、紧固、对齐、工具使用

AgiBot World Beta 已经覆盖六自由度 (6-DoF) 灵巧手、双臂移动机器人和多种接触型任务，但即使百万轨迹数据集，也不可能穷尽全球住宅、商店和工厂环境。网络视频在这里最适合做场景扩展和人类操作先验，最后再由真实人形机器人数据完成动作空间对齐。

5.2 自动驾驶

在自动驾驶 (Autonomous Vehicles) 领域，城市路口、高速公路正常车流并不罕见，真正值得检索的是：

• 雨、雾、雪和夜间
• 临时施工
• 异常停车
• 应急车辆
• 高速汇入和突然切入

网络视频数据的意义是把“等它在自己的车队发生”改成“主动去历史和公开数据里找它”。

5.3 世界模型

世界模型 (World Models) 本来就需要学习“接下来世界可能发生什么”。因此物体下落、滑动、弹跳、碰撞，液体流动，软体变形，多物体遮挡等视频，即使没有机器人动作标签，也能提供有价值的视觉动力学监督。

6. 何时选择网络视频，何时选择遥操作？

如果把 VLA 训练简单理解成“收集越多机器人轨迹越好”，数据预算很快就会被遥操作吃掉。更合理的做法，是先判断模型当前缺的是对世界的理解，还是对机器人身体的控制能力。
一个实用的决策原则是：预训练阶段，用网络视频扩大泛化能力；精调阶段，用遥操作数据提高动作精度。两者不是替代关系，而是分别解决 VLA 数据栈中的不同问题。

6.1 预训练阶段：优先用网络视频把“世界”做宽

VLA 的预训练首先要解决的是模型有没有见过足够丰富的物体、环境、人类行为和物理变化。例如，一个人形机器人最终要在厨房工作，仅靠实验室里几十种固定摆放的遥操作轨迹，很难让模型覆盖：

• 不同材质、颜色和形状的厨具
• 明亮、逆光、低光等不同光照
• 不同住宅和商业厨房布局
• 擦拭、倾倒、抓取、摆放等多种人类操作方式
• 遮挡、物体滑落、液体流动等真实物理现象
• 很少出现在实验室采集任务中的长尾情况

Bright Data 的 VLA 视频数据管道更适合放在这一阶段，可按环境、光照、摄像机视角、动作类型和场景上下文搜索网络视频，并从 90PB 网络存档中发现目标场景，再输出预裁剪 MP4 和结构化元数据。这种数据的价值不在于直接告诉机器人“第 37 个关节现在转多少度”，而在于让模型先学会识别和理解更广泛的世界。
因此，如果团队当前遇到的是下面这些问题，优先扩大网络视频通常更合理：

• 新物体或新环境泛化能力差
• 训练数据里的天气、光照和地域分布过窄
• 需要进行视觉、物理或潜在动作预训练
• 正在训练世界模型或通用机器人基础模型
• 想先发现长尾场景，再决定哪些场景值得投入昂贵的机器人采集资源

6.2 精调阶段：用遥操作数据把“动作”做准

进入任务精调后，数据需求会发生变化。此时模型通常已经知道什么是杯子、桌面、纸箱，也能理解“拿起”“放下”“擦拭”这些行为。真正的问题变成：某台具体机器人该怎样执行这些动作。这时遥操作数据的优势就很难被网络视频取代，真实遥操作可以同步记录：

• 机器人关节位置和速度
• 末端执行器位姿
• 夹爪开合状态
• 机器人实际执行的动作序列
• 相机与机器人状态的时间同步关系
• 必要时的力觉、触觉或失败恢复过程

这些信号天然与具体机器人本体对应。因此，当团队的问题已经变成下面这些时，应把预算明显向遥操作倾斜：

• 抓取位置正确，但执行精度不够
• 插入、旋拧、对齐等接触任务失败率高
• 需要学习具体机械臂或人形机器人的动作空间
• 需要验证真实机器人上的安全边界
• 模型已经具有场景理解能力，但实际执行仍不稳定

这一阶段的重点不是继续无限扩大视觉分布，而是把已有知识落到机器人身体上。

6.3 决策建议

对大多数 VLA 团队而言，更合理的数据路线不是不断扩充昂贵的遥操作工位，而是形成一个分层的数据漏斗：

Bright Data 网络视频 → 大规模预训练与场景泛化 → 筛选高价值任务 → 遥操作采集 → 机器人任务精调

网络视频负责泛化，遥操作负责精度。真正高效的数据策略，是让两种数据各自去做它最擅长、也最难被替代的那部分工作。

当前训练问题	优先数据源	原因	后续动作
新环境、新物体泛化差	Bright Data 网络视频	场景和视觉分布更广	扩大预训练数据
缺少雨雪、暗光、不同国家等长尾场景	Bright Data 网络视频	适合大规模场景搜索与筛选	构建长尾场景数据集
需要视觉/物理/潜在动作预训练	Bright Data 网络视频	不要求每条数据都有机器人动作标签	再用机器人数据做动作对齐
动作执行不准、接触任务失败	遥操作数据	提供真实动作/状态监督	做任务级精调
需要关节、末端位姿、夹爪控制	遥操作数据	网络视频通常没有这些原生标签	训练机器人
构建通用 VLA 基础模型	两者结合	一个扩展世界分布，一个完成机器人动作对齐	网络视频预训练 + 遥操作精调

FAQ

网络视频没有真实机器人动作，为什么还能用于 VLA？

因为 VLA 的预训练并不一定要求每一帧都对应一个真实关节控制量。LAPA 等工作已经证明，可以先从无动作标签的视频学习潜在动作，再通过较少的机器人数据完成机器人动作映射，相关论文参考https://arxiv.org/abs/2410.11758。

为什么不能只用仿真？

仿真的优势是动作与状态标签完整，而且可以大量生成失败数据。但真实材料、复杂接触、光照、软体、液体以及现实长尾事件很难全部准确模拟。实践中更常见的是仿真、网络视频和真实机器人数据混合使用。

网络视频会取代遥操作吗？

不会。两者解决的是不同的数据问题。网络视频擅长提供环境、视觉、物理现象和人类行为的规模；遥操作擅长提供特定机器人本体上的同步动作/状态监督。对于接触丰富操作、安全验证和最后阶段策略精调，遥操作仍然非常重要。

Bright Data 更适合出现在 VLA 数据栈的哪一层？

更适合作为大规模真实网络视频发现、筛选、抽取与交付，用于补充真实环境和长尾场景覆盖。机器人本体动作监督依旧应该来自遥操作、真实机器人执行轨迹、仿真或经过明确动作对齐的数据源，而不是假设网页视频本身就具备机器人控制标签。

总结

VLA 的规模化，本质上是一场数据工程问题。遥操作能提供与机器人本体严格对齐的动作、状态和接触信息，却受制于设备、人力、采集速度和场景分布；仿真容易扩量，却始终要面对现实世界的分布差异。网络视频恰好补上另一侧：以更低的边际成本，让模型接触更丰富的真实环境、物体交互和长尾场景，并可用于视觉表征、潜在动作和世界模型预训练。真正可行的路线并不是用网络视频取代遥操作，而是形成分层数据栈：先利用 Bright Data 网络视频扩大场景覆盖和预训练规模，再把昂贵的真实机器人采集集中用于动作对齐、复杂接触、失败恢复和任务精调。网络视频负责让模型看懂更大的世界，遥操作负责教会机器人如何真正行动。·