VLA（Vision-Language-Action，视觉-语言-动作）模型越往真实机器人上走，一个问题就越来越明显：模型能力可以继续扩，机器人训练数据却没那么容易同步扩大。尤其是高质量 Action 数据。视觉模型缺图像还能继续收集，语言模型缺文本还能扩大语料，但机器人一次有效操作往往需要视觉、状态和控制信号同步记录，而这类与 Action 对齐的数据并不像图像或文本那样容易扩展。如果模型规模继续扩大，VLA 的训练数据又该从哪里来？

遥操作和网络视频其实各有侧重：前者能够同步记录机器人动作和状态，后者更擅长补充场景规模、环境变化和长尾案例。简单来说，网络视频负责让模型“世界见得更多”，遥操作负责让机器人“动作学得更准”。

也正因为这个差异，我最近开始关注 Bright Data VLA 视频数据方案的原因。后面提到的视频搜索、场景过滤和 Metadata Schema，都可以通过 https://get.brightdata.com/flower-vla?utm_content=VLA-ttrr27 查看。

如果你也在做 VLA 数据扩展，最简单的验证方式不是一开始就搭完整 pipeline，而是先拿一个具体场景跑通视频搜索和数据提取。Bright Data 提供 5,000 次免费额度，可以先做一轮小规模 PoC。

---

一、模型越做越大，我反而先去看了一眼训练数据

VLA 做的事情其实不复杂：模型一边“看”环境，一边理解人的任务指令，最后输出机器人应该执行的动作。

比如：

• Vision：桌子上有杯子、毛巾和水壶；
• Language：把桌面擦干净；
• Action：伸手、抓取毛巾、擦拭、放回。

问题就出在最后这个 Action 上。当训练大语言模型的时候，我们可以从网页、书籍、论文和代码仓库里找到大量文本。文本虽然也需要清洗，但获取之后本质上还是 Token。但机器人数据不一样。一次比较完整的机器人操作，可能同时涉及 RGB 图像、深度图、关节角度、末端执行器位置、夹爪状态、时间戳以及控制指令。换句话说，不是找一段机器人视频就等于得到了一条机器人训练轨迹。

所以这里有一个很容易混淆的概念：机器人视频 ≠ 机器人训练数据。因为一段视频可以告诉模型“发生了什么”，却不一定告诉机器人“我的第几个关节应该转多少、夹爪应该什么时候闭合”。从这个角度看，VLA 当前真正稀缺的不只是视频，而是能够与机器人 Action 对齐的大规模训练数据。

而这个差距从一些公开数字里也能看出来。国际机器人联合会（IFR）发布的 World Robotics 2025 显示，2024 年全球正在运行的工业机器人已经达到 466.4 万台，当年新增安装约 54.2 万台。再来看机器人数据。AgiBot World 在 2025 年公开了超过 100 万条真实机器人轨迹，覆盖 217 个任务和 5 类部署场景，这个规模在真实机器人数据集里已经相当大。

当然，机器人台数和轨迹数量并不是一个可以直接做除法比较的指标，但它还是让我看到一个挺明显的问题：硬件可以一台一台生产出来，真实世界里的高质量动作数据却没那么容易“生产”。

---

二、遥操作很好用，但真采到一定规模就开始难受了

现在机器人学习里很常见的一条路线就是遥操作（Teleoperation）。像 ALOHA 2 这样的系统，本质上就是让人直接控制机器人完成任务，同时把机器人的视觉、动作和状态记录下来。ALOHA 2 本身就是为双臂遥操作和规模化机器人学习数据采集设计的开源硬件平台。

这种数据有一个网络视频很难替代的优势：动作是从目标机器人自己身上采出来的。

机器人夹爪到底移动了多少、哪个关节转了多少度、什么时候闭合，这些信息天然就是对齐的。所以做 imitation learning 或者最后阶段的策略精调，遥操作数据特别有价值。但从几十条、几百条演示往十万、百万级数据扩的时候，问题就出来了。

一条数据背后真的有人在操作

机器人不是浏览器开一个新线程就能多跑一份数据。一套设备通常要对应真实机器人、操作空间、摄像头和操作人员。按本次活动提供的参考口径，ALOHA 2 一套设备约 1.5～2 万美元，再把操作员人力等因素算进去，单套系统每年的数据采集投入可超过 7 万美元。

即便暂时不讨论这个具体数字，ALOHA 2 的论文自己也把 hardware cost、hardware robustness 和 ease of teleoperation 直接列成了规模化演示数据的重要限制。

人本身就是吞吐量上限

遥操作还有一个很现实的问题：操作员不能无限工作。

不同任务的采集效率差异很大。简单抓放任务可能很快，但复杂双臂操作、柔性物体操作或者长序列任务明显更耗时间。更重要的是，遥操作的吞吐量始终和机器人数量、操作员数量以及单次任务耗时绑定，很难像 Web 数据那样通过扩大检索范围快速增加样本。

更麻烦的是“你没想到的情况”

比如我要采“厨房擦桌子”。我可以准备不同杯子、不同桌面、不同毛巾，然后让操作员反复演示。但真实世界里还可能出现很多很奇怪的情况：桌面上突然多了一个盘子，毛巾被杯子压住了，灯很暗，桌面反光，东西只露出一半……如果采集协议始终要求操作员“正确完成任务”，数据里还会天然缺少很多失败和恢复过程。已有机器人学习研究甚至会专门设计数据采集协议，主动加入 failure、recovery 和 success，原因就在这里。

所以，遥操作的问题并不是“数据不好”。恰恰相反，它的数据往往很好。只是好数据很贵，而且生产速度有限。

---

三、于是我重新看了一眼网络视频

一开始听到“用网络视频训练机器人”，我其实也有一个疑问：网上一个人擦桌子的视频，和机器人擦桌子的视频，真的能算同一种训练数据吗？严格来说，不能。

网络视频里可以看到一个人先伸手、再抓毛巾、然后擦桌子，但视频本身不会直接告诉机器人：

joint_1 = 0.42 rad
joint_2 = -0.18 rad
gripper = close

这就是网络视频最明显的短板——缺少机器人本体对应的动作空间监督。

所以，更准确地说，网络视频更适合作为 VLA 的视觉、语义和真实世界物理信息来源，而不是直接当成完整的机器人控制轨迹。它解决的不是“joint position 去哪里找”这个问题，而是另一个问题：怎样让模型在合理成本下看到更多任务、环境、物体交互和长尾场景。这时候，规模才真正变得有意义。

我查看 Bright Data 当前的 VLA 页面时，页面顶部给出的产品数据包括 10B+ 已提取视频、90PB Web Archive、195 个国家覆盖以及 99.99% Uptime SLA。官网同时把这套视频能力定位到 Humanoid Robotics、Autonomous Vehicles 和 World Models 三类 Physical AI 场景。

更有意思的是它不是简单地“给你一堆视频”。官方页面现在直接展示了一些场景级搜索结果，例如：

• Kitchen manipulation：47,328 clips
• Warehouse pick+place：31,892 clips
• Highway driving rain：23,891 clips
• Object collision：14,203 clips

这些数值是页面当前展示的动态示例，不应该理解成固定数据集大小，但这种组织方式比较符合 VLA 数据工程的思路：先找场景，再找视频，而不是先下载一堆视频回来慢慢筛。

Bright Data 给出的工作流是：Define → Search → Extract。

一开始看这三个步骤挺普通，但和传统的视频数据处理流程放在一起，区别就比较明显了。我们一般在自己做网络视频数据时，更接近：搜索 → 下载 → 本地存储 → 人工筛选 → 找有效时间段 → 裁剪 → 整理 Metadata → 再接训练管线。

然而，Bright Data VLA 的思路则是先从“我要什么数据”出发：

• Define：先定义目标场景，例如 low-light kitchen、warehouse pick-and-place；
• Search：再按照环境、光照、摄像头视角、动作类型等条件筛选；
• Extract：最后提取真正需要的视频时间段，输出预裁剪 MP4 和结构化 Metadata。

所以它解决的并不只是“怎么下载一个视频”，而是怎样规模化发现、筛选和提取网络视频，再把这些片段接到后续数据 pipeline。

---

四、光看介绍有点虚，我拿“厨房擦拭”这个场景做个小实验

“厨房擦拭”小实验

为了看看 Bright Data 给出的数据结构到底能不能方便地接到后续数据管线，这里我将使用活动材料和官方页面公开的 Metadata Schema 做一个本地小验证。

官方给出的单条数据大致长这样：

{
  "scenario_type": "kitchen_manipulation",
  "env_context": "residential_kitchen_low_light",
  "camera_pov": "third_person_overhead",
  "actions": ["reach", "grasp", "wipe", "place"],
  "start_ms": 12400,
  "end_ms": 28700,
  "fps": 30,
  "geo_region": "US"
}

先写一个很简单的 Python 脚本，把 Schema 检查、片段时长和动作序列提出来：

sample = {
    "scenario_type": "kitchen_manipulation",
    "env_context": "residential_kitchen_low_light",
    "camera_pov": "third_person_overhead",
    "actions": ["reach", "grasp", "wipe", "place"],
    "start_ms": 12400,
    "end_ms": 28700,
    "fps": 30,
    "geo_region": "US"
}

required = [
    "scenario_type",
    "env_context",
    "camera_pov",
    "actions",
    "start_ms",
    "end_ms",
    "fps",
    "geo_region"
]

missing = [key for key in required if key not in sample]

duration = (sample["end_ms"] - sample["start_ms"]) / 1000

print("Schema 检查：", "PASS" if not missing else missing)
print("视频片段时长：", f"{duration:.1f} s")
print("动作序列：", " -> ".join(sample["actions"]))

运行以后输出：

Schema 检查： PASS
视频片段时长： 16.3 s
动作序列： reach -> grasp -> wipe -> place

再往后，其实就可以把这些信息转成自己的训练 manifest。例如：

manifest = {
    "video": "kitchen_0001.mp4",
    "task": sample["scenario_type"],
    "prompt": "wipe the kitchen surface",
    "action_tags": sample["actions"],
    "clip_start": sample["start_ms"] / 1000,
    "clip_end": sample["end_ms"] / 1000,
    "fps": sample["fps"],
    "camera": sample["camera_pov"]
}

print(manifest)

这样至少视频、任务、时间区间、视角和语义动作已经能统一到一个结构里了。

实验到这里，能说明什么？

这个小实验当然没有证明“拿网络视频就可以直接训练机器人 Action Policy”。它验证的是一个更基础、但实际做数据工程时很重要的问题：视频片段、场景标签、动作语义、时间区间以及摄像头视角，可以被整理成统一 Schema，并进一步转换成下游训练或数据处理 pipeline 可以消费的 manifest。

换句话说，这里打通的是：Web Video → Metadata → Training Manifest，而不是：Video → Robot Action Vector；后者依然需要机器人本体数据、额外动作标注，或者跨 embodiment 的动作对齐方法。

Semantic Action ≠ Robot Action Vector

例如这里的：reach → grasp → wipe → place，描述的是人类能够理解的动作语义。

但真正接近机器人控制层的数据通常更像：

• joint position / joint angle
• end-effector pose
• gripper state
• velocity
• 在部分任务中还可能涉及 torque

所以 actions[] 能告诉我们“视频里在做什么”，却不能直接告诉机器人“下一时刻每个执行器输出多少控制量”。这也是网络视频和遥操作之间最核心的技术边界。

---

五、换个场景以后，网络视频的价值其实也不完全一样

如果接受前面的定位——网络视频主要补充的是视觉、语义和真实世界物理信息，那么换到不同任务以后，它的价值也会有所不同。

人形机器人

厨房操作里的擦拭、摆放、倒液，仓库里的拣货、分拣、码垛，以及装配中的插入、紧固和对齐，都很适合用大量人类视频补视觉和任务先验。Bright Data 当前官方 VLA 页面也是按这些任务族组织 Humanoid Robotics 场景的。但到了最终执行层，我还是会补机器人自己的遥操作轨迹。

自动驾驶

这一类我觉得更直观。真正难采的通常不是晴天白天正常开车，而是雨、雾、雪、夜间、施工区、应急车辆、非常规道路以及各种低频交通组合。

这些场景靠人工设计数据采集路线成本很高，而互联网已经自然产生了很多真实视频。Bright Data 当前页面也把 rainy highway merges、低光环境等条件作为场景级过滤示例。

世界模型

世界模型更关心“这个世界接下来会发生什么”。比如，杯子掉下来会怎样弹跳，液体倒出来怎样流动，柔性物体怎样变形，两个物体遮挡以后状态如何变化……这些物理现象本身就大量存在于真实视频中。

所以网络视频在这里提供的，更像一种真实世界视觉与物理先验。

想先验证？可以从一个小场景开始

如果你正在搭建 VLA、Physical AI 或机器人训练数据管线，可以先从一个具体场景开始，例如 kitchen_manipulation、warehouse pick-and-place、低光环境驾驶等。

Bright Data 提供 5,000 次免费额度（free tier），可以先用这部分额度验证网络视频搜索、场景筛选、视频提取和 Metadata 是否适合你的数据 pipeline。

建议先跑一个小型 PoC：定义 1–2 个目标场景 → 搜索相关视频 → 提取需要的片段 → 检查 Metadata → 转换成自己的 training manifest。

如果验证结果符合预期，再进一步扩大数据规模。

开始使用 Bright Data 5,000 次免费额度，验证你的 VLA 数据管线 → https://get.brightdata.com/flower-vla?utm_content=VLA-ttrr27

---

六、何时选择网络视频，何时选择遥操作？

真正有意义的问题已经不是“网络视频和遥操作谁更好”，而是当前到底缺哪一种数据？我把三种常见来源放在一起：

对比维度	遥操作	仿真	Bright Data 网络视频
单条边际成本	高，需要机器人和人工	很低	低，官网称相较遥操作可低约 1000×/clip
扩展方式	增加机器人和操作员	增加计算资源并行生成	从 Web 规模视频持续检索
物理真实性	真实，而且与目标机器人一致	存在 Sim-to-Real Gap	真实世界视觉物理，但存在 Embodiment Gap
动作标签	原生机器人 Action	原生仿真 Action	默认不是机器人低层 Action，需额外处理
场景多样性	受采集环境限制	依赖人工设计	适合大规模和长尾覆盖
更适合解决的问题	Action / embodiment 对齐	可控任务扩展	视觉、语义和真实场景覆盖

Bright Data 的产品数据和 1000× 成本口径来自其当前 VLA 官方页面。

所以如果让我搭一条 VLA 数据路线，我更倾向于：

• 预训练阶段：用真实视频扩大视觉、动作语义和物理世界覆盖；
• 任务扩展阶段：用仿真快速制造可控变体和失败状态；
• 精调阶段：回到目标机器人，通过遥操作完成动作空间对齐。

这也是我认为“网络视频破解遥操作规模瓶颈”比较准确的理解。它不是把遥操作干掉了，而是让遥操作不用再承担所有事情。

---

七、还有一个不能跳过的问题：这些网络视频能不能直接拿来用？

只要涉及 Web 数据，这个问题一定绕不开。

Bright Data 当前官方页面显示的合规体系包括 SOC 2 Type II、ISO 27001、GDPR、CCPA 等，并表示其数据访问针对公开可获取的网络数据运行。官网 FAQ 还提到，Bright Data 在 2024 年与 Meta 和 X 的美国联邦法院案件中胜诉。

不过我觉得这里也不要简单理解成：“用了某个平台，所以任何视频、任何用途都自动合法。”数据源许可、视频版权、个人信息、所在司法辖区以及具体训练用途仍然可能不同。特别是做商业化机器人产品时，平台侧合规能力和自己项目侧的数据使用审查是两件事。

这一点，我觉得越早确认越省事。

---

FAQ

Q1：没有机器人 Action 标签的网络视频，真的能训练 VLA 吗？

能用，但要看训练阶段。

网络视频很适合学习场景理解、物体交互、动作语义、视觉表征以及真实世界物理先验。但如果最终目标是让某一台机器人准确输出关节或末端执行器控制量，还需要机器人遥操作数据、动作标注或其他跨 embodiment 对齐方法。

所以“能用于 VLA”不等于“拿 MP4 直接训练完整机器人控制策略”。

Q2：网络视频以后会不会把遥操作替代掉？

我认为短期内不会。

遥操作最大的价值就是Action 和目标硬件天然对齐，这是普通人类视频不具备的。

网络视频解决规模和多样性，遥操作解决动作精度和硬件对齐。两者解决的不是同一个问题。

Q3：既然网络视频这么多，直接自己批量下载不行吗？

小实验当然可以。

但数据量往上走以后，真正麻烦的不只是“下载”本身，还包括搜索、筛选、有效片段定位、裁剪、Metadata 标准化以及持续交付这一整条链。

这也是为什么我更关注 Define → Search → Extract，而不是单纯的下载能力。

Q4：如果预算有限，我应该先采遥操作还是先找视频？

如果只是验证一个具体机器人任务，我会优先少量遥操作，因为它离目标 Action 最近。

如果目标是训练通用 VLA、世界模型，或者当前最缺的是场景覆盖，那么我会先考虑大规模视频预训练，再把有限的遥操作预算放在真正需要机器人动作监督的阶段。

---

写在最后

一开始看 VLA 的时候，我也很容易把注意力放在模型上：新的 backbone、新的多模态结构、更大的参数规模，但机器人这个方向越往真实世界走，越会发现很多问题其实不是简单增加算力就能解决的。

一个机器人想学会擦桌子，既需要见过不同桌面、不同光照、不同遮挡和各种物体组合，也需要知道自己的手臂究竟该怎么移动、夹爪什么时候闭合。这两种知识，本来就不一定来自同一种数据。因此，我现在更倾向于把 VLA 的训练数据问题拆成两部分：“世界有多大”交给规模化真实数据，“机器人怎么动”交给机器人 Action 数据。

网络视频真正有意思的地方，并不是它让遥操作变得没用了，而是当具身智能开始向百万、千万甚至更大规模的数据需求走时，我们终于多了一条不完全依赖“一台机器人 + 一个操作员”去生产数据的路径。这条路还不完美，动作标签、embodiment gap、视频质量和数据合规都需要继续处理。但如果未来真的要做通用 VLA，我觉得让机器人先尽可能多地“看过这个世界”，再教它如何用自己的身体完成动作，至少是一条值得继续走下去的路线。

如果你正在面对类似的 VLA 数据规模问题，可以先从一个小实验开始：选一个任务 → 定义场景 → 搜索视频 → 提取片段 → 检查 Metadata → 接入训练 Pipeline。Bright Data 提供 5,000 次免费额度，不需要一开始就建立完整的大规模数据采购流程。先用 5,000 次免费额度验证数据质量，再决定是否规模化。

开始使用 Bright Data 5,000 次免费额度 → https://get.brightdata.com/flower-vla?utm_content=VLA-ttrr27

---

参考资料

1. International Federation of Robotics, World Robotics 2025 – Industrial Robots.
2. AgiBot World Contributors, AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems.
3. ALOHA 2 Team, ALOHA 2: An Enhanced Low-Cost Hardware for Bimanual Teleoperation.
4. Bright Data, Video Feeds for VLA Pipelines / Physical AI.