翻译这篇文章的原因是跟着进行：数据跟哪里来，策略怎么设计（架构与训练细节），如何去测评模型（平台与任务设计）。其实要落地一个产品，应该要做更多的事情。而RoboTwin提供了50个双臂自动化数据合成、主流操作策略训测集成、评测系统，能够辅助大家快速走起来具身智能操作策略的生命周期。

RoboTwin 2.0：面向鲁棒双臂机器人操作、具备强域随机化能力的可扩展数据生成平台与基准测试集

摘要

基于仿真的数据合成，现已成为提升真实世界机器人操作能力的强大技术范式。然而现有合成数据集，依旧无法支撑鲁棒的双臂机器人操作，根源来自两大挑战：1.缺乏高效且可扩展的数据生成方法用于新任务。2.过于简化的模拟环境，未能捕捉真实世界的复杂性。我们提出了RoboTwin 2.0，一个支持自动化，大规模生成多样和真实数据，并且能够去配套统一的双臂操作的测评标准的可扩展仿真框架。我们首先构建了RoboTwin-OD，一个包含731个实例、涵盖147个类别的大型物体库，每个实例都标注了语义和操作相关的标签。去提高模拟到真实的传输，RoboTwin2.0在五个维度构建结构化域随机化：杂物遮挡，光照变化，背景环境，桌面高度，语言指令差异，从而提高数据多样性和策略鲁棒性。我们将该框架应用于涵盖五个机器人体型的50个双臂任务。实证评估显示代码生成成功率提升了10.9%。基于此，我们评估下游策略学习。结合大规模合成数据和仅10个真实演示，视觉-语言-行动（VLA）模型相较10个演示基线提升了367%。即使没有真实数据，仅基于合成数据训练的零样本模型也能获得228%的相对增益，凸显了我们数据集在增强模拟到现实转移和对环境变化的鲁棒性方面的有效性。我们发布数据生成器、基准测试、预收集数据集和代码，以支持稳健的双手操作中的可扩展研究

1.介绍

双手机器人操作对于使机器人能够执行复杂的现实任务至关重要，如协作组装、工具使用和物体交接。开发可推广的双手策略——尤其是视觉-语言-行动（VLA）基础模型——需要同时高质量、多样化且规模庞大的数据集。如果物体形状、场景杂乱程度、光照条件、指令语言、机器人本体构型的变化不足，训练出的策略很容易局限在狭小的数据分布中过拟合，无法泛化到全新环境与不同硬件平台。与此同时，大规模采集真实世界机器人示教数据成本极高、耗时漫长、现场实施难度极大，想要覆盖大量任务、物体类型与机器人构型时，这一问题会更加突出。

基于仿真的数据生成为收集大规模多模态数据集提供了可扩展的替代方案，并在实现模拟到实物传输方面展现出潜力。然而，现有的数据生成流程仍然存在三大短板：

1. 首先，它们缺乏自动化的质量控制：没有专家级的验证循环，许多生成的轨迹包含执行失败或抓握不优，进而降低策略学习质量。
2. 其次，域随机化方式过于浅层表面化。生成场景往往过于干净、单一同质化，遗漏了杂乱遮挡、光照变化、模糊语义指令等真实世界关键要素 —— 而这些要素正是实现稳定可靠仿真 - 真实迁移的核心。
3. 忽略跨机器人本体构型差异。不同双臂机器人平台，在运动学性能、抓取策略上存在巨大区别。

例如，像Piper这样的低自由度（DoF）平台由于灵巧度有限，通常依赖侧向抓握，而像Franka这样的高景径手臂则能够实现俯视精确抓握。然而，当前的综合数据集很少编码此类具象特异性的可依赖性或任务约束，限制了它们的普遍性。

为应对这些挑战，我们推出了RoboTwin 2.0，这是一个可扩展的基于仿真的数据生成框架，旨在生成高质量、多样、真实且交互丰富的双手操作数据集。RoboTwin 2.0集成了三个关键组件：

• 自动化专家级数据生成流水线：该模块利用多模态大语言模型（MLLMs）与仿真闭环反馈，对任务执行代码进行迭代校验与优化；
• 全维度域随机化：针对语言指令、物体杂乱程度、背景纹理、光照条件及桌面布局进行全面随机扰动，目标是缩小仿真到真实世界的域间隙，并提升策略的泛化能力；
• 机器人本体构型感知适配：该模块标注物体的动作可供性（affordance），并生成针对特定机器人的动作候选集，以适配异构双臂机器人各不相同的运动学特性。

基于这些组成部分，我们引入了三项新资源，以支持双手操作的可扩展研究：

1. RoboTwin-OD 资产库：包含147 个类别、总计 731 个带标注的物体实例；
2. 自动化数据生成流水线：集成全域域随机化，生成超过10 万条专家级轨迹数据，覆盖 5 个双臂机器人平台的 50 项任务；
3. 专用评测基准：用于评估策略在杂乱环境与开放式语言指令目标下的泛化能力。

上述三项资源共同助力社区，在高度还原真实世界复杂性与多样性的条件下，训练并评估具备鲁棒性的双臂机器人操作策略。

1. 我们搭建了自动化专家级数据生成框架，将多模态大语言模型与仿真闭环反馈相结合，保障输出高质量、专家水准的操作轨迹；
2. 我们提出系统化域随机化方案，通过提升数据多样性、增强仿真 - 真实世界泛化能力，以此强化策略鲁棒性；
3. 我们提出机器人本体感知适配机制，基于物体动作可供性，生成适配特定机器人的专属操作动作候选；
4. 我们开源发布 RoboTwin-OD 物体资产库、大规模多机器人构型域随机化预采集轨迹数据集、可扩展双臂数据生成工具，以及标准化评测基准。以此支撑可泛化策略在不同机器人本体、场景布局、语言指令下的规模化训练与性能评估。

2.方法

图2：RoboTwin 2.0 整体流程 该框架基于RoboTwin-OD和技能API，利用基于MLLM的代码生成和模拟反馈，生成专家任务程序和用于政策培训和评估的领域随机轨迹。

我们在图 2 中展示了 RoboTwin 2.0 的完整流程。该框架首先通过任务代码生成模块，利用多模态大型语言模型（MLLM）和模拟在环反馈，根据自然语言指令自动生成可执行的任务规划。该模块依托大规模物体资产库（RoboTwin-OD）与预设技能库，能够针对大量物体类别、各类操作场景，规模化快速搭建任务实例。

为保障专家级示教数据质量，我们将自动化生成流程与 RoboTwin 2.0 综合领域随机化方案整合，从语言、视觉、空间多个维度丰富观测数据多样性。该流程可以生成多样化、高贴合真实场景的训练数据，助力开发能够适配真实世界复杂环境变化、具备强鲁棒性的机器人操作策略。

2.1通过MLLM和环路中仿真反馈实现专家代码生成

语言模型的最新进展显示，能够为复杂的机器人任务生成中间任务表示——如文本计划、API调用或可执行代码。多模态大型语言模型（MLLMs）通过整合视觉和本体感觉输入，进一步扩展了这一能力，使得对现实感官数据进行更扎实的推理。多模态大型语言模型（MLLMs）通过整合视觉和本体感觉输入，进一步扩展了这一能力，使得对现实感官数据进行更扎实的推理。但以往相关系统往往依赖大量人工先验知识，且在程序生成过程中缺少闭环反馈，导致系统在多样化、动态变化的环境中鲁棒性不足。
为解决上述局限，我们提出一套自动化专家数据生成流水线，将程序化代码合成与多模态执行反馈相结合。该系统采用双智能体闭环架构：代码生成智能体与视觉语言模型（VLM）观测智能体。代码智能体根据指令生成任务程序，观测智能体则监控仿真环境中的执行过程、识别执行故障并给出修正方案。这种迭代反馈三循环使代码代理能够自动优化程序，生成稳健且自我改进的专家数据，且无需最小人工监督。与以往基于MLLM的流水线如GenSim2和RoboGen不同，我们的系统支持零样本生成复杂的双臂行为，超越了原始的选置动作。

图3：专家代码生成流程

输入规范。每个任务由任务名称（例如切换块）和目标的自然语言描述定义。代码生成智能体基于三类关键输入条件运行：通用接口清单、示例函数调用集合、分层约束规范。这些组件共同指导 Python 代码的综合以执行任务。此外，每个任务还可能包含任务特定的函数调用示例，让代码生成更贴合实际场景逻辑

初始代码生成。代码生成智能体根据给定任务输入，生成初始 Python 程序。该模型将程序生成建模为可用接口空间下的结构化预测问题，借助自然语言理解能力与任务示例少样本提示学习，完成代码编写。生成代码会按照分步序列定义机器人动作，以此完成指定操作目标。

仿真执行与日志记录。生成的程序会在机器人仿真环境中，每轮迭代重复执行 10 次。采用多次重复试验，来适配仿真动力学、机器人控制器、传感器噪声带来的随机波动。每一批次执行完成后，系统都会生成结构化执行日志，记录每次试验的成功或失败结果，并为各类故障案例标注对应原因，例如代码无法运行、左右手抓取失败、物体摆放位置错误等。

多模态观测与故障定位。在程序执行的同时，视觉语言模型（VLM）智能体会同步观测全部十次试验中机器人的运行行为。该视觉语言模型逐帧分析画面，判断每一步程序执行是否成功，并在出现故障时精准定位出错环节。除时序定位外，模型还会诊断故障类型，推断故障根源是逻辑缺陷、接口调用错误，还是其他系统性问题。依靠这种诊断能力，系统能够解决问题根本原因，而非仅处理表面的执行报错。VLM 详细观测逻辑见附录 G.4。

代码生成与迭代优化。代码生成智能体接收两类互补反馈信号：（1）量化执行日志；（2）视觉语言模型给出、带精准定位的定性诊断结果。智能体结合两类输入，修改或替换被判定为易出错的指令，对程序进行优化修正。更新后的程序会在下一轮迭代中重新仿真评估，该流程持续循环，直到单轮迭代内 10 次仿真运行均达到设定成功率；若连续 5 次优化后仍不达标，则终止迭代。该闭环流程可在极少人工干预下生成专家级任务代码，同时避免无限循环优化。

该流程的结果是一系列强大且自动综合的程序，生成高质量的专家发展轨迹，用于后续培训和评估。该流水线最终输出一系列高鲁棒性、自动合成的任务程序，可为下游模型训练与评测生成高质量专家轨迹。 通过融合多模态推理与执行层面反馈，系统生成的代码不仅语法无误，语义也与任务目标高度匹配。这套闭环生成框架大幅减少人工干预，同时能够规模化、自主迭代优化地生成复杂机器人操作任务所需的专家数据。

2.2面向鲁棒机器人操作的域随机化

为提升策略在真实世界多变环境下的鲁棒性，我们从五个维度开展域随机化：

1. 杂乱干扰物体
2. 背景纹理
3. 光照条件
4. 桌面高度
5. 多样化语言指令

这种系统化的数据增强方式拓展了训练数据分布，显著提升策略在未知场景下的泛化能力。各类随机化效果如图 4a 所示。
场景杂乱。为了增强对环境变化的鲁棒性，我们在桌面场景中加入了来自RoboTwin-OD的无关干扰（731个对象，涵盖147个类别;详见第3.1节）。每个对象都包含放置注释，使得通用的 API 能够实现语义有效的插入。我们通过碰撞感知的布局和预先计算的体积确保物理合理性。为避免策略混淆，采样时排除视觉或语义上与任务相关对象相似的干扰物。这带来了多样但清晰的杂乱场景供训练使用。

多样的背景纹理。我们用一个大型策划的纹理库来随机化桌面表面和背景。为了构建它，我们首先通过LLM提示和网页爬取收集了1000条不同的表面描述，然后使用Stable Diffusion v2生成了每个描述20个样本（总共20000个）。经过人工过滤，我们获得了11,000个高质量纹理。该库被应用于仿真，以丰富视觉多样性并减少对干净合成环境的过度拟合（见图4b）。

光照变化。现实环境中的照明条件多样，色彩温度、光源类型、光源数量和位置各异。这些因素改变了物体的外观和反射，挑战了基于视觉的操作。为了增强稳健性，我们将光色、类型、强度和位置随机化在物理合理的范围内。如图4a（第二排）所示，色温的变化会极大地改变物体外观（例如，鞋子在暖光下与冷光下）。在这种随机条件下训练可以提升策略对现实世界照明变化的鲁棒性。

桌面高地。实际上，不同工作区的桌子高度不同，影响机器人的感知、运动学和交互。为了提升泛化性，我们在仿真过程中统一随机化桌面高度，使其在合理范围内实现，从而引入视角和机器人与物体之间空间关系。

轨迹级多样化语言指令，为提升策略对自然语言表述差异的鲁棒性，我们利用多模态大语言模型生成多样化任务模板，以及大量描述物体几何形状、外观特征、部件属性的文本。每个任务与物体都拥有多种不同措辞表达，并且可以自由组合搭配。针对每一条运动轨迹，我们都会从指令库中随机采样组合，生成对应语言指令。以移动罐子与锅具任务为例，模板句式 “用 a 将 A 放到 B 左侧”，可以衍生出多种指令，例如：“用左臂将酱料罐放到灰色烹饪锅左侧”“用左臂把带白色塑料盖的酱料罐，放到用于炖煮烹饪的锅具左侧”这种组合式数据增强方式，能够生成海量语言风格各异的指令，大幅提升模型在未知语言表述、全新场景布局下的泛化能力（详见附录 H、I）

2.3机器人本体感知抓取适配

受自由度与运动学结构差异影响，即便面对同一任务，不同机械臂的可达工作空间、最优操作策略也各不相同。例如在抓取罐子时，Franka 机械臂通常采用自上而下抓取方式，而自由度更低的 Piper 机械臂则更适合侧向抓取。如图 6 所示，Franka 通过自上而下抓取顺利完成的任务，更换为 Piper 执行时，就需要改用侧向抓取方式。

为应对不同机器人本体结构带来的差异，我们为每一个物体标注大量候选操作位姿，覆盖多种抓取轴线与趋近方向。该设计同时兼顾操作多样性与各机器人专属的动作偏好。为进一步扩大可行操作空间，我们朝着机械臂可达范围更大的方向施加角度扰动。具体来说，我们结合机器人优选作业方向、随机位姿扰动以及并行运动规划尝试，为每个物体生成对应的候选抓取姿态。

3.RoboTwin 2.0 数据生成器、基准测试与大规模数据集

3.1RoboTwin-OD：RoboTwin 对象数据集

图7：RoboTwin-OD：面向机器人操作的大规模物体数据集，包含147 个类别、731 个物体，配备丰富交互标注与多样化语言描述。

为同时提升机器人操作能力与视觉理解能力，我们构建了一套带有丰富语义标注的大规模物体数据集 ——RoboTwin-OD，涵盖 147 个类别、731 个多样化物体。具体来说，这包括我们通过Rodin平台1的RGB转3D重建，内部生成的534个实例，涵盖111个类别，随后是凸分解和 网格合并，以确保碰撞模型的物理准确性。此外，RoboTwin-OD 还纳入了 Objaverse 数据集中 27 类共计 153 个物体，以及 SAPIEN PartNet-Mobility 数据集中 9 类共计 44 个关节物体实例。包括Objaverse在内的所有来源的对象都被用来构建杂乱场景，Objaverse特别增强了干扰对象的视觉和语义多样性。我们同时借助生成式人工智能结合人工在环筛选，搭建了完善的表面与背景纹理库，保障场景视觉真实度与丰富多样性。

为了实现稳健的操作，策略必须在多样化对象之间泛化，这需要具有广泛类别覆盖和多样化类内实例的数据集。为了促进语言基础，我们开发了经人工校验的自动化对象描述生成器，为每个物体生成15 条标注，分别从形状、纹理、功能、部件结构与描述粒度等维度进行差异化描述。为进一步支持以物体为中心的交互，我们为每个物体标注了关键点 - 轴线信息，包括放置点、功能点、抓取点与抓取轴线，显式编码物体可供性。结合我们的操作接口库，这些标注可在仿真中实现可泛化的抓取执行。

3.2 数据生成与基准测试的50项任务

基于我们的自动化任务生成框架、具身自适应行为综合以及大规模的RoboTwin-OD资产库，我们构建了一套50+双臂协作操作任务。我们进一步支持在5 种不同机器人平台上开展数据采集与评测，实现全面的跨机器人本体基准测试。

4.实验

我们设计实验以评估RoboTwin 2.0在三个关键方面的作用：（1）自动化生成高质量专家代码以处理操作任务;（2）通过多样化训练数据提升策略对环境变异的鲁棒性;以及（3）展示RoboTwin 2.0作为评估任务、场景和具体化策略泛化的标准化基准的实用性和多样性。

4.1自动化专家代码生成效果评估

我们在一组10个机器人操作任务中评估了闭环专家数据生成系统，每个任务都指定了自然语言指令。针对每种任务配置，代码生成智能体会输出多份候选程序，并在仿真环境中执行，以此适配动力学、控制与感知过程中存在的随机性。

我们采用四项指标评估性能：平均成功率（ASR）、Top5 平均成功率（单任务前 5 个最优候选程序成功率）、平均迭代优化次数（CR-Iter）、策略代码平均 Token 长度。RoboTwin 1.0和2.0的结果在表1中以三种配置方式报告：原版（一次性代码生成）、FB（基于执行日志的反馈修复）和MM FB（多模态反馈与视觉语言诊断）。每项任务的成功率见附录8。

所有实验配置下，多模态反馈均能持续提升性能。在 RoboTwin 1.0 中，平均成功率由基础模式的 47.4% 提升至多模态反馈模式的 63.9%；在 RoboTwin 2.0 中，平均成功率由 62.1% 提升至 71.3%。Top5 平均成功率同样显著提升，说明感知反馈对最优候选程序效果提升尤为明显。RoboTwin 2.0 收敛速度优于 1.0 版本（多模态反馈下迭代次数分别为 1.76 与 2.42），说明模型具备更强先验约束、优化效率更高。同时代码 Token 开销大幅下降，基础模式下差距尤为显著（569.4 vs 1236.6），说明初始生成代码更加简洁精炼。

图9进一步表明反馈缩小了成功率分布并提高了中位数。采用多模态反馈的RoboTwin 2.0实现了集中在80%以上的紧凑分布，突出了鲁棒性和可靠性。

总体来看，有三项发现：（1）视觉语言反馈不仅能检测故障，还能指导精准修复;（2）RoboTwin 2.0的架构改进加快了融合并减少了令牌使用;（3）将符号执行日志与感知诊断结合，能够获得更可靠、语义对齐的专家数据。这些结果共同验证了我们闭环、自我改进代码生成架构的有效性。详细的设置、度量定义和额外分析见附录G。

4.2有无自适应抓取策略下的效率对比评估

为了评估我们具身感知抓握增强策略的有效性，我们测量了50个RoboTwin 2.0任务中五个不同机器人实例上的自动化数据收集任务成功率。如表2所示，我们将RoboTwin 2.0的流水线与缺乏多样化抓取和候选增强的RoboTwin 1.0基线进行了比较。结果显示，我们的方法提高了成功率，尤其是在规划空间受限的机器人中，所有实例平均提升了8.3%。具体而言，Franka、UR5 这类 7 自由度、可达工作空间较大的高自由度机械臂，成功率基本无明显变化。这说明当机器人本身运动学灵活性充足时，该策略增益有限。而对于 Aloha-AgileX、Piper、ARX-X5 这类 6 低自由度平台，成功率分别大幅提升 13.5%、22.7%、5.6%。上述结果证明，本文方法能够补充可行抓取姿态，有效弥补低自由度机械臂的运动规划短板。

4.3评估机器人RoboTwin2.0对策略稳健性的影响

我们的目标是评估RoboTwin 2.0中的域随机化数据是否能赋予模型对环境扰动的鲁棒性。为此，我们分别在干净无随机化环境与域随机化环境两种场景下，基于 32 项任务（每项 300 条）共计 9600 条专家轨迹，对 RDT 与 Pi0 模型完成预训练。

作为对照，我们同时直接使用官方开源、未经额外微调的 RDT 与 Pi0 预训练权重进行测试。为了进一步研究泛化，我们挑选了五个未公开任务，并为每个任务收集50个干净演示，用于单项任务训练和微调。

最后，所有策略——包括ACT、DP、RDT和Pi0——都在域随机条件下评估，以衡量在前所未见环境中的鲁棒性。如表3所示，我们观察到，使用干净数据进行微调的模型相比预训练模型，平均成功率提升微乎其微，表明未进行领域随机化的数据并不能帮助模型处理环境变化。这也表明预训练VLA在仿真中成功率低并非由于真实到模拟之间的差距，因为我们提供了干净的仿真数据，但未观察到明显的改进。与之相反，采用 RoboTwin 2.0 数据集预训练的模型泛化能力大幅提升，其中 RDT、Pi0 模型性能相对分别提升 31.9%、29.3%。值得注意的是，即便下游任务仅使用干净、无随机化的数据训练，该性能优势依然存在。这证明基于 RoboTwin 2.0 开展域随机化预训练，能够有效赋予模型应对视觉与空间环境变化的鲁棒性。因此，经 RoboTwin 2.0 预训练的模型无需额外数据增强、无需复杂场景变换，即可快速适配全新任务。

4.4评估模拟到真实性能评估

为验证 RoboTwin 2.0 提升真实世界策略鲁棒性的效果，我们开展四项双臂任务实验：碗具堆叠、方块交接、瓶子拾取、铃铛按压。所有实验均以 RDT 作为策略骨干网络，在 COBOT-Magic 双臂机器人平台上运行。

我们对比三种训练方案：（1）仅使用干净桌面环境下的 10 条真实世界演示数据；（2）在上述真实演示基础上，补充 1000 条域随机化仿真轨迹，这些轨迹生成于杂乱场景、多变光照与多样化背景环境；（3）纯仿真训练方案，仅使用 1000 条域随机化轨迹完成训练。为增强模型对抗相机抖动、标定误差的鲁棒性，我们对仿真相机位姿（位置与朝向）施加三维随机扰动，位移幅值限制在 1 厘米以内。

实验在四类测试场景下进行：① 已知背景、干净桌面；② 未知背景、干净桌面；③ 已知背景、杂乱桌面；④ 未知背景、杂乱桌面由于纯仿真方案在训练阶段未使用已知背景数据，因此表 4 中对应结果不予展示。该实验设置可直接验证：RoboTwin 2.0 能否在无需额外采集复杂视觉环境真实数据的前提下，实现策略稳定、泛化能力优异。

实验结果表明，借助 RoboTwin 2.0 增强训练的真实世界双臂策略，鲁棒性得到显著提升。在少样本场景中，仅用 10 条真实演示数据搭配 1000 条域随机化仿真轨迹，所有测试场景下的平均成功率提升 24.4%，四类配置分别提升 13.5%、27.5%、23.5%、33.0%。在仅依靠仿真数据训练的零样本场景下，模型在两类未知背景场景中依旧取得 21.0%、20.5% 的显著性能提升。值得注意的是，场景视觉复杂度越高，模型性能提升越明显，说明 RoboTwin 2.0 在高难度复杂环境下效果尤为突出。

这些性能提升来源于两方面原因：

1. RoboTwin 2.0 具备极高的视觉与物理仿真保真度，能够实现高效的仿真到真实世界迁移；
2. 域随机化仿真数据可以让策略提前适配干净真实演示中未曾出现的各类环境变化。

尤为关键的是，少样本训练优异的性能表明，仅需极少量真实世界数据，即可有效弥合仿真 - 真实域差距。

4.5RoboTwin 2.0 基准测试

为评估RoboTwin 2.0的基准测试效用和泛化挑战，我们评估了五个策略模型：ACT、DP、RDT、Pi0和DP3。所有视觉语言动作模型均基于官方开源预训练权重，采用单任务方式进行微调。评估均采用Aloha AgileX双臂实现，涵盖所有50个基准任务。每项任务使用 50 条干净专家演示数据训练模型，并在两种环境下各执行 100 次轨迹推演进行测试：简单环境（干净场景）、困难环境（融合场景杂乱、光照、纹理、桌面高度变化的域随机化场景）。基准实验场景可视化结果详见附录 J。我们以任务成功率衡量模型少样本适配能力与环境鲁棒性。详细实验配置见附录 C、D，完整实验结果参见附录 K 与在线排行榜。

图 5 与附录 K 展示了 50 项任务的实验结果。无预训练模型（ACT、DP、DP3）在困难环境下表现极差，而经过预训练的模型（RDT、Pi0）抗干扰能力更强，这说明视觉 - 语言 - 动作预训练能够为模型泛化提供有效先验知识。 即便如此，从干净环境切换至域随机化环境后，RDT 成功率下降 20.8%，Pi0 成功率下降 30.1%，凸显域偏移下的鲁棒性仍是核心难题，其原因大概率是预训练数据多样性不足。 DP3 在少样本条件下取得最优性能，体现了三维信息的重要作用；但其优异表现部分得益于仿真环境中理想的点云数据与干净的背景分割效果。

5.相关工作

5.1机器人操作数据集与基准平台

基于物理引擎的仿真模拟器是现代机器人操作研究的核心基础。现有各平台具备各自互补优势：SAPIEN 可实现与 2300 余个关节物体的动态交互；ManiSkill2 提供海量百万级操作演示数据；Meta-World、CALVIN、LIBERO、RoboVerse 分别面向多任务、语言驱动、终身学习、域随机化场景研究；RoboCasa 拥有大规模人类操作演示数据，但缺少自动化生成能力，且不侧重双臂协同任务。

大规模真实世界数据集进一步缩小仿真到现实的差距：AgiBot World、RoboMIND、Open X-Embodiment 与 Bridge 数据集，涵盖多样化任务、机器人与环境，累计贡献数百万条操作轨迹。

RoboTwin-1.0 通过仿真复刻真实演示，构建双臂机器人基准评测体系。本文提出的 RoboTwin 2.0 融合大语言模型驱动反馈机制，并在视觉、物理、任务多个维度开展系统化域随机化，构建内容更丰富的数据语料库，有效提升策略鲁棒性与泛化能力。

5.2机器人在操作中学习

众多面向特定任务的策略架构在单任务上表现优异，但难以在不同机器人本体之间迁移泛化。与之相反，基于百万级多机器人数据集训练得到的基础模型，具备强大的零样本泛化能力：RT-1 通过单一 Transformer 融合视觉、语言与动作信息，实现厨房场景实时作业；RT-2 结合互联网数据与机器人数据，对大型视觉语言模型开展联合微调，实现语义规划与物体推理能力；基于扩散模型的 RDT-1B 与 π0，从超百万条交互序列中学习多样化双臂运动规律。OpenVLA、CogACT 等视觉 - 语言 - 动作（VLA）框架，搭配 Octo、LAPA、OpenVLA-OFT 等适配方案，能够高效微调适配全新机器人与各类传感器模态

为进一步推进这一方向，我们的研究引入了数字孪生数据收集与广泛领域随机化相结合，生成了与真实机器人动态高度相似的数据集，并支持训练稳健且可推广的双手操作策略。

5.3模仿学习中的域随机化

已有研究表明，对纹理、光照、相机位姿、物体质量、摩擦系数、控制延迟等视觉与物理参数进行随机化，并在专家演示中加入噪声，能够实现仿真到真实世界迁移，训练出鲁棒的视觉运动策略。针对最坏情况数据集合进行优化，还可以进一步提升模型应对极端域偏移的抗干扰能力。但现有方法大多独立开展随机化操作，缺少数字孪生双向反馈机制。本文方法结合交互式仿真反馈与系统化全域随机化，生成保真度更高的模仿学习数据。

6.结论

本文提出 RoboTwin 2.0，这是一套可扩展仿真框架，用于生成多样化、高保真专家数据，支撑高鲁棒性双臂机器人操作任务。该系统融合大语言多模态模型任务生成、机器人本体自适应行为合成与全维度域随机化技术，解决了以往仿真数据生成方法存在的核心缺陷。

依托带标注物体库与自动化轨迹生成能力，RoboTwin 2.0 能够产出兼具丰富视觉、语义语言与物理多样性的数据，同时大幅降低人工调试工作量。实验验证，该框架可有效提升策略在杂乱环境下的鲁棒性、对未知新任务的泛化能力，以及跨机器人本体操作能力。

研究结果表明，规模化、自动化生成高语义、域随机化数据，对于学习鲁棒机器人操作策略至关重要。RoboTwin 2.0 为构建统一评测基准、搭建可扩展仿真 - 现实迁移流程奠定基础，后续研究将聚焦真实场景落地部署与多物体复杂任务拓展。