摘要

机器人基础模型的整个生命周期都高度依赖数据标注。对真实世界部署进行监控，需要结果奖励标签；在 RL 后训练阶段，需要过程奖励标签；对预训练数据进行筛选和平衡，则需要带时间戳的描述文本。

本文介绍了 Flora，这是一套用于训练 GR00T 模型、达到工业级要求的数据引擎，能够同时支持上述多种能力。Flora 在描述文本基准测试 WGO-Bench 以及奖励基准测试 RoboReward 和 Robometer 上取得了SOTA。在内部基准测试中，其表现可与 GPT-6 Astra 相媲美，同时优于其他前沿模型。

与基于 API 的替代方案相比，该模型的成本显著更低，约为 GPT-6 Astra 的 。Flora 已经过大规模实际应用验证：利用 512 张 GB300 GPU，每天可标注 200,000 小时的数据。

通过开源这套数据引擎，我们使研究人员能够扩展自定义机器人数据集，并探索physical auto-research和human-to-robot transfer等新兴应用。

Flora 主要提供以下五项能力：

1. 时间分段（Temporal Segmentation）：将视频划分为具有明确起止时间的动作片段。

2. 上下文动作描述（Contextual Action Captioning）：结合动作发生前后的视频上下文，生成对具体动作的描述。

3. 结果奖励（Outcome Rewards）：评估整个任务或 episode 的最终完成情况。

4. 过程奖励（Process Rewards）：识别执行过程中的正常、次优和失败行为。

5. 评分规则奖励（Rubric Rewards）：根据用户在测试时指定的评分规则，对任务的各个步骤进行评分。

图 1 展示了 Flora 的整体能力：首先对视频进行分段，再分别为各个片段生成带时间戳的描述文本；此外，还可以生成结果奖励、过程奖励，以及依据指定评分规则计算的奖励。

1. 概述

机器人基础模型已经从针对单一本体训练的策略，发展为在大规模异构数据集上训练的通用模型。在这些大规模数据集中，高质量标签对于获得高性能模型至关重要。

预训练受益于带时间戳的动作指令，这些指令既能支持语言条件控制，也能帮助研究人员重新平衡数据混合比例。RL 后训练需要能够衡量一个 episode 内部进展的过程奖励，其作用类似于语言模型中的逐步监督。在实际部署阶段，则需要结果奖励来监控机器人集群、检测故障，并大规模评估策略。

现有的大多数系统只能覆盖一种标注类型。通用前沿模型虽然能够提供多种类型的标注，但在现代机器人数据集的规模下，使用成本过高。

本文提出 Flora，这是一套用于训练 GR00T 模型、达到工业级质量要求的数据引擎。它由三个模型组成：描述文本模型、分割模型和奖励模型。三者协同工作，可生成带时间戳的描述文本、过程奖励和结果奖励。此外，用户还可以自行定义评分规则，从而在测试时灵活地进行奖励建模。

Flora 已经过大规模实际应用验证，每天可利用 512 张 GB300 GPU 标注多达 200,000 小时的数据。通过开源 Flora，我们希望帮助研究人员扩展自定义机器人数据集，并探索物理领域的自动化科研和从人类到机器人的迁移等新兴方向。

2. 能力与实验结果

表 1 对比了 Flora 与多种闭源及开放权重模型的基准测试成绩。表中数值均乘以 100；箭头表示指标的优化方向。

2.1 带时间戳的动作描述

我们从时间分段、基于标准参考区间的描述生成，以及基于预测区间的联合标注三个方面进行评估。Flora 使用默认训练pipeline，并采用通过验证集选择的分割模型和描述模型 RL 检查点。

通用pipeline。 对于开箱即用的模型，我们采用统一的两阶段pipeline。首先，通过一次模型调用对带时间戳的 episode 联系表（contact sheet）进行分段；随后，针对每个固定时间区间，分别调用一次描述生成模型，并提供该区间前后最多各两秒的上下文。两个阶段使用同一个模型，但采用针对各阶段设计的固定提示词。

仅评估描述生成能力时，我们使用参考区间代替预测区间。评估过程中不会向模型提供参考描述文本。这些比较评估的是完整系统，而不同系统所接收的视觉输入和推理计算量可能有所不同。

WGO-Bench。 表 2 展示了模型在 WGO-Bench 上的比较结果。该基准包含 25 个来自 HomER 的人类第一视角操作 episode、50 个来自 DROID 的机器人外部视角 episode，以及 25 个来自 Galaxea 的头部相机视角 episode。

所有系统，包括 Flora，在两个阶段都会接收 episode 的任务指令。比较采用一对一时间匹配，时间交并比（tIoU）阈值为 0.75，并使用公开的纯文本描述评分规则。联合匹配要求时间区间和描述内容同时一致。

Flora 的平均分段 F1 达到 50.3%，联合 F1 达到 34.5%，参考区间描述准确率达到 64.7%。在分段指标上，Flora 排名第一；在联合 F1 上，其排名第二，仅次于 GPT-6 Astra 的 39.0%。其描述准确率仍低于 Astra 和 Gemini 3.8 Flash，因此主要优势体现在动作的时间定位能力上。

Pipeline 比较。 图 5 将 Flora 与通用pipeline、Refiner、LeRobot 和 Pegasus 进行比较。相较于 Refiner，Flora 的平均分段 F1 提高了 16.9 个百分点，联合 F1 提高了 7.3 个百分点，而参考区间描述准确率基本相当，分别为 64.7% 和 64.3%。其他骨干模型的比较以及 API 替换诊断结果见附录 B.6。

DenseCaptionBench。 WGO-Bench 提供了公开的子任务标注评估，但其 100 个单视角 episode 对任务和场景的覆盖有限，既不评估多视角录制，也不涉及灵巧手操作。此外，其二元描述匹配指标无法衡量动作细节的部分覆盖程度。

为评估这些需求，我们构建了 DenseCaptionBench，包含 300 个完整 episode，其中人类操作、平行夹爪机器人操作和灵巧手机器人操作各占 100 个。机器人 episode 保留全部相机视角。数据集筛选优先考虑任务、动作和操作器角色的覆盖度，不使用模型性能分数作为筛选依据。人类操作子集覆盖 56 种环境标签和 95 种任务标签。

分段采用 tIoU 不低于 0.5 时的 F1 指标。Oracle 描述评估会针对预期动作、物体身份、操作器之间的协调以及空间关系给予部分得分，同时惩罚已被视频证实的事实性错误。附录 B 详细介绍了数据集构建与评分方法。

表 3 展示了 Human100 和 Robot200 子集的结果。Flora 在 Human100 上的分段 F1、Oracle 描述质量和联合 F1 分别达到 54.6%、66.5% 和 37.4%，三项指标均排名第一。Robot200 的平均分数分别为 66.9%、73.7% 和 51.0%。

在 Human100 上，Flora 的联合 F1 比 Astra 的 29.7% 高出 7.7 个百分点。在 Robot200 上，Flora 的三项指标均排名第二，仅次于 Astra。其联合 F1 为 51.0%，而 Astra 为 57.9%，下一名基线模型为 33.6%。

2.2 奖励标注

我们在两个公开基准和两个内部基准上，从结果奖励、密集奖励和基于评分规则的奖励三个方面评估 Flora-Rewarder。

通用基线模型接收与 Flora 相同的任务指令和答案格式，但帧预算和解码设置会根据各模型的特点进行调整。专用奖励模型的结果取自其发表的研究，并沿用原始评估协议。更多细节见附录 C。

结果准确性。 RoboRewardBench 使用人工标注的 1–5 分结果量表，对 2,831 个 episode 进行评分。我们报告解码得分的平均绝对误差（MAE）。

表 4 显示，Flora-Rewarder 的 MAE 为 40.0，低于 GPT-6 Astra 的 55.4，也低于专用 RoboReward 模型的 66.5。所有误差值均乘以 100。相较于 Astra，Flora-Rewarder 的误差降低了 27.8%。这一优势主要来自对部分完成任务的识别。

轨迹排序与进度评估。 RobometerBench 用于检验奖励模型能否按照质量对 567 条分布外（OOD）轨迹进行排序，采用 Kendall’s  衡量；同时检验预测进度是否随成功的分布内（ID）及 OOD 轨迹的实际经过时间而变化，采用值序相关性（VOC）衡量。

Flora-Rewarder 根据期望结果奖励对轨迹排序，并通过累积密集奖励推导执行进度。在 OOD 轨迹排序上，其得分为 72.0，低于 GPT-6 Astra 的 82.3。在 ID VOC 上，Flora 与 Astra 均达到 98.9；在 OOD VOC 上，Flora 达到 99.6，超过所报告的专用奖励基线在相应评估指标上的成绩。

VOC 衡量的是成功 episode 内部的排序关系，并不能证明模型具有故障检测准确性。

密集奖励。 公开奖励基准通常对整个 episode 评分，或者跟踪任务进度，但无法检验模型能否定位机器人行为不佳或发生失败的具体时刻。

DenseRewardBench 包含 40 个留出的双手协作操作 episode，涵盖 4,861 个时间步，并提供人工标注的动作质量标签。Flora-Rewarder 在表 5 的全部四项指标上均取得最佳结果，宏平均 F1 达到 46.2。

其最大优势在于故障检测：对于失败时间步，Flora-Rewarder 的召回率达到 53.3%，而其他基线模型均不超过 11.7%。不过，更高的失败召回率也带来了代价：Flora-Rewarder 会将约 11% 的正常时间步误标为失败。

基于评分规则的奖励。 RubricBench 是一个内部评估基准，包含来自 10 项任务的 40 个遥操作机器人 episode。每个 episode 都由人工依据人工制定的评分规则进行评分。评价指标为模型预测分数与真实分数之间的 L1 距离。

Flora-Rewarder 的汇总 L1 误差为 6.5，比十个通用模型中的九个更加准确。Astra 的误差则为 3.6。需要注意，这些结果比较的是完整系统；附录 C 说明了各模型的相机设置、缺失响应的统计方式及其他评估细节。

2.3 标注效率

图 3 在 DenseCaptionBench 的固定 50 个 episode 子集上，将 Flora 与六种闭源模型在三种推理强度设置下进行比较。该子集包含 20 个人类操作 episode、15 个平行夹爪机器人 episode，以及 15 个灵巧手机器人 episode。

质量分数对三种本体下的分段、参考区间描述和联合标注进行等权计算。

在假设每 GPU 小时成本为 10 美元、使用八张 GB300 GPU 部署的条件下，Flora 的质量得分达到 57.1%，估算成本为每小时源视频 0.72 美元。

GPT-6 Astra 在最高推理强度下的质量得分为 53.7%，根据已知用量计算的 API 成本为每小时源视频 88.49 美元。Flora 的估算成本约低 125 倍，平均质量分数则高出 Astra 3.3 个百分点。该差值根据未舍入的均值计算。成本核算、参考版本、置信区间和基于配额的吞吐量估算见附录 D。

3. 定性示例

图 6 从时间覆盖、预期动作识别和奖励判断三个方面，对 Flora 与 GPT-6 Astra 进行比较。更多定性实验结果见附录 E。

时间覆盖与局部操作。 在选定的 episode 中，Flora 与 37 个参考区间中的 34 个匹配，而 Astra 仅匹配 4 个，对应的 F1@0.5 分数分别为 82.9 和 18.2。

描述示例表明，准确保留动作的预期操作十分重要。Flora 能够识别插入导线以及从右手向左手传递物体的动作，而 Astra 分别将其描述为操作花状部件和折叠袋口。第一个示例还准确区分了负责握持连接器的手与负责插入导线的手。

故障严重程度与部分完成结果。 在玩具飞机组装任务中，两个模型都描述了部件掉落的情况，但只有 Flora-Rewarder 将其标记为失败。

在瓶子操作任务中，Flora-Rewarder 能够区分部分进展与完全失败：如果瓶子倾倒但仍留在桌面上，参考得分为 3/5；Astra 则将其评为 1/5。

4. 方法

本节介绍 Flora 的构建方法。Flora 将预期动作描述与执行质量相结合：描述模型负责定位各个动作并结合视觉上下文进行描述；奖励标注则评估单个执行步骤、整个 episode 的完成情况，或用户自定义评分规则下的表现。

4.1 带时间戳的动作描述

在机器人领域，我们经常需要密集的、带时间戳的描述文本。给定一个持续时间为  的人类或机器人视频 ，我们输出一系列三元组 。其中，字符串  描述从时间  到时间  之间的预期动作。

一个动作可以包含多个运动过程，而且不一定成功。一个模型负责预测时间片段 ，另一个模型负责生成描述 。因此，Flora 输出：

整个pipeline首先对存在重叠的时间窗口应用分割模型，将预测结果拼接为整个 episode 的时间区间，然后对每个区间结合局部上下文应用描述模型（见图 7）。

时间分段与拼接。 我们将一个 episode 划分为多个重叠窗口。每个窗口都包含一个中央输出区域，以及周围的上下文区域。

分割模型预测相对于窗口的起止时间，并通过二元标志指示动作是否延续到窗口左边界或右边界之外。确定性过滤器仅保留与中央区域相交的片段。

同一个动作可能在多个窗口中以不完整的形式出现。我们将局部时间戳转换为整个 episode 的时间，再依据时间重叠情况和预测的延续标志，将兼容的片段合并；对于同时发生的动作，则保留独立区间。

边界细化通过在偏移后的窗口上重新运行分割模型实现。具体的拼接与细化规则见附录 F。

4.2. 奖励标签

机器人基础模型需要不同粒度的奖励。结果奖励（Outcome Rewards） 用于判断一个 episode 是否完成任务，可用于部署监控、数据筛选和策略评估。密集奖励（Dense Rewards） 用于定位 episode 中出现问题的位置，以支持 RL 后训练中的逐步信用分配（credit assignment）和细粒度数据整理。

为了在测试时灵活地进行奖励建模，我们还支持基于评分规则生成的奖励。Flora-Rewarder 是一个统一模型 ，可以通过提示词选择提供上述三种奖励。对于结果奖励和密集奖励，模型会将同步的多路相机视图拼接成每个采样时刻对应的一张全景图，并以全局任务指令为条件。评分规则评估则接收分别提供的同步多相机视频。

结果奖励。 机器人策略的 RL 通常只根据每个 episode 是否成功来学习。模拟器可以自动报告任务结果，但在真实机器人上，通常需要人工为每个 episode 标注结果。结果奖励模型可以替代人工生成这些标签。

结果奖励对任务完成程度进行评分，分数从完全失败（）到完全成功（），并可附带简短的理由。为了获得连续奖励，我们读取五个评分 token 的概率分布，并将其期望值重新缩放至区间 。

密集执行质量。 当单一的任务结果过于粗略时，逐步反馈能够提供更有用的信息。每个 0.5 秒的时间步被标记为失败（1）、次优（2）或正常（3）。

失败是指导致任务发生重大故障、出现不安全或破坏性事件，或者使任务失去继续执行可能性的行为。次优动作则包括犹豫、效率低下、精度不足或局部错误，但仍然可以恢复。

这些标签采用回溯式判定：后续帧可能揭示先前发生的错误，但后续恢复并不会改变先前时间步的标签。模型还会为每段连续的非正常行为提供原因说明。

每个窗口覆盖 16 秒，每次向前移动 10 秒。对于非最后一个窗口，我们舍弃其最后 4 秒，以确保保留的标签能够获得后续视觉证据，然后按照 episode 的时间轴拼接这些标签。这类回溯式标注旨在用于离线标注。

基于评分规则的奖励。 评分规则允许用户在测试时灵活定义奖励。每份评分规则列出任务步骤，并为每个步骤指定一组可选分数，所有步骤的最高分之和为 1。

给定 episode、任务指令和评分规则后，模型会在思考模式下进行推理，然后为每个步骤分配一个分数。总得分为：

其中， 表示第  个步骤允许使用的评分集合。表 11 给出了一个示例。附录 G 详细说明输入、输出格式和分数提取方法。

4.3. 训练

训练基础设施。 为构建 Flora 数据引擎，我们对 Qwen3.5 系列的开源 VLM 进行微调。SFT 使用 NeMo AutoModel 实现，RL 则使用基于 PyTorch 的自定义实现。优化方法和用于标注任务的 RL 细节见附录 F 和附录 G。

数据策略。 我们使用多种数据进行训练，包括开源数据集、获得授权的专有数据集，以及由我们自行收集和标注的内部数据集。人工标注人员遵循详细的标注指南，提供密集的带时间戳描述文本和动作质量标签。奖励监督还包括 episode 结果和评分规则对应的等级标签。

监督微调（SFT）。 我们使用 Qwen3.5-9B 初始化分割模型 ，使用 Qwen3.5-27B 初始化描述模型  和奖励模型 。三个模型都以输出 token 的交叉熵为优化目标。

分割模型采用 LoRA，并冻结视觉编码器。描述模型则更新语言模型和视觉融合模块。分割训练目标编码相对于窗口的时间区间和动作延续标志；指令训练目标则使用标注得到的事件边界及相邻上下文。

对于奖励模型，我们对语言模型、视觉融合模块和视觉编码器进行微调，同时为视觉编码器设置较低的学习率。来自三类奖励的数据样本被混合打乱，不进行重新加权或过采样，并共同训练一个 epoch。

评分规则样本采用思考模式作答，而结果奖励和密集奖励样本则直接作答。发布的奖励模型仅经过 SFT 训练。

用于分割的强化学习（RL）。 我们使用 GRPO 进一步训练经过 SFT 的分割模型。可验证奖励定义为：

其中， 和  分别表示在 tIoU 阈值  下的时间分段 F1 和精确率， 衡量端点预测与动作延续标志的准确率。

训练过程中只更新 LoRA 参数，并采用组均值优势（group-mean advantages）和相对于固定 SFT 策略的 KL 正则化。评分仅限于每次输出的核心区域。

用于描述生成的强化学习（RL）。 我们使用 GRPO 进一步优化经过 SFT 的描述模型，并采用以参考标注为依据的点级质量奖励。

根据源视频证据和参考标注要求，定义：

其中， 表示得到证据支持的参考内容量， 表示被覆盖的内容量， 用于惩罚视频中已经证实的事实性错误。

该奖励机制允许模型对有证据支持的内容获得部分得分。训练采用组均值优势，并对固定的 SFT 策略进行 KL 正则化。在基准测试之前，我们分别通过验证集选择分割模型和描述模型的检查点。

5. 结论

本文提出了 Flora，这是一套面向机器人数据集的工业级数据引擎，能够生成带时间戳的描述文本、过程奖励和结果奖励。Flora 已被用于训练 GR00T 模型。

在描述生成基准测试中，Flora 的表现可与 GPT-6 Astra 相媲美；在 RoboReward 和 Robometer 上，其表现优于已报告的专用奖励模型。其估算标注成本为大规模预训练语料的标注提供了一条切实可行的路径。

通过开源 Flora，我们希望帮助整个研究社区扩展自定义机器人数据集，并探索物理领域的自动化科研、从人类到机器人迁移等新的研究方向。