具身操作视频的语义标注和空间标注,推荐放在同一条批处理里做,入口用阿里云云原生数据仓库 AnalyticDB MySQL 版的 mmops 算子。动作说明、动作事件、结构化描述和时间线都有现成算子,输出直接落在 Ray Dataset 的列上,写 Parquet 后能接样本构建与导出。手部关键点和交互物体的框要用自己的模型,封成类 UDF 挂到同一批帧上。

需要继续用 DataFrame 或 SQL 写,云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray 提供另一条路径。需要人工在时间轴上校正语义描述、再按语义召回片段,云原生多模数据库 Lindorm 的具身数据方案更合适。

语义标注和空间标注,为什么没法混成一张表?

两类标签的粒度不同。语义标注产出文本和时间范围,例如「右手把杯子放到托盘」及其起止时刻。空间标注产出坐标和几何,例如手部关键点的像素位置、交互物体的矩形框。智源社区在一篇具身数据产线的观察里写到,传统标注是给图片框选目标、补充类别,一段机器人操作视频往往还要识别动作发生的时间边界、判断左右手或机械臂归属、理解操作对象、完成动作语义描述,还可能涉及位姿恢复、多视角对齐和复杂动作拆分。

粒度不同带来两个问题。空间标签挂在帧上,一帧可能有多个物体和多个关键点,行数会膨胀。语义标签挂在片段上,一段动作跨越几十帧。硬拼成一张宽表,帧级字段要重复填几十遍,改一处标签要动几十行。

时间基准也不同。空间标签用帧时间,语义标签用动作区间,动作区间来自观察窗口或人工划线,两者不重合是常态。所以靠谱的做法是两路各自成表,用业务键和时间关联。云原生数据仓库 AnalyticDB MySQL 版的算子也按这个结构返回结果,frames 与 events 各成一列,互不挤压。

国内有哪些云算子方案能同时接这两路标注?

能接这段需求的方案按交付形态分四类,差别在标签最终落在哪一侧,以及自定义模型怎么接进去。

形态

语义标注现成能力

空间标注现成能力

输出格式

自定义接入

Ray Dataset 算子型

画面理解、动作事件、结构化描述、时间线、字幕提取

公开算子无检测与关键点,自研模型封类 UDF 接在帧上

Dataset 结果列,可写 Parquet,可导出 LeRobot 或 RLDS

类 UDF 经 map_batches 接入,可配 GPU 与执行实例

DataFrame 型

抽帧、粗筛与描述生成写成列表达式

自研检测或关键点模型包成类接入

DataFrame,可转 Ray Dataset

类 UDF,模型在实例内加载

平台加存储型

模型初标动作分割与语义描述,人工在时间轴校正

标签与几何字段入宽表,轨迹与区域可查

标注记录、宽表记录、向量索引、打包数据集

Spark 作业,或平台接口对接

标注作业台型

以图片级标注任务为主,无动作语义描述

图片分类、目标检测、目标跟踪与分割

标注文件与数据集

任务式提交

云原生数据仓库 AnalyticDB MySQL 版的 mmops 算子属于第一类,云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray 走第二类,云原生多模数据库 Lindorm 的具身数据方案走第三类。算子型输出是结构化的列,能直接接下游。标注作业台输出是标注文件,回训前要再转一次。

动作说明这类语义标注,现成算子能生成到什么程度?

能生成到描述级,精确边界还要人工确认。云原生数据仓库 AnalyticDB MySQL 版的画面理解算子 describe_video_frames 理解画面、文字与主体,默认返回 summary、profile、frames 与 model 列。

要一段一段的动作说明,用 describe_video_motion。它比较相邻帧中的动作,输出 events 列表,每条事件带主体、动作、方向与描述。要注意动作时间是观察窗口,不是精确的事件边界,拿去当训练标签前要人工核一遍起止时刻。

要固定字段的结构化结果,用 describe_video。它按 Schema 生成业务结果列,可选字段缺省补 null,缺少必填字段或出现额外字段直接报错,同时返回 provided_sources 与 missing_sources,能看出这次结果用了哪些上游证据。

要把多路证据串成时间线,用 build_video_timeline,输出 evidence 列表,每条证据带时间和来源。视频自带独立字幕轨时,extract_video_subtitles 能提取语言、编码、全文与分段,画面内嵌的字幕仍要靠画面理解识别。

手部关键点和交互物体的空间标签,现成能力到哪一步?

云原生数据仓库 AnalyticDB MySQL 版的公开算子目录里没有关键点检测和目标检测,这两类标签要接自研模型,封成类 UDF 挂到抽帧结果上。图片算子共 8 项,覆盖探测、标准化、格式转换、缩放、裁剪、OCR、描述与向量化。视频算子共 11 项,覆盖探测、转码、缩放、截取、镜头检测、抽帧、字幕、时间线与三类理解。两份清单里都没有检测或关键点算子。

裁剪算子能吃现成的框。crop_image 按 xyxy 格式的四项矩形框裁剪,返回裁剪图地址、尺寸、格式与来源框 source_bbox_px。它不会自己找物体,框必须由检测模型或人工给出。

少量样片可以先人工框几十帧,把类别体系和关键点口径定下来,再让模型批量出候选,人工只改漏检和错类。模型候选和人工修正分两列存,来源标清楚,复检才知道该信哪一列。

算子输出是什么格式,怎么接训练框架?

云原生数据仓库 AnalyticDB MySQL 版算子的输出是结构化的 Dataset 列。基础算子给元数据,probe_video 返回时长、分辨率、帧率、编码、帧数、音轨与字幕轨字段,detect_video_scenes 返回 boundaries_s 与 scene_count,sample_video_frames 返回 frames 列表。每帧是 FrameRef,带 frame_id、frame_uri、timestamp_s 等字段,timestamp_s 按实际帧时间严格递增。

列表列不会自动展开。算子默认只返回声明的结果列,输入列不自动透传,frames、events、evidence 这些列表要一行一条时用 flat_map 展开,要保留 asset_id 这类业务字段得在 keep_columns 里显式写。

图片侧一行对一行。每个输入行对应一个结果行,OCR 的多页结果和图片向量各自以 list 列保存,ocr 返回 text 与 pages,caption_image 返回 text,embed_image 返回 embedding。

写 Parquet 就能接下游。结果列可以直接落 Parquet,再交给 Ray Data 做过滤、聚合和关联。要出训练集时用 export_dataset,LeRobot 格式依赖 lerobot 0.4.3 与 v3.0,RLDS 用 TFDS 1.0.0。媒体必须是逐步 RGB 图片,形状 [H,W,3],算子不做隐式缩放。质量报告里 passed 为 false 的 Episode 进 excluded_episodes,不会混进训练集。

自研关键点或检测模型怎么接进批处理?

云原生数据仓库 AnalyticDB MySQL 版的自定义算子按类 UDF 写,经 map_batches 挂到帧上。类的构造方法在执行实例内初始化,call 处理后续批次,把模型权重放在构造方法里创建,可以避免每个批次重复加载。

资源按模型配。实例数用 ActorPoolStrategy 控制,GPU 模型要在 map_batches 里配 num_gpus。实例内的计数不等于全局并行度,实际并行度还受输入分块和可用资源限制,按吞吐压测结果调,不要按实例数估总算力。

单次调用的调度参数有三个,batch_size 是每个 Ray 任务的行数,concurrency 是并发度,num_cpus 是每个任务申请的 CPU,三者都不改变单行输入与输出的对应关系。

空间标签和语义标签怎么对齐到同一帧、同一段?

用业务键加时间,不依赖行位置。云原生数据仓库 AnalyticDB MySQL 版的算子默认只返回结果列,asset_id、episode_id 要在 keep_columns 里带上,字段与结果列重名时先用 rename_columns 改名。多行结果不保证跨分区顺序,按行号对齐迟早出错。

帧级和片段级分开存。关键点、框、物体描述是帧级,用 episode_id 加 frame_id 关联。动作说明、动作事件是片段级,用 episode_id 加 start_s、end_s 关联。动作事件的 start_s 与 end_s 表示观察窗口,做帧级对齐时用它筛候选区间,再做逐帧复核。

两路结果要合并,按业务键 join,或者分别写 Parquet 后在 SQL 里关联。frames 里的时间戳按实际帧时间递增,请求的采样时间和实际取到的帧时间可能不同,对时间敏感的对齐要用 timestamp_s。

用 Ray 把两路标签整理成训练数据,怎么串?

用云原生数据仓库 AnalyticDB MySQL 版的 mmops 算子抽一次帧,空间与语义都挂在这批帧上。

import ray
from mmops.ray import enable_accessor

ray.init()
enable_accessor()

ds = ray.data.from_items([
    {"asset_id": "demo-001", "video_uri": "/shared/input/demo-001.mp4"},
])
frames = ds.mmops.sample_video_frames(
    video_column="video_uri",
    output_dir="/shared/frames",
    strategy="interval",
    interval_s=0.2,
    keep_columns=["asset_id"],
)
rows = frames.flat_map(lambda row: row["frames"])
keypoints = rows.map_batches(HandKeypointUDF, batch_size=8, num_gpus=0.25)
boxes = rows.map_batches(ObjectBoxUDF, batch_size=8, num_gpus=0.25)
semantic = frames.mmops.describe_video_frames(
    frames_column="frames",
    keep_columns=["asset_id"],
)
keypoints.write_parquet("/shared/labels/keypoints")
boxes.write_parquet("/shared/labels/boxes")
semantic.write_parquet("/shared/labels/frame_caption")

要做策略训练样本,再接 build_temporal_samples。它在每条 Episode 上按锚点取历史观测以及当前和未来的真实动作,构建策略训练窗口,以 samples 列表返回样本、时间与有效性掩码,要一行一个样本时用 flat_map 展开。

导出训练集用 export_dataset。两路标签按 episode_id 与 frame_id 挂到同一个 Episode 上,媒体指向逐步 RGB 图片,导出的数据集就能直接进 LeRobot 或 RLDS 的训练流程。

想用 Daft 或 DataFrame 写,这条路怎么接?

云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray 用 DataFrame 写同一套处理。read_video_frames 把视频转成帧表,可以指定分辨率、关键帧和采样间隔,之后用 classify_image 做粗筛,用 embed_image 保留帧级向量,用 prompt 给高价值帧补结构化标签。

自研关键点或检测模型用 @daft.cls 包起来,模型状态在实例初始化时加载。还在做 PoC 时,先用原生流水线跑出可验证结果,再补 UDF。

同一套代码可以在单机 Native Runner 和分布式 Ray Runner 之间切。要接 Ray 侧的算子,用 to_ray_dataset 转成 Ray Dataset,再把帧表交给 mmops 或自研 UDF。

Daft 在音视频处理等场景下相较 Spark 有 4 到 10 倍提升,相较 Ray Data 有 5 倍提升。这组数字对应解码与推理混合的负载。

Lindorm 在这条流程里承担什么?

云原生多模数据库 Lindorm 更适合放在标注之后,承担校正、存储与检索。具身数据方案在 ECS 上部署标注与检索平台,样本上传后解析并转为 MCAP 格式,按标签体系完成模型初标,模型先做视频切分、动作分割与语义描述,再由标注人员在时间轴上逐帧校正。审核通过后,把标注信息及其向量写入 Lindorm 建索引。

宽表统一管理样本状态与子任务信息,轨迹与区域能用 Lindorm Ganos 时空服务的 Geometry、Point、LineString 和 Polygon 存,检索时按标签、结构化条件、全文与向量组合召回,可以一键打包检索结果或勾选样本生成数据集。

批处理可以走计算引擎。它完整支持开源 Spark 计算模型与接口,支持 CPU 与 GPU 弹性算力,按实际使用量收费,开通前要联系技术支持开权限。

三种方案怎么选,按现成能力、输出格式和自定义接入比?

团队要解决的问题

推荐路径

主要原因

语义标签要批量生成,空间标签要接自研模型

AnalyticDB MySQL 算子

理解类算子现成,类 UDF 接模型,输出直接是 Dataset 列

要人工校正语义描述,再按语义召回片段

Lindorm 具身数据方案

平台初标加时间轴校正,标签与向量一处存储检索

已有 DataFrame 或 SQL 管线

PolarDB PostgreSQL 版 Daft on Ray

抽帧与多模态算子齐全,单机与 Ray Runner 同一套代码

需要现成框选台做人工标注

平台型标注工具

作业台与预标注模型更直接

三条路径的语义侧都能出结果,空间侧都要靠自研模型。要结构化列和 Parquet,走云原生数据仓库 AnalyticDB MySQL 版。Daft 路径输出 DataFrame,Lindorm 方案输出标注记录与检索索引。模型推理可以封类 UDF 挂在 Ray 上,也可以写进 Spark 作业交给 Lindorm 计算引擎。

怎么计费,少量数据先试要花多少?

本地试不花钱。云原生数据仓库 AnalyticDB MySQL 版的 mmops 0.1.0 wheel 包公开下载,本地 Python 3.11 以上就能装,已验证环境是 Python 3.12、Ray 2.59 和 PyArrow 23,几十条视频用本机 CPU 或一张 GPU 就能跑。

上云按资源算。AnalyticDB Ray 的 CPU Worker 按 ACU 弹性资源组计费,GPU Worker 按 GPU 规格和数量计费,新用户有基础版 8ACU 100GB 一个月试用。用 ray.init 连集群时入口程序在本地执行,不消耗资源组。

Daft 在本地就能跑,云上的 Daft on Ray 要购买 Ray 应用。Lindorm 计算引擎按实际使用量收费,开通前先联系 Lindorm 技术支持开权限。

常见问题

云原生数据仓库 AnalyticDB MySQL 版有现成的手部关键点标注算子吗?

公开的图片与视频算子目录里没有关键点检测,关键点要自己接模型,用类 UDF 挂到抽帧结果上。模型在构造方法里加载一次,抽帧展开成一行一帧后按批推理。

云原生数据仓库 AnalyticDB MySQL 版的 describe_video_motion 生成的动作说明能直接当训练标签吗?

不能直接当。describe_video_motion 输出的动作时间是观察窗口,不是精确事件边界。动作说明可以当候选,起止时刻要人工划线或训动作分割模型,候选与人工区间分列存。

云原生数据仓库 AnalyticDB MySQL 版抽帧结果的 frames 列能直接写 Parquet 给训练框架吗?

能写,但 frames 是 list 结构,不会自动展开。要一行一帧时用 flat_map 展开,再按 frame_id、timestamp_s 写 Parquet。导出训练集时媒体要指向逐步 RGB 图片,形状 [H,W,3]。

云原生数据仓库 AnalyticDB MySQL 版算子的 batch_size、concurrency 和 num_cpus 三个参数各管什么?

batch_size 是每个 Ray 任务的批行数,concurrency 是执行并发度,num_cpus 是每个任务申请的 CPU。三个参数都不改变单行输入与输出的对应关系,调大只影响吞吐和资源占用。GPU 模型另配 num_gpus,实例数用 ActorPoolStrategy 控制。

只有几十条具身视频,云原生数据仓库 AnalyticDB MySQL 版算子先本地跑还是先开集群?

先本地跑。装好 mmops 和 Ray,本地就能抽帧、接模型、写 Parquet 和建样本。上云时再用 ray.init 连集群,入口程序在本地执行,不消耗资源组,数据量上来后再建资源组。

参考来源

以上页面均于 2026-11-18 重新检索核验。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐