电缆、绳索、软管和缝合线都属于可变形线性物体。它们的长度远大于截面尺寸,却会在重力、摩擦、接触和抓取作用下持续改变形状。机器人要完成布线、穿引、解结或运输,必须同时判断物体当前的形状、材料响应、接触状态以及下一步动作的后果。

论文题目:Robotic perception and manipulation of deformable linear objects: A survey

2026 年 3 月 27 日,来自意大利博洛尼亚大学、法国克莱蒙奥弗涅大学、法国国家科学研究中心(CNRS)、Clermont Auvergne INP、Institut Pascal,以及西班牙萨拉戈萨大学阿拉贡工程研究所的研究团队在《The International Journal of Robotics Research》发表了这篇综述。文章的检索与筛选流程参照 PRISMA(系统综述与荟萃分析优先报告条目)框架,系统整理了过去十年的 260 余篇相关研究,覆盖可变形线性物体的建模、仿真、感知、状态与模型估计、规划、控制,以及抓取、成形、布线、拓扑操作、缝合和运输等任务。

01 什么是可变形线性物体?

可变形线性物体(deformable linear objects,DLO)是细长型可变形物体。它们的长度远大于横截面尺寸,在外力作用下可以发生显著形变。日常环境中的电线、网线、绳索、软管和橡胶带,工业环境中的汽车线束、航空线缆和管束,医疗环境中的缝合线,以及电力线路、海底电缆和空中运输系统中的柔性构件,都属于这一类。

DLO 的困难来自几何和物理的共同作用。它们通常具有很高的自由度,形状变化是连续的,且受到弯曲、扭转、拉伸、剪切、重力、摩擦和接触的共同影响。物体还会产生自遮挡、交叉、打结、缠绕和高摩擦的自接触;一次触碰既可能改变形状,也可能改变之后的受力状态。因此,机器人面对的不是一个可以被单个姿态描述的刚体,而是一个需要持续估计和控制的连续对象。

论文把 DLO 作为一个广义类别使用,也在需要时单独讨论两类特殊对象:具有分支结构的可变形多线性物体(deformable multi-linear objects,DMLO),以及外形更细、通常连接着弯曲针的缝合线。这样的范围使综述能够把工业线束、普通绳索和手术缝合线放到同一套“感知—建模—操作”框架中比较。

图 1|综述的整体组织:先讨论 DLO 建模与仿真,再讨论视觉、触觉和其他传感方式,随后连接到状态估计、控制、规划和具体操作任务。

这篇综述的主线可以概括为三个层次:第一层回答“如何描述 DLO 的形状和物理行为”;第二层回答“机器人如何获得这些状态信息并据此产生动作”;第三层回答“这些方法在不同任务中如何组合,以及距离真实部署还差什么”。

02 如何给 DLO 建模?

2.1 Cosserat 杆模型提供物理基线

综述首先以 Cosserat 杆理论作为 DLO 的物理建模基线。该模型把 DLO 视为沿弧长连续分布的杆,用中心线描述位置,用截面指向场(director field)描述截面方向,并通过本构关系同时表达弯曲、扭转、剪切和轴向变形。模型中的平衡方程连接了内部力、内部力矩和外部载荷,材料参数则决定外力如何转化为形变。

在具体操作中,边界条件同样关键。单端抓取、双端抓取和沿物体中间位置的接触,都会带来不同的位姿或力约束;重力、摩擦、桌面、夹具和障碍物则构成环境约束。也就是说,同一个 DLO 在不同抓取方式和环境中可能呈现完全不同的响应,不能只依靠一套脱离场景的静态几何描述。

Cosserat 杆模型的优势是物理含义清楚,能够表达力、力矩和材料参数之间的关系;代价是求解复杂、计算量大,而且需要知道长度、截面、刚度、阻尼等信息。当机器人需要实时操作、处理接触或面对材料不均匀的线缆时,直接求解完整连续模型往往并不容易。

2.2 四个维度的模型分类

为比较不同研究,综述从四个维度对 DLO 模型进行归类。

第一是空间分辨率。连续模型直接在连续空间中描述形变,物理表达能力强但计算开销通常较大;离散化模型把连续方程离散到有限节点,在精度和效率之间折中;离散模型则直接定义在离散结构上,例如质点—弹簧—阻尼器、多刚体和几何模型,计算更快但物理细节可能更少。

第二是静态/准静态与动态。静态或准静态模型忽略惯性,适合缓慢成形、铺放和双端夹持等任务;动态模型考虑速度、加速度和历史状态,适合快速甩动、挥鞭、投掷和空中运输等任务。快速运动时,空气动力、高速运动下重力的相对影响以及瞬态响应,都可能成为不可忽略的因素。

第三是基于物理、物理启发与经验/启发式。基于物理的模型显式使用应力、应变、刚度和内力等力学量,参数通常有明确的材料含义;物理启发模型借鉴能量或节点平衡等思想,但不一定保留完整的本构关系;经验或启发式模型直接拟合几何变化或运动规律,适合快速控制,却难以自然表达摩擦、重力和接触等内部机械状态。

第四是数值、数据驱动与混合方法。数值方法通过积分、边值问题求解或能量最小化近似模型方程;数据驱动方法从实验或仿真数据中学习形变模式,在线计算更快,但对数据覆盖和分布变化敏感;混合方法把物理约束、可微仿真、参数估计或图网络与学习模型结合起来,试图同时获得泛化性和物理一致性。

图 2|不同 DLO 模型在物理保真度、空间分辨率和计算效率之间存在权衡。模型选择取决于任务更需要真实的接触动力学,还是更看重快速预测与控制。

2.3 仿真器如何支撑 DLO 研究?

综述还比较了机器人研究中常用的 DLO 仿真框架。Bullet 和 MuJoCo 适合实时机器人仿真,能够用多刚体、柔性或电缆表示 DLO;AGX Dynamics 提供面向线缆和软管的约束求解模块;Obi2 和 FleX 基于粒子和位置约束,便于在 Unity 或 GPU 环境中实时运行;IsaacLab 依托 PhysX 的软体能力,提供并行物理、逼真渲染、传感器模拟、域随机化和大规模数据采集;Elastica 则专注于 Cosserat 杆系统,物理精度较高但并非通用实时仿真器。

这些工具并不存在一个简单的“最好”选项。实时控制需要低延迟,物理辨识需要接近真实的响应,学习系统需要大量可并行生成的数据,接触和塑性则要求更丰富的材料模型。仿真器的选择应与任务速度、接触复杂度、可获得的材料参数和仿真到现实(sim-to-real)迁移需求一起确定。

03 机器人如何感知 DLO?

图 3|综述将 DLO 感知归纳为视觉、触觉,以及接近、力/力矩等其他传感方式。

3.1 视觉感知:从分割到三维跟踪

视觉是 DLO 研究中最常用的感知方式。综述把视觉任务分为数据驱动分割、二维形状估计、三维形状估计和跟踪,并分别讨论缝合线、DMLO 和交互式感知等专门问题。

对于操作而言,仅有检测框通常不够,因为检测框不能准确表达线缆的中心线、端点和交叉关系。语义分割可以区分 DLO 与背景,实例分割还可以区分场景中不同的 DLO。传统颜色阈值和背景差分实现简单,却依赖光照、颜色和背景假设;深度网络可以提高复杂场景下的适应性,但需要大量标注数据。

图 4|语义分割将像素划分为 DLO 与背景,实例分割进一步区分多条相互交叉的 DLO。

数据集生成:人工标注、合成数据与弱监督

人工标注能够直接覆盖真实纹理和光照,但耗时、容易出错,也难以扩展到交叉和遮挡场景。自监督或弱监督方法可以利用高对比背景、机械臂运动和稀疏关键点生成初始标签;基于 Blender 等渲染器的合成数据能够自动得到语义和实例标签,却会引入仿真到现实的域差异。论文所引工作显示,将小规模真实数据与合成数据结合,有助于减小域差异并提高分割性能。

二维形状:分割之后还要恢复中心线

许多二维形状估计方法先得到二值分割掩膜,再把图像简化为更易处理的结构。超像素把相近像素聚合为区域;骨架化将掩膜细化为一像素宽的曲线,并保留大致连通关系;图结构则把 DLO 表示为节点和边。随后,算法通常采用两种核心过程:追踪从端点或局部片段逐步延伸路径,合并则把多个候选片段按相似度、曲率和几何连续性拼成完整曲线。

图 5|超像素和骨架化是二维 DLO 形状估计中常见的图像简化方式。前者保留区域信息,后者强调连通结构。

图 6|追踪逐步扩展局部路径,合并则把预先得到的片段按相似度或几何兼容性连接起来。

当 DLO 发生交叉时,机器人还需要判断哪一段在上、哪一段在下。相关方法包括用卷积网络分析交叉区域的图像块,或比较两条路径附近的颜色变化。交叉顺序并不是附加信息:在解结、布线和抓取决策中,机器人通常需要先确定应移动哪一段。

图 7|交叉顺序可以由图像块分类器判断,也可以根据交叉附近的颜色变化进行分析。

三维形状:深度传感器与多视角重建

二维中心线还不能直接告诉机器人物体在空间中的高度、弯曲方向和悬空状态。三维估计通常先恢复二维形状,再利用深度信息投影到笛卡尔空间;也有方法使用多视角立体视觉,从多张二维图像重建 DLO。

薄而圆的 DLO 对深度相机尤其困难。高性能深度传感器能够提高精度,却往往体积大、价格高,难以安装在末端执行器上;常见的 RGB-D(彩色—深度)相机对直径小于约 1 cm 的 DLO 可能难以稳定成像。离散弹性杆等平滑先验可以缓解深度噪声,但多视角方法通常需要更多观测,在动态场景中也会受到速度和遮挡的限制。

跟踪:在遮挡和形变中保持对应关系

DLO 理论上具有无限自由度,实际系统通常把它离散成一组关键节点,在连续帧中跟踪这些节点的位置。基于非刚性配准的方法以相干点漂移(CPD)、全局—局部拓扑保持(GLTP)等为基础,再加入伸长约束、拓扑约束或物理仿真;学习方法则通过低维嵌入、点云编码或多视角模型学习形变先验。

图 8|DLO 关键节点需要在部分可见、机械臂遮挡和环境接触同时存在时保持连续跟踪。

学习方法可以把物理先验编码到训练阶段,减少推理时对初始状态、仿真器和手工约束的依赖,但当真实材料与训练分布不一致时仍会退化。综述还指出,跟踪系统常常需要高质量深度或点云输入,而这恰恰是细线状 DLO 最难获得的观测。

3.2 触觉、接近和力/力矩感知

视觉容易受到遮挡、反光和狭窄空间的影响,抓取之后还难以直接观察夹持处的滑移、摩擦和受力。触觉传感器可以在接触点附近提供局部信息。综述讨论了光反射式、相机式和电容式触觉:光反射式和电容式传感器通常体积小、厚度薄,适合狭窄空间,但输出分辨率较低;相机式触觉可以提供类似深度图的高分辨率信息,并用于估计姿态、摩擦力和抓取质量。

图 9|两类 DLO 触觉传感器:光反射式传感器结构紧凑,相机式传感器可以提供更丰富的接触形变信息。

接近传感器可以在真正接触前补充薄 DLO 的深度信息,但通常要求物体相互分离、传感器足够靠近,扫描速度也有限。力/力矩传感器则可以在特定的弹性杆假设下,根据基座受力反推出 DLO 形状,但模型往往依赖材料参数,并且换用不同 DLO 后需要重新训练。

综述呈现出的方向是:视觉用于全局形状和目标定位,触觉、力/力矩和本体感知用于接触状态、滑移和不可直接观测的机械量。视觉与触觉在同一闭环中实时融合,仍是尚未充分解决的问题。

04 从状态估计到控制和规划

图 10|DLO 操作流程包括感知、状态与模型估计、规划和控制:估计提供物体状态或局部模型,规划生成目标配置或动作序列,控制器在执行中利用反馈修正动作。

4.1 估计什么?

综述把估计分成两条路线。第一条是估计长度、质量、弯曲刚度、阻尼和摩擦等参数,用于校准物理模型;第二条是直接从数据中估计变形雅可比矩阵,描述机械臂动作变化如何引起 DLO 状态变化。

参数估计可以离线完成,也可以在任务执行中在线更新。离线优化便于使用复杂仿真和较长数据集,但无法及时适应材料和环境变化;在线估计能够跟踪当前对象,却面临计算量、噪声和探索安全性问题。变形雅可比通常只在局部配置附近有效,适合短时域、局部形变控制,却不适合直接进行长时序预测或跨任务迁移。

4.2 如何控制 DLO?

现有控制方法大致分为四类。

伺服控制用变形雅可比把动作与形状、关键点、曲线或轮廓的变化联系起来,根据状态误差持续修正速度或位移。DLO 通常是欠驱动的,状态维度远高于控制输入,实际系统需要降维表示、正则化或稳定的特征选择。

最优控制与模型预测控制(MPC)把成形或关键点跟踪写成有限时域优化问题,在控制代价、形状误差、内部应力、碰撞和过度拉伸之间进行权衡。学习到的动力学模型可以作为 MPC 的快速预测器,在线模型更新则能够缩小仿真和真实执行之间的差异。

自适应控制在执行中调整控制器参数,以应对刚度、接触条件或几何变化。相关方法结合 B 样条、非均匀有理 B 样条(NURBS)、阻抗控制、滑模控制和具有稳定性保证的特征空间控制。

学习式控制直接从图像、状态或示范数据生成动作,常见训练方式包括强化学习、行为克隆和离线策略学习。这类方法能够绕过显式 DLO 模型,但对训练数据的覆盖、动作分布和真实环境变化更敏感。

4.3 如何规划动作?

规划方法可以分成两种互补形式。形状路径规划在物理或几何配置空间中寻找一系列稳定的 DLO 配置,再由局部控制器跟踪;典型工具包括最小弹性能量曲线、快速扩展随机树(RRT)及其双向版本(BiRRT)、Kirchhoff 杆模型和预计算路线图。基于动作的规划则把操作分解为抓取、滑动、夹入、插入和重新抓取等可复用技能,再把这些动作组合成更高层任务。

前者更适合需要显式检查形状和碰撞的任务,后者更容易组织长时序技能和学习策略。两者并非互斥:真实系统可以由高层规划器选择动作序列,再由物理模型或学习模型评估可达性,最后由局部控制器处理执行时的误差和接触。

05 六类典型操作任务

图 11|综述将 DLO 操作任务归纳为抓取、成形与铺放、布线与穿引、拓扑操作、缝合和运输六类。

5.1 抓取:先确定抓哪里,再确定怎么抓

DLO 抓取不仅要找到夹爪位置,还要保证接触稳定、避免滑移和不必要的拉伸。综述把问题分成“在哪里抓”和“如何抓”:前者服务于后续成形、解缠和杂乱场景中的取物,后者关注夹持方式、抓取质量和执行中的稳定性。

平行夹爪仍然是最常用的末端执行器,但灵巧手开始被用于需要多种抓取姿态的任务。在运输任务中,还可以利用 DLO 的柔顺性进行拖拽、缠绕或系留,无需将外部物体刚性固定在机器人上,从而避开难以直接抓取的情况。

5.2 成形与铺放:从目标形状到可达动作

成形是把 DLO 从初始形状变成目标形状,铺放则强调把 DLO 沿指定轨迹逐渐放到表面上。大多数研究采用准静态假设,把目标定义为形状误差最小化;少量工作研究快速挥动、甩动和投掷,让惯性和弹性把运动传递到自由端。

在材料响应方面,综述区分了三种情况:弹性 DLO 在撤去外力后基本恢复原状;塑性 DLO 会保留永久变形;弹塑性 DLO 在达到屈服点前表现为弹性,之后出现塑性变形。综述观察到,现有研究主要集中在平面环境中的塑性线材,或三维环境中的弹性线材;真实电缆常见的弹塑性行为、接触丰富的环境以及目标形状的可达性分析仍然不足。

图 12|机器人通过连续操作,将电缆从初始的 S 形逐步调整到目标 U 形。

快速成形任务包括挥鞭、越障、击落和穿梭。它们通常把动作空间压缩为少数轨迹参数,例如扫掠弧线、最高点、关节角和最大速度,并依靠仿真训练,再进行仿真到现实迁移。由于初始状态、时间延迟和速度误差都会显著改变结果,这类任务仍然常依赖受控环境和重复初始化。

5.3 布线与穿引:局部接触与全局顺序的结合

布线要求 DLO 沿目标路径经过夹具、卡扣、孔槽或转向点;穿引则进一步要求把 DLO 末端送入孔眼或针眼。相比一般成形,布线需要管理夹爪上的滑动、张力和重新抓取,并在与环境接触时保持正确的方向。

现有工作呈现出明显的传感器分工:视觉更适合全局路径规划,触觉和力传感器更适合局部跟随、接触和夹持调整。卡扣通常需要持续张紧,插槽可能需要摆动或编织动作,插针孔则需要同时定位 DLO 末端和目标孔眼。

图 13|布线任务通常包含卡扣、U 形夹和导向柱等接触元件,机器人需要在滑动和张力变化中维持 DLO 的路径。

综述指出,布线研究仍明显偏向二维、准静态和特定线缆类型。三维障碍环境、动态线束、视觉与触觉实时融合、可变刚度线缆,以及卡扣弹性变形和长期材料疲劳,都还缺少系统研究。

5.4 拓扑操作:机器人如何解结和解缠?

拓扑操作关注 DLO 的结、缠绕和交叉关系,也包括 DMLO 分支线束的解缠。核心难点不是把曲线“拉直”,而是识别交叉结构,并选择一系列能够逐步降低复杂度的动作。

一些方法使用 Dowker–Thistlethwaite 表示和 Reidemeister 变换,把结结构编码成交叉序列,再使用节点删除、提取和恢复等动作消除交叉。后续研究开始处理非平面缠绕、多条 DLO 同时存在、端点无法直接观测和部分可观测场景,并通过交互式感知让机器人主动移动物体以获得更多拓扑信息。

图 14|节点删除动作把 DLO 从下穿交叉处拉出,再与其他拓扑动作组合,逐步减少交叉。

对于 DMLO,图结构和图神经网络可以表示分支点、连接关系和线束拓扑,但分割误差会直接传播到拓扑判断和抓取位置。当前方法还常常忽略抓取失败、滑移和多对象误抓,触觉传感器在拓扑操作中的潜力尚未充分利用。

5.5 缝合:最严格的 DLO 操作场景之一

缝合同时包含抓取、穿刺、穿引、针的交接、拉线和打结。综述将完整流程拆成七个子任务:插入臂抓取针;移动到创口并垂直进入组织;完成缝合;提取臂抓取针;拔出针;打结并再次抓取;最后把针交回插入臂。

现有研究大多只覆盖其中一部分。视觉系统需要重建极细的缝合线、估计针的位姿,并处理组织变形、反光、遮挡和表面运动;控制方法则常采用序列凸规划、线性二次型控制、非线性约束优化或 MPC。多数实验在真实手术机器人平台上完成,但端到端覆盖完整流程、同时处理组织动态和长时间遮挡,仍是开放问题。

图 15|缝合任务需要同时感知针、缝合线和组织表面,并保持三维几何与操作安全约束。

5.6 运输:运输 DLO,或把 DLO 当作运输工具

运输任务可以分为两类:一类是直接运输 DLO 本身,例如移动机器人或无人机协同搬运软管和线缆;另一类是利用 DLO 运输外部物体,例如绳索悬挂、柔性管包覆、移动机器人拖网和球—绳—球结构。

空中运输更关注动态稳定、高频状态估计和多机协同,常使用线性二次型调节(LQR)、自适应控制和非线性 MPC;地面运输则更多处理障碍物、接触约束和非抓取操作。现有结果主要在受控室内环境或仿真中验证,常假设载荷已经连接,户外风场、地形变化和自动连接过程仍缺少可靠方案。

图 16|左侧是运输 DLO 本身,右侧是把 DLO 作为柔性介质来牵引或包覆外部物体。

06 距离真实部署还差什么?

综述的总体判断是,DLO 操作研究进展很快,但还没有达到大规模工业应用所需的成熟度。问题并不只在于某一个控制器不够强,而在于感知、物理建模、动作规划、失败恢复和数据集之间还没有形成可靠闭环。

6.1 感知需要走向多模态和交互式

视觉仍然适合进行全局定位和初始抓取规划,但薄物体、反光、遮挡和自交会使纯视觉系统明显受限。下一步需要同步利用视觉、触觉、力/力矩和本体感知,并让机器人通过探碰、移动和重新抓取主动获取信息。提高处理频率也很重要:当前大量方法只能处理准静态任务,事件相机和基于力数据的降阶观测器可能帮助系统进入动态操作。

基础模型为减少任务专用标注提供了可能,例如文本驱动分割和从稀疏 RGB-D 视频重建可用于仿真的数字孪生。但综述同时提醒,互联网数据中缺少细而长的 DLO,当前基础模型对薄物体和小尺度细节的表示仍然不足,在较粗线缆上的结果不能直接外推到细电线或密集线束。

6.2 控制需要处理接触、滑移和重新抓取

真实环境中的关键行为包括滑移、重新抓取、摩擦变化和黏滑转换。高保真 Cosserat 接触模型能够表达更多物理细节,但非线性和计算量会限制实时控制;Koopman 算子、带控制的动态模态分解(DMDc)和非线性 MPC 等数据驱动方法可能提供更快的近似。主动学习和遍历式探索则可以让机器人在安全范围内估计刚度和摩擦,再在线调整动作。

评测也应从“成功/失败”扩展到连续指标,例如形状误差、张力、接触稳定性、能耗、动作时间和恢复代价。标准化任务板和硬件基准有助于比较不同方法,但基准还需要覆盖三维、动态和接触丰富的场景。

6.3 长时序任务需要分层规划

复杂 DLO 任务需要把高层语义目标和低层物理动作连接起来。一个更稳妥的方向是让语言模型生成“抓住线缆末端”“绕过夹具”等符号子目标,再由考虑 DLO 形变和接触约束的规划器验证和执行。物理信息数字孪生可以帮助规划器在真实数据上检查长时序动作;扩散策略等学习式控制器可用于生成连续、多模态的动作。

但这些方法的效果依赖覆盖充分的数据。对于不同刚度、摩擦、长度、抓取点和环境条件,单纯扩大示范数量并不能保证泛化,尤其不能替代真实失败和恢复过程。

6.4 失败检测与恢复必须成为系统能力

下一代系统需要明确区分感知失败、跟踪丢失、抓取滑移、控制不稳定和模型参数失配,并为每类故障提供检测信号和恢复动作。不确定性估计可以帮助系统在失败发生前降低速度、重新观察或改变抓取点;针对缠绕的冲击拉动、甩动和多机器人协同恢复,也需要从零散技巧发展为可组合的动作库。

6.5 数据集不能只有顺利完成的示范

遥操作框架(如 ALOHA)、通用操作接口(Universal Manipulation Interface,UMI)和人类 RGB-D 视频降低了数据采集门槛,但通用数据天然偏向容易记录、顺利完成的任务,水下电缆、拥挤线束和复杂接触场景仍然稀缺。DLO 的刚度和摩擦等关键变量往往无法从视觉中直接观测,因此更有价值的数据集应同步记录视觉运动、力、触觉和本体状态,并覆盖不同材料与环境。

综述特别强调“成功偏置”:专家示范通常会主动避开卡住、缠绕和滑移,导致模型没有机会学习如何处理这些失败。未来的数据集应明确加入失败、恢复和重新规划轨迹,让策略学习的不只是名义路径,也包括主方案失效后的应对方式。

图 17|面向下一代 DLO 操作系统的示意框架:在线闭环把多模态感知、分层规划、接触丰富控制和故障恢复连接起来,离线数据管线则同时收集成功与失败经验。

07 结语:把“看见线缆”变成可靠行动

这篇综述给出的核心判断是:DLO 操作的基本能力不能只靠一张图像或一个端到端策略获得。机器人需要从视觉中恢复几何,从触觉和力反馈中估计不可直接观测的机械状态,用物理模型或数据驱动模型预测形变,再通过规划和反馈控制完成动作。

目前最值得关注的方向,是把经典力学和系统分析提供的稳定性、安全性与可解释性,与学习方法提供的适应性、数据利用能力和复杂感知能力结合起来。只有当系统能够在遮挡、接触、材料变化和失败发生时继续估计、调整和恢复,机器人才能从“能够移动一段线缆”走向“能够在真实环境中可靠地操作可变形线性物体”。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐