在机器人灵巧手科研领域，Allegro Hand是使用非常广泛的四指科研灵巧手。它拥有拇指加三根手指，共16个主动驱动自由度，手掌尺寸接近成年人手掌，常搭载于Franka协作机械臂末端，用来开展抓取、手内操作算法验证。即便硬件自由度充足，要让Allegro Hand像人一样，在手中同时握住2‑4个分散的小物体，依旧是一个极具挑战的问题。

人类可以采用分批的策略抓取物件：用部分手指捏住第一个物体之后保持关节锁死，再调动其余空闲手指抓取下一个物体。但传统算法大多控制Allegro Hand所有手指同步动作，只完成单个物体包裹抓取；现有的多物体同步抓取方案，又要求物体必须紧密聚集摆放。一旦物体分散，抓取极易失败。

瑞典皇家理工KTH研究团队，围绕Allegro Hand这套硬件，完整开发了SeqGrasp优化算法、SeqDataset大规模仿真抓取数据集、SeqDiffuser扩散抓取生成模型。这套方案每次只占用手部部分自由度逐个抓取物体，已经抓取的物体保留在手内，剩余自由度继续执行后续抓取，最多可连续抓取4个物体。对比基线MultiGrasp，抓取成功率最高提升43.33%；SeqDiffuser抓取生成速度相比传统优化方法快750‑1250倍。

一、硬件背景：Allegro Hand的能力与现实约束

Allegro Hand每根手指配备4个独立驱动关节，合计16自由度，关节无耦合，支持对每个关节独立控制。把算法落地到这款灵巧手做多物体序列化抓取，需要面对几个硬件带来的客观约束：

1. 关节复用冲突：不同夹持模式会共享部分关节。一旦某组关节被一次抓取占用冻结，所有依赖这些关节的其余夹持模式都会失效，算法需要精细化管理关节占用状态；
2. 手掌空间有限：Allegro Hand手掌物理空间有限，当手中已经持有2‑3件物体，留给新物体的操作空间被大幅压缩，极易发生物体之间互相穿透挤压；
3. 仿真与实物鸿沟：仿真环境中稳定的抓取姿态，迁移到真实Allegro Hand上，微小的定位误差就会造成物体脱落。

过去多物体抓取相关研究，大多最多只支持2个物体，或者仅适配球体、圆柱体这类简单几何体；专门面向Allegro Hand的大规模序列化多物体抓取公开数据集处于空白。

二、SeqGrasp：面向Allegro Hand的序列化抓取优化算法

SeqGrasp属于机械手无关的优化框架，论文中主要在Allegro Hand上开展实现与验证。核心思路：每次抓取仅启用Allegro Hand一部分自由度，抓取完成后冻结对应关节，剩余可用自由度留给后续物体，循环执行，最多完成4个物体的抓取序列。

针对Allegro Hand，论文定义7组对抗空间（Opposition Space，OS），分别是：中指‑无名指、食指‑中指、拇指‑食指、无名指‑手掌、中指‑手掌、食指‑手掌、拇指‑手掌。 每一组对抗空间由两部分组成：二元掩码向量，标记该模式需要使用Allegro Hand的哪些关节；一组手部三维接触点集合，代表可以施加夹持力的手部表面。仅依靠一组对抗空间的两个接触点，就可以实现稳定夹持，不需要调动全部16个关节。

算法核心流程（来自论文Algorithm 1）：

1. 在可用对抗空间集合中随机采样一组OS，用于抓取当前目标物体；

2. 使用MALA（Metropolis‑Adjusted Langevin Algorithm）做梯度优化求解抓取位姿；能量函数共6项加权子项，包含力封闭、接触距离、手‑物穿透、手自穿透、物体‑物体穿透、关节限位，保证不破坏已经握在手内的物体，同时姿态符合Allegro Hand硬件关节范围；

3. 将已经使用完毕的对抗空间从可用集合剔除；更新剩余全部对抗空间的关节掩码，若某一组OS依赖的关节全部被占用，则直接移除该OS；

4. 循环执行，直到没有剩余可用对抗空间，或者完成预设物体抓取数量。

整套优化输出的抓取序列全部满足Allegro Hand物理约束，为数据集生成提供基础。

三、SeqDataset：Allegro Hand专用大规模序列化抓取数据集

现有公开多物体抓取数据集大多面向同步抓取，很多适配Shadow Hand，缺少Allegro Hand的序列化样本。SeqDataset是当前规模最大的序列化多物体灵巧手数据集。

数据集	目标灵巧手	最大抓取物体数	有效抓取样本	抓取模式	开源
MOG	人手&Barrett手	‑	28K	同步/序列化	❌
Grasp’Em	Shadow Hand	2	90K	同步	✅
SeqDataset(Ours)	Allegro Hand	4	870K	序列化	✅

1. 源物体取自DexGraspNet共509个物体模型，缩放物体包围盒至0.06‑0.10 m，适配Allegro Hand手掌尺寸；

2. 构造600套四物体组合，做4次随机置换，得到2400组唯一物体序列；

3. 使用SeqGrasp生成原始抓取，总量490万条；在Isaac Gym仿真器中做物理有效性校验；

4. 仿真验证条件：物体密度500 kg/m³，摩擦系数2.0；6个正交方向施加9.8 m/s²加速度持续100仿真步；全部物体保持接触、最大穿透深度小于1 cm，才判定为成功样本；

5. 筛选后保留870K（87万）条有效无穿透抓取样本；数据生成消耗约2500小时A100 GPU算力，数据集开源。

数据集统计得到贴合Allegro Hand硬件特性的客观结论：

• 手掌参与的对抗空间（无名指‑手掌、中指‑手掌、食指‑手掌）抓取成功率显著高于指尖‑指尖类对抗空间；其中Ring‑Palm成功率45.57%；

• Thumb‑Index成功率仅5.75%，Thumb‑Palm为17.67%。论文假设：该现象来源于Allegro Hand和人手生物力学结构差异，人类擅长的拇指主导抓取，在这款机械手上稳定性反而偏低；

• 统计显示96.12%样本具备抓取3‑4个物体的能力，证明这套策略可以有效利用Allegro Hand的自由度资源。

  

四、SeqDiffuser：基于扩散模型面向Allegro Hand的高速抓取生成

SeqGrasp优化得到的抓取质量高，但计算开销巨大：生成256个抓取样本，SeqGrasp、MultiGrasp约需要900‑1000秒，无法用于机器人实时任务。团队基于SeqDataset训练条件扩散模型SeqDiffuser。

模型基于DexDiffuser架构改造，把Allegro Hand的对抗空间OS作为条件输入：

1. 将选中OS编码为one‑hot特征向量，和抓取表征拼接；

2. 设计二进制扩散选择掩码，扩散加噪、去噪过程只更新当前OS所对应的关节与手部位姿，已经被之前抓取冻结的关节保持不变；

3. 使用BPS（Basis Point Set）对物体点云编码作为物体条件；损失函数仅针对掩码选中维度计算。

实测：生成256个抓取仅需要0.8秒，相比优化方法提速750‑1250倍。论文明确指出它的短板：扩散生成样本普遍存在更大手‑物体穿透深度，仿真可以通过，但很多姿态无法直接在真实Allegro Hand硬件复现，需要后处理优化。

五、仿真与实物实验

对比基线为SOTA同步多物体抓取方法MultiGrasp；实物硬件平台：Franka Panda机械臂 + Allegro Hand灵巧手。测试物体分为两套：3D打印适配尺寸的测试物体集、日常物体集。实物测试执行高加速度动态轨迹、手掌朝下手腕±90°旋转，模拟扰动检验抓取稳定性。

仿真实验（Isaac Gym）

评价指标：成功率SR、最大穿透深度Pene.、多样性Div.、生成耗时Eff. 1‑2个物体：SeqGrasp、SeqDiffuser与MultiGrasp性能接近； 3‑4个物体场景：SeqGrasp成功率显著优于MultiGrasp。MultiGrasp调用Allegro Hand全部自由度同步抓取，单物体接触点更多，但随着物体数量增加，手物挤压造成穿透快速增大，成功率大幅衰减。 所有方法在4物体任务均出现性能下降：3个物体已经占用Allegro Hand手掌大部分空间，第四个物体抓取逼近机械手运动学极限，物体间交互组合爆炸，任务难度急剧上升。 SeqDiffuser速度优势极大，但输出样本穿透数值显著高于SeqGrasp。

真实硬件实验

• SeqGrasp：打印物体集，3物体任务10次试验5次成功，4物体任务10次试验5次成功；平均成功率约50%；

• MultiGrasp：平均成功率仅8.7%，部分试验甚至无法输出有效抓取；同步抓取依赖物体之间互相挤压维持稳定，现实微小定位误差就直接导致物体掉落；

• SeqDiffuser：实物平均成功率仅13%。主要原因是扩散模型输出的穿透，使得真实Allegro Hand无法复现仿真内的理想姿态。

  

六、研究局限

1. 当前对抗空间选择、物体抓取顺序为随机采样，目的获取多样性数据集，不是任务最优抓取序列；未来可以通过人类偏好学习得到面向任务的最优抓取时序；

2. 该工作只输出目标抓取关节位姿，没有做机械臂运动规划，无法直接得到无碰撞到达抓取姿态的运动轨迹，因此没有完成完整端到端抓取演示；后续可以结合强化学习，以目标抓取位姿为条件学习运动策略。

Allegro Hand是机器人研究中最主流的科研灵巧手之一，大量研究集中在单物体抓取。该工作跳出“全部手指同步包裹物体”的思路，通过分次占用自由度，充分利用Allegro Hand的16自由度，实现手内连续抓取多个物体。