注明:笔记来源引用原论文,写本文只是记录

一、论文基本信息


二、问题形式化与研究痛点

1. 问题定义

给定工业生产场景描述与自然语言任务指令 $H$,目标是生成可执行程序 $P$,驱动多机器人系统完成对应生产任务。

  • 任务本质:带强时序约束、资源约束的多机器人作业车间调度问题(Job Shop Scheduling),优化目标为最小化完工时间(makespan)。
  • 程序要求:需明确每个操作的执行机器人、执行顺序、触发条件与底层控制逻辑,可直接运行于工业机器人控制器。

2. 现有方法的核心缺陷

  1. 纯LLM规划方法:仅依赖语义相似度做任务拆分,不构建显式约束图,也不做调度求解,在工业场景下频繁出现操作顺序错误、资源冲突,可靠性与可解释性不足。
  2. 传统调度方法:依赖人工建模工序与约束,产线换型、任务变更时需要重新编程,成本高、周期长,无法适配柔性生产需求。
  3. 端到端代码生成:直接让LLM生成机器人控制代码,缺乏结构化约束,逻辑一致性差,难以调试和复用。


三、IMR-LLM 核心方法详解

整体采用 「高层约束规划 + 底层代码生成」的两级架构,核心设计思想是:用LLM解决语义理解与建模成本问题,用确定性算法保障工业约束的严格满足。

1. 高层任务规划:析取图构建 + 确定性调度

(1)析取图(Disjunctive Graph)建模

由LLM解析自然语言指令,自动构建任务约束图:

  • 节点:代表单个原子操作(如拾取、放置、机床上下料)
  • 合取弧:代表工序间的先后依赖关系(如必须先抓取再放置)
  • 析取弧:代表资源互斥关系(如同一机器人/机床同一时间只能执行一个操作)
(2)确定性调度求解

在析取图基础上,采用经典调度算法(优先调度规则+分支定界)进行确定性求解,输出最优高层任务计划:

  • 明确每个操作的分配机器人、开始/结束时间
  • 严格满足所有时序约束与资源约束
  • 输出接近理论最优的调度方案

设计逻辑:LLM负责降低「非结构化指令→结构化约束」的建模门槛,确定性算法负责兜底规划结果的正确性与最优性,规避纯LLM的幻觉与逻辑漏洞。

2. 底层程序生成:过程树引导的代码生成

将高层调度计划转化为机器人可直接执行的Python控制代码,落地「Code-as-Policy」理念。

(1)过程树(Process Tree)构建

基于高层调度计划,构建层级化的过程树作为生成骨架:

  • 根节点:对应完整生产任务
  • 中间节点:对应子工序/协作流程,包含执行主体、触发条件、异常分支
  • 叶节点:对应原子操作,绑定机器人底层控制API
(2)结构化代码生成机制
  1. 自顶向下遍历过程树,为每个节点生成对应函数
  2. 分支节点自动生成条件判断、并行/串行执行逻辑
  3. 叶节点直接调用预定义的机器人控制接口
  4. 自动合并相同操作的通用函数,减少代码冗余
(3)优势
  • 结构化约束保证生成代码的时序正确性,避免纯LLM生成的逻辑混乱
  • 模块化结构便于调试、修改与复用,适配工业产线的迭代需求
  • 同一套调度策略可直接映射为不同机器人的执行代码

四、实验验证与结果分析

1. 评测基准:IMR-Bench

基于真实工业产线与KUKA iiwa机器人平台构建,是首个面向多机器人工业场景的专用评测基准,包含3个复杂度等级:

难度等级任务规模机器人数量核心特点
单机器人50项任务1台基础操作验证,无协作
简单多机器人5项操作以内最多3台简单协作,弱资源冲突
复杂多机器人最多24项操作最多7台强时序依赖、强资源竞争

任务类型覆盖拾取放置、机床上下料、装配、物料搬运等典型工业场景,输入为无格式自然语言指令,贴近真实产线使用场景。

2. 评价指标

  • OC(Operation Coverage):操作覆盖率,生成程序覆盖的目标操作占比
  • SR(Success Rate):任务成功率,完整无错误执行的任务占比
  • GCR(Goal Completion Rate):目标完成率,最终产线目标状态的达成程度
  • SE(Scheduling Efficiency):调度效率,衡量生成方案与理论最优调度的接近程度

3. 对比基线

  • SMART-LLM:纯语义子问题分解的LLM调度方法,无约束求解
  • LaMDA-P:端到端LLM程序生成方法,直接输出机器人代码
  • LIP-LM:结合线性规划的LLM规划方法,仅加入简单线性约束
  • Ours (GPT-4):本文方法,基于GPT-4实现
  • Ours (Qwen3-32B):本文方法,基于Qwen3-32B实现,验证跨模型通用性

4. 主实验核心结论(对应表1)

  1. 全面领先:本文方法在所有难度等级、所有评价指标上均显著优于全部基线方法。
  2. 简单场景优势明显:单机器人场景下,本文方法OC、SR、GCR均接近100%,基线方法SR普遍仅70%-90%。
  3. 复杂场景鲁棒性突出:复杂多机器人场景下,基线方法性能暴跌(如SMART-LLM的SR仅0.20),而本文方法仍保持0.76的SR与0.79的GCR。
  4. 模型通用性强:基于Qwen3-32B的实现版本性能接近GPT-4版本,证明框架不依赖特定大模型,可迁移至国产模型。

5. 消融实验(对应表2)

验证三个核心模块的必要性:

  • 移除确定性调度:完全由LLM决定操作顺序,复杂场景SR大幅下降,证明确定性调度是工业场景可靠性的核心保障。
  • 移除依赖约束:不构建析取图的依赖关系,仅按粒度拆分任务,复杂场景性能显著下滑,证明约束建模是多机器人协作的基础。
  • 粗粒度操作:将原子操作合并为粗粒度步骤,简单场景影响较小,但复杂场景精度下降,证明细粒度建模是处理复杂任务的关键。

五、参考价值思考

  1. 架构复用:LLM语义建图 + 确定性求解器 + 过程树代码生成的三级架构,可直接复用在强约束业务场景中,替代纯端到端LLM拆解模式,大幅提升任务执行成功率。
  2. 约束建模范式:析取图的建模方式,可将业务规则、时序约束、资源互斥转化为结构化约束,再用求解器兜底,是LLM落地工业级场景的通用可靠路径。
  3. Code-as-Policy工程化:过程树作为中间层,实现了策略→可执行代码的标准化映射,既保留LLM的灵活性,又保证代码的可控性与可调试性,是Code-as-Policy从概念走向工程落地的关键设计。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐