论文笔记:IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Model
·
注明:笔记来源引用原论文,写本文只是记录
一、论文基本信息
- 论文标题:IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models
- 作者:Xiangyu Su, Juzhan Xu, Oliver van Kaick, Kai Xu, Ruizhen Hu
- 发表渠道:IEEE International Conference on Robotics and Automation (ICRA) 2026,自动化方向最佳论文
- 论文链接:[2603.02669] IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models
- 研究领域:多机器人协作调度、大语言模型工业应用、作业车间调度、程序自动生成
二、问题形式化与研究痛点
1. 问题定义
给定工业生产场景描述与自然语言任务指令 $H$,目标是生成可执行程序 $P$,驱动多机器人系统完成对应生产任务。
- 任务本质:带强时序约束、资源约束的多机器人作业车间调度问题(Job Shop Scheduling),优化目标为最小化完工时间(makespan)。
- 程序要求:需明确每个操作的执行机器人、执行顺序、触发条件与底层控制逻辑,可直接运行于工业机器人控制器。
2. 现有方法的核心缺陷
- 纯LLM规划方法:仅依赖语义相似度做任务拆分,不构建显式约束图,也不做调度求解,在工业场景下频繁出现操作顺序错误、资源冲突,可靠性与可解释性不足。
- 传统调度方法:依赖人工建模工序与约束,产线换型、任务变更时需要重新编程,成本高、周期长,无法适配柔性生产需求。
- 端到端代码生成:直接让LLM生成机器人控制代码,缺乏结构化约束,逻辑一致性差,难以调试和复用。

三、IMR-LLM 核心方法详解
整体采用 「高层约束规划 + 底层代码生成」的两级架构,核心设计思想是:用LLM解决语义理解与建模成本问题,用确定性算法保障工业约束的严格满足。
1. 高层任务规划:析取图构建 + 确定性调度
(1)析取图(Disjunctive Graph)建模
由LLM解析自然语言指令,自动构建任务约束图:
- 节点:代表单个原子操作(如拾取、放置、机床上下料)
- 合取弧:代表工序间的先后依赖关系(如必须先抓取再放置)
- 析取弧:代表资源互斥关系(如同一机器人/机床同一时间只能执行一个操作)
(2)确定性调度求解
在析取图基础上,采用经典调度算法(优先调度规则+分支定界)进行确定性求解,输出最优高层任务计划:
- 明确每个操作的分配机器人、开始/结束时间
- 严格满足所有时序约束与资源约束
- 输出接近理论最优的调度方案
设计逻辑:LLM负责降低「非结构化指令→结构化约束」的建模门槛,确定性算法负责兜底规划结果的正确性与最优性,规避纯LLM的幻觉与逻辑漏洞。
2. 底层程序生成:过程树引导的代码生成
将高层调度计划转化为机器人可直接执行的Python控制代码,落地「Code-as-Policy」理念。
(1)过程树(Process Tree)构建
基于高层调度计划,构建层级化的过程树作为生成骨架:
- 根节点:对应完整生产任务
- 中间节点:对应子工序/协作流程,包含执行主体、触发条件、异常分支
- 叶节点:对应原子操作,绑定机器人底层控制API
(2)结构化代码生成机制
- 自顶向下遍历过程树,为每个节点生成对应函数
- 分支节点自动生成条件判断、并行/串行执行逻辑
- 叶节点直接调用预定义的机器人控制接口
- 自动合并相同操作的通用函数,减少代码冗余
(3)优势
- 结构化约束保证生成代码的时序正确性,避免纯LLM生成的逻辑混乱
- 模块化结构便于调试、修改与复用,适配工业产线的迭代需求
- 同一套调度策略可直接映射为不同机器人的执行代码
四、实验验证与结果分析
1. 评测基准:IMR-Bench
基于真实工业产线与KUKA iiwa机器人平台构建,是首个面向多机器人工业场景的专用评测基准,包含3个复杂度等级:
| 难度等级 | 任务规模 | 机器人数量 | 核心特点 |
|---|---|---|---|
| 单机器人 | 50项任务 | 1台 | 基础操作验证,无协作 |
| 简单多机器人 | 5项操作以内 | 最多3台 | 简单协作,弱资源冲突 |
| 复杂多机器人 | 最多24项操作 | 最多7台 | 强时序依赖、强资源竞争 |
任务类型覆盖拾取放置、机床上下料、装配、物料搬运等典型工业场景,输入为无格式自然语言指令,贴近真实产线使用场景。
2. 评价指标
- OC(Operation Coverage):操作覆盖率,生成程序覆盖的目标操作占比
- SR(Success Rate):任务成功率,完整无错误执行的任务占比
- GCR(Goal Completion Rate):目标完成率,最终产线目标状态的达成程度
- SE(Scheduling Efficiency):调度效率,衡量生成方案与理论最优调度的接近程度
3. 对比基线
- SMART-LLM:纯语义子问题分解的LLM调度方法,无约束求解
- LaMDA-P:端到端LLM程序生成方法,直接输出机器人代码
- LIP-LM:结合线性规划的LLM规划方法,仅加入简单线性约束
- Ours (GPT-4):本文方法,基于GPT-4实现
- Ours (Qwen3-32B):本文方法,基于Qwen3-32B实现,验证跨模型通用性
4. 主实验核心结论(对应表1)

- 全面领先:本文方法在所有难度等级、所有评价指标上均显著优于全部基线方法。
- 简单场景优势明显:单机器人场景下,本文方法OC、SR、GCR均接近100%,基线方法SR普遍仅70%-90%。
- 复杂场景鲁棒性突出:复杂多机器人场景下,基线方法性能暴跌(如SMART-LLM的SR仅0.20),而本文方法仍保持0.76的SR与0.79的GCR。
- 模型通用性强:基于Qwen3-32B的实现版本性能接近GPT-4版本,证明框架不依赖特定大模型,可迁移至国产模型。
5. 消融实验(对应表2)
验证三个核心模块的必要性:
- 移除确定性调度:完全由LLM决定操作顺序,复杂场景SR大幅下降,证明确定性调度是工业场景可靠性的核心保障。
- 移除依赖约束:不构建析取图的依赖关系,仅按粒度拆分任务,复杂场景性能显著下滑,证明约束建模是多机器人协作的基础。
- 粗粒度操作:将原子操作合并为粗粒度步骤,简单场景影响较小,但复杂场景精度下降,证明细粒度建模是处理复杂任务的关键。
五、参考价值思考
- 架构复用:LLM语义建图 + 确定性求解器 + 过程树代码生成的三级架构,可直接复用在强约束业务场景中,替代纯端到端LLM拆解模式,大幅提升任务执行成功率。
- 约束建模范式:析取图的建模方式,可将业务规则、时序约束、资源互斥转化为结构化约束,再用求解器兜底,是LLM落地工业级场景的通用可靠路径。
- Code-as-Policy工程化:过程树作为中间层,实现了策略→可执行代码的标准化映射,既保留LLM的灵活性,又保证代码的可控性与可调试性,是Code-as-Policy从概念走向工程落地的关键设计。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)