论文解读 | IMR-LLM:工业多机器人任务规划与程序生成的两级架构方案
一、论文速览
- 基础信息:论文全称《IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models》,发表于ICRA 2026(IEEE国际机器人与自动化大会),获自动化方向最佳论文提名,作者团队聚焦多机器人调度与工业自动化方向。
- 技术标签:多机器人任务调度、自然语言指令解析、程序自动生成、确定性调度、工业柔性生产
- 核心贡献:提出LLM约束提取 + 确定性调度求解 + 过程树代码生成的两级架构,用大模型解决自然语言理解的灵活性问题,用传统调度算法保障工业场景的执行可靠性;在复杂多机器人场景下,任务成功率比纯大模型方案提升46个百分点以上。
二、研究背景与问题锚定
1. 行业现状与痛点
工业多机协同生产场景中,需要根据生产需求给多台机器人分配工序、排定时序、生成控制程序,行业长期存在两类瓶颈:
- 传统方案灵活性差:依赖人工建模、编写调度规则与控制程序,产线换型、任务变更时需要重新排程与改代码,周期长、成本高,跟不上柔性生产的节奏。
- 纯大模型方案不可靠:直接用大模型端到端生成机器人代码,不需要提前建约束模型,但输出逻辑没有保障,频繁出现工序顺序错误、资源冲突等问题,工业场景无法落地;同时生成的代码无统一结构,出问题后难以定位调试。
2. 论文核心问题
如何把大模型的自然语言理解能力,与工业场景要求的确定性、可调试性结合起来,实现从自然语言指令到多机器人可执行控制程序的可靠转化。
3. 启元技术关联点
启元当前的Skill开发者生态,同样面临【自然语言需求→机器人可执行代码】的转化效率与可靠性问题;未来家庭场景下多机器人协同(如Q1人形机器人做桌面操作、T1移动机器人做搬运配合),也会涉及多机任务分配与时序调度。这篇论文的架构思路,对启元的Skill开发工具链优化、多机协同功能研发都有直接参考价值。
三、核心技术方法拆解
整体采用【高层任务规划 + 底层程序生成】的两级架构,核心逻辑是:让大模型只做擅长的语义理解与约束提取,把需要可靠性的调度与代码生成,交给结构化的确定性逻辑处理。
1. 高层任务规划:析取图构建 + 确定性调度
(1)析取图约束构建
由大模型解析自然语言指令,自动提取三类核心要素,构建成结构化的任务约束图:
- 节点:对应单个原子操作,如“打磨工件”“搬运物料”
- 合取弧:对应工序的先后依赖关系,如“必须先抓取工件,再进行打磨”
- 析取弧:对应资源互斥关系,如同一台机床、同一台机器人,同一时间只能执行一个操作
这一步的作用是把模糊的自然语言,转化为有明确边界的约束问题,相当于给大模型的输出套上了结构化框架,避免无边界的自由生成。
(2)确定性调度求解
在析取图的约束基础上,采用经典调度算法(先调优规则+分支定界)求解最优方案:
- 明确每个操作的执行主体、开始与结束时间
- 严格满足所有时序约束与资源约束
- 输出整体完工时间最短的调度方案
这部分是整个方案可靠性的核心——所有执行逻辑都经过严格的约束校验,不会出现资源冲突、工序颠倒的低级错误,补上了纯大模型方案的核心短板。

2. 底层程序生成:过程树引导的代码生成
把高层调度方案转化为机器人可直接执行的Python控制代码,核心是引入「过程树」作为中间层,不直接让大模型生成完整代码。
(1)构建过程树
基于调度结果,生成树状的执行逻辑框架:
- 根节点:对应完整的生产任务
- 中间节点:对应工序的执行逻辑,包括串行执行、并行执行、触发条件、异常分支
- 叶节点:对应原子操作,直接绑定机器人底层控制API
(2)结构化代码生成
沿着过程树自上而下生成代码:
- 每个节点对应一段独立的函数逻辑
- 自动处理串行、并行执行的逻辑控制
- 叶节点直接调用预定义的机器人控制接口
- 自动合并通用函数,减少代码冗余
这种生成方式的优势很明确:一是代码结构与调度方案一一对应,逻辑可控,不会出现离谱的逻辑错误;二是模块化程度高,需求调整、问题排查都很方便;三是同一套调度逻辑,适配不同机器人时只需要替换底层接口,迁移成本低。
3. 核心创新点
- 架构创新:将「大语言模型做语义理解」与「确定性算法做约束求解」解耦,两者各司其职,解决了纯大模型不可靠、传统方法不灵活的行业共性矛盾。
- 工程创新:用过程树作为代码生成的中间层,兼顾了大模型的灵活性与工业代码的可控性、可调试性,是大模型落地工业控制场景的可行路径。
四、实验设计与关键结论
1. 测试基准与评价指标
论文搭建了面向多机器人工业场景的专用测试集IMR-Bench,基于真实工业产线与KUKA iiwa机器人平台,分三个难度等级:
| 难度等级 | 任务规模 | 机器人数量 | 场景特点 |
|---|---|---|---|
| 单机器人 | 50项任务 | 1台 | 基础操作验证,无协作 |
| 简单多机器人 | 5项任务 | 最多3台 | 基础协作,少量资源冲突 |
| 复杂多机器人 | 最多24项操作 | 最多7台 | 强时序依赖,资源竞争激烈 |
评价指标覆盖四个维度:操作覆盖率(OC)、任务成功率(SR)、目标完成率(GCR)、调度效率(SE)。
2. 对比基线与核心结果
对比了三类主流方案:纯大模型端到端生成(SMART-LLM)、端到端机器人程序生成(LaMDA-P)、结合线性规划的大模型方法(LIP-LM)。

核心结论:
- 全场景性能领先:三个难度等级下,所有指标均优于所有基线方案。
- 简单场景接近满分:单机器人场景下,任务成功率、目标完成率均接近100%;而纯大模型方案SMART-LLM的任务成功率仅20%,差距显著。
- 复杂场景优势更突出:复杂多机器人场景下,本文方案任务成功率达79%,基线中最优方案仅33%;场景越复杂、约束越多,该架构的优势越明显。
- 模型通用性强:基于Qwen-32B实现的版本,性能接近GPT-4版本,说明方案不依赖顶级大模型,国产大模型也可达到相近效果。
3. 消融实验结论
- 去掉确定性调度模块,全靠大模型排程,复杂场景任务成功率大幅下降,说明工业场景下,执行可靠性不能完全交给大模型。
- 不构建析取图约束,仅让大模型做简单任务拆分,复杂场景性能显著下滑,结构化约束是处理多机协作的必要基础。
- 子任务合并、步骤依赖等细粒度约束,对复杂场景影响大,简单场景下差异不明显。
4. 局限性
- 目前仅验证了工业机械臂场景,未适配移动机器人、人形机器人场景。
- 析取图构建依赖大模型的语义理解能力,指令过于模糊、口语化时,仍可能出现约束提取错误。
- 调度算法针对静态车间场景设计,未覆盖动态任务插入、突发异常等动态场景的处理。
五、对启元机器人开发实践的启发
1. 短期可落地参考
- Skill生成流程优化:借鉴【过程树】的思路改造现有Skill生成工具。用户输入自然语言需求后,先生成结构化的执行流程树(定义串行/并行/条件分支),再生成机器人执行代码,替代直接让大模型写完整代码的模式,提升Skill代码的可靠性,也降低开发者调试门槛。
- 多机调度原型验证:针对未来多机器人协同场景,先复用【约束提取+确定性调度】的逻辑,搭建小型验证原型,验证桌面操作+移动搬运等配合场景的任务分配,避免纯大模型调度易出现的资源冲突问题。
- 国产大模型适配:论文验证了国产大模型可达到接近GPT-4的效果,启元的Skill开发工具可优先适配国产大模型,降低部署与调用成本。
2. 中长期技术布局建议
- 搭建通用任务规划中间层:参考本文两级架构,在大模型与机器人控制层之间,新增一层【】结构化任务规划引擎】。上层用大模型理解用户需求、拆解任务、提取约束;下层用确定性规划算法生成执行序列,再对接机器人控制接口。既保留自然语言交互的灵活性,又守住机器人执行的可靠性底线。
- 沉淀服务场景调度规则库:工业调度的目标是工期与资源利用率,家庭服务场景更看重安全、体验与执行效率,不能直接照搬。可以针对家务、陪护、娱乐等典型家庭场景,梳理任务约束与资源冲突场景,沉淀启元自己的调度规则库,逐步替代纯大模型的端到端规划。
- 向开发者开放规划能力:把结构化任务生成的能力开放到开发者社区,开发者只需定义原子操作与基础约束,就能快速生成多机协同的Skill,降低多机开发的技术门槛,丰富生态内容。
3. 论文理论与实际的反差
- 工业调度逻辑不能直接套家用场景。工业场景环境固定、任务明确,家庭场景动态障碍物多、用户需求模糊,调度目标与约束条件都需要重新设计,不能直接复用工业算法。
- 异常处理需要单独设计。论文方案基于稳定的工业产线环境,真实家庭环境动态变化多,落地时必须补充在线重规划、异常中断处理的逻辑,不能只依赖静态调度。
六、自己的思考
这篇论文本质上给大模型+机器人的落地给出了一个明确方向:大模型的核心价值在语义理解与需求拆解,而不是直接替代控制层做决策。越是要求可靠性、越是复杂的场景,越要把理解和执行拆开,中间用结构化的规划层衔接。
对启元来说,这个思路的价值不局限于工业场景。家庭服务机器人要走进真实家庭,同样要解决用户自然语言指令到机器人安全准确执行的转化问题。沿着这个架构演进,既能发挥大模型的交互优势,又能守住量产机器人的安全与可靠底线,比纯端到端的方案更适合落地。
后续可以重点关注两个方向:一是动态场景下的在线重调度技术,二是移动机器人+机械臂的复合场景任务规划,这些都是服务机器人走进真实场景必然会遇到的实际问题。
注明:部分内容与图片采用原论文数据与话语。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐





所有评论(0)