你有没有搬过家，看着一堆大小不一的纸箱，心里盘算怎么塞进货车才能不浪费空间？

这活儿说起来简单，做起来头疼。先放哪个箱子，后放哪个箱子，横着放还是竖着放，每一步选择都会影响后面能不能塞得下。人类打包师傅靠的是经验和直觉，而机器人呢？过去这些年，机器人打包一直卡在一个尴尬的地方。

**核心问题：机器人打包卡在哪儿**

先说说过去机器人是怎么打包的。

一种思路是"打分制"，工程师们设计一套几何规则，比如让箱子尽量贴着墙角放、尽量让接触面积最大、尽量让整体表面高度保持平整。这类方法有个统一的名字。

装箱启发式：靠人工设计的几何评分规则，从若干候选摆放位置中选出当前看起来最优的那个。

这类方法的问题在于，它们只看眼前这一步好不好，不管这一步会不会把后面的空间搞得七零八落。就像玩俄罗斯方块时只顾着消掉眼前这一行，完全不管留下的坑会不会让后面的方块无处安放。论文里测试的几种经典启发式方法，比如DBLF（深度-左下-填充法）、MTA（最大接触面积法）、HM（高度图最小化法），在简单场景下表现还凑合，综合得分能到0.55左右，但一旦场景变复杂，得分就跌到0.33到0.47之间。

另一种思路是强化学习。

强化学习（RL）：让AI通过反复试错，在虚拟环境里摸索出一套长期收益最大化的打包策略，而不是只看眼前一步。

强化学习理论上比启发式聪明，因为它能考虑到当前动作对未来的影响。但现实是，这类方法需要在固定的物体和容器配置下训练成千上万次，换个新的箱子尺寸组合，模型可能就懵了。论文中提到的TAP-Net和IR-BPP这两个强化学习基线方法，官方模型综合得分分别只有0.474和0.442，重新在同样任务分布下训练后，得分甚至进一步跌到0.405和0.345。

这就是2024年前后这个领域面对的现实：启发式方法目光短浅，强化学习方法水土不服。而这两年爆火的多模态大语言模型，也就是能同时理解图片和文字的AI，被寄予厚望，但此前的相关研究大多只让它们做"参谋"，判断一下物体的材质、形状、能不能叠放，真正拍板"往哪儿放"的还是传统规划器。

这就引出一个直白的问题：能不能让大模型自己直接决定选哪个箱子、往哪儿放，而不是当个旁观的顾问？

这篇论文的团队就是奔着这个问题去的，他们搭了一整套系统，取名PackLab。

**PackLab-Suite：先造一个能"说真话"的训练场**

想让AI学会打包，第一步得有靠谱的训练数据。但这里有个陷阱：如果训练数据本身是假的，比如箱子悬空、穿模、堆叠不稳，那AI学到的就是一套虚假的物理规律，放到现实世界立刻穿帮。

于是PackLab-Suite先搭了一个物理仿真环境，让每次摆放后的箱子都真实地受重力下落、互相碰撞、直到稳定为止。

物理仿真平台：一个模拟重力、刚体碰撞和稳定性反馈的虚拟环境，确保每一次物体摆放的结果都符合真实物理规律，而不是凭空生成的理想化数据。

光有真实的物理引擎还不够，训练数据从哪来？如果按照最直接的思路，让AI一次次尝试各种摆放组合，靠试错生成轨迹，那计算量会大到不可想象，因为物体和摆放位置的组合是指数级爆炸的。

团队想了个巧妙的办法，反着来。他们先设计出一个已经填满、看起来很紧凑的"终态布局"，就像先在纸上画好一幅完美的拼图成品，然后再倒着一步步拆解，把每一块从后往前移出来，移出的顺序倒过来读，就变成了一条合理的正向打包轨迹。这个方法叫"布局优先"的数据生成流程。

这就好比装修师傅先想好家具摆放好之后的效果图，再倒推搬运车该按什么顺序把家具搬进屋子，而不是让搬运工瞎撞。如果不这样做，而是老老实实地枚举各种摆放尝试，生成同样规模的数据可能需要多花几个数量级的计算时间，这在工程上是不可承受的。

生成完轨迹后，团队还要把它放回物理引擎里重新演练一遍，检查是否会出现穿模、坍塌这些不合理情况，不合格的直接扔掉。最终留下的两万条合格轨迹，组成了一个叫PackData-20K的数据集，这也是后续训练AI的"教材"。

**PackLab-VLM：让AI记住"打包这一路走过的每一步"**

有了教材，接下来就是教AI怎么学。

这里团队用的底座模型是Qwen3.5-9B，一个90亿参数规模的多模态大语言模型。为什么是多模态？因为打包这件事既要看图（容器里现在堆成什么样了），又要看数字信息（候选箱子的尺寸、编号）。

PackLab-VLM的关键设计在于，它不是"看一眼当前画面就下判断"，而是把整个打包过程的历史都装进脑子里。

高度图：把容器内部当前的堆叠状态，从正上方俯视拍下来，转换成一张记录每个位置堆积高度的图像，相当于给容器做了一次"CT扫描"。

多轮交互上下文：模型在做当前这一步决策时，不仅看当前的容器状态和候选箱子，还要回看之前每一步的容器画面和做过的动作，相当于带着"打包日记"边看边决策。

这个设计思路其实很符合人类打包师傅的实际操作。你想象一下自己在装货车，如果每次拿起一个新箱子都得从头审视整个车厢，完全不记得自己刚才是怎么码的、留了哪些缝隙，那效率得多低，而且很可能重复犯同样的错误。带着记忆决策，才能真正做到"越往后越懂得怎么补漏"。

论文的消融实验也印证了这一点：如果把输入的高度图换成一张无意义的干扰图像，综合得分从0.660直接掉到0.494；如果只给模型看当前这一帧、不给历史记录，得分掉到0.533；就算保留视觉历史但去掉之前动作的文字记录，得分也只有0.589。也就是说，视觉信息和历史记忆两者缺一不可，少了任何一个，AI的判断力都会打折扣。

模型最终输出的是一段结构化文字，里面写清楚选中了哪个箱子、什么朝向、放在哪个坐标，这段文字会被解析成机器人能直接执行的动作指令。整套训练用的是标准的监督微调，说白了就是让AI去模仿论文团队生成的那两万条"标准答案"轨迹，一步步学着预测下一个动作该怎么写。

**PackLab-Bench：给AI设三道由易到难的关卡**

光训练好还不够，得有一把公平的尺子量一量AI到底学得怎么样。

团队设计了三个难度等级的测试场景，从简单到复杂依次是缓冲区里最多放3个候选箱子、5个、10个，堆叠层数从1到2层一路加到3到4层，物体总数也从4到8个逐步扩大到19到32个。总共60个测试案例，涵盖905个打包步骤，而且这些测试案例和训练数据完全不重叠，确保不是在背答案。

评价打包好坏，团队用了三个指标。

成功率：所有成功装进容器、且中心点没有跑出容器边界的物体，其体积占全部待打包物体总体积的比例。

紧凑度：成功装入物体的总体积，除以这些物体实际占据的"外接空间"体积，数值越高说明堆叠得越密实，没有留下大量浪费的空隙。

综合得分：成功率乘以紧凑度，同时衡量"装了多少"和"装得多密"，是这篇论文里最主要的评判标准。

这三个指标搭配起来很关键，因为只看成功率可能会有偏差，如果AI变得极度保守，只往容器里塞两三个特别好放的箱子，成功率照样能刷得很高，但容器里明明还有大片空间没用上。紧凑度这个指标就是用来揭穿这种"偷懒式高分"的。

**实验结果：AI打包师傅的成绩单**

废话不多说，直接看数据。

| 方法 | 简单-综合分 | 中等-综合分 | 困难-综合分 | 平均-成功率 | 平均-紧凑度 | 平均-综合分 |

|---|---|---|---|---|---|---|

| DBLF | 0.568 | 0.626 | 0.469 | 0.825 | 0.659 | 0.554 |

| MTA | 0.543 | 0.489 | 0.285 | 0.743 | 0.560 | 0.439 |

| FFP | 0.558 | 0.278 | 0.162 | 0.636 | 0.475 | 0.333 |

| SDF-Pack | 0.718 | 0.619 | 0.469 | 0.855 | 0.694 | 0.602 |

| TAP-Net | 0.501 | 0.535 | 0.386 | 0.845 | 0.556 | 0.474 |

| IR-BPP | 0.434 | 0.520 | 0.372 | 0.756 | 0.572 | 0.442 |

| **PackLab-VLM** | **0.922** | 0.665 | 0.394 | **0.882** | **0.718** | **0.660** |

PackLab-VLM的平均综合得分是0.660，比之前表现最好的启发式方法SDF-Pack高出0.059，比表现最好的强化学习方法TAP-Net高出整整0.186。

在简单场景下，PackLab-VLM几乎是碾压式的表现，综合得分0.922，而排名第二的SDF-Pack只有0.718。这说明当空间约束没那么苛刻时，AI能非常好地利用视觉信息、物体属性和历史记录做出判断。

到了中等难度，PackLab-VLM的成功率和最强的对手打成平手，但因为紧凑度更高，综合得分仍然领先。这意味着它不是简单地多塞了几个箱子，而是排布得更聪明。

困难场景是唯一一个PackLab-VLM没能碾压对手的地方，成功率0.680，落后于DBLF的0.720，SDF-Pack在这个场景下的综合得分和PackLab-VLM几乎持平。团队坦诚地承认，这种极度拥挤、空间碎片化严重的场景，几何搜索类的启发式方法在某些具体案例里仍然有优势。

**打破一个直觉：不是数据越多越好，配方也很重要**

团队还做了一系列拆解实验，看看到底是什么在起作用。

先看训练本身有没有用。他们直接把没训练过的原始Qwen3.5-9B拿来测试，综合得分只有0.209，训练之后飙升到0.660。这个差距在各个难度等级上都很稳定，简单场景从0.246涨到0.922，中等场景从0.220涨到0.665，困难场景从0.162涨到0.394。这说明大模型本身虽然见多识广，但如果没有针对打包这件事专门"补课"，它连基本的动作格式、物体选择逻辑都掌握不好。

再看训练数据的规模和配方。数据量从25%涨到50%再到100%，综合得分从0.578一路涨到0.630再到0.660，说明数据量确实有用，不是训练到一定程度就饱和了。

有意思的是数据配方这块。如果只用简单难度的数据训练，得分是0.587；加入中等难度数据，涨到0.604；但如果把简单、中等、困难三种难度混合起来训练，得分直接跳到0.660，超过前两者的总和涨幅。

这背后的道理其实挺反直觉的。你可能会觉得，既然测试要考简单、中等、困难三种题目，那训练时按比例覆盖就够了，为什么混合训练的效果会比单纯堆量更好？答案可能在于，简单场景帮AI打好几何判断的地基，中等场景教会它处理常见的约束冲突，而困难场景专门逼着它去应对那些高度模糊、选择空间极其狭窄的极端状况。三种难度就像武术训练里的扎马步、打套路、实战对练，少了任何一环，练出来的都是花架子。这就好比只让学生做简单题和中等题，从不接触压轴难题，考试遇到真正的难题就会手足无措，哪怕简单题和中等题练得再多也补不回来。

最后是模型规模的影响。团队比较了2B、4B、9B三个不同参数量级的模型，综合得分分别是0.617、0.645、0.660，规模越大表现越好，但团队也坦言受限于算力，9B已经是这次实验能测试的上限，更大的模型会不会带来更大的提升，还是一个悬而未决的问题。

**从虚拟到现实：机器人真的能打包吗**

光在电脑里跑分不算数，团队还搭了一套真实的机器人系统来验证。

这套系统用一台带吸盘的AUBO机械臂，配合RealSense彩色相机和Photoneo深度相机，先用一个叫SAM3的图像分割模型识别出料区里摆放杂乱的各个物体，提取出它们的点云来估算三维尺寸，再喂给PackLab-VLM做决策。

SAM3：一种能够自动识别并分割出图像中每一个独立物体轮廓的AI视觉模型，相当于给相机装了一双能"数清楚有几样东西、每样东西边界在哪"的眼睛。

测试用了8个真实物品的打包案例，对比PackLab-VLM和一个基线方法的表现。结果显示，PackLab-VLM成功把全部8个物体都装进了容器，摆放得比较紧凑；而基线方法只装进去3个物体，容器里剩下一大片空着的地方。这个结果放在实际物流场景里意味着什么？意味着同样一个纸箱，用这套方法能少浪费一半以上的运力，这在讲究成本的仓储物流行业不是小数目。

**这篇论文接在了谁的肩膀上，又留下了什么**

这篇论文并不是凭空冒出来的，它站在了此前两条技术路线的对照之上。一条是2019到2023年间逐步成熟的几何启发式方法，比如2023年发表的SDF-Pack，用信号距离场来衡量摆放的紧凑程度，是这次实验里启发式阵营的最强代表。另一条是2020年前后兴起的强化学习路线，比如同年的TAP-Net把打包问题建模成"运输-装载"的两阶段决策，试图学出一个通用策略。这两条路线各自代表了当时能达到的技术极限，而PackLab-VLM在同一套测试标准下，综合得分分别领先它们0.059和0.186，这个差距不算小。

在它之前，也有研究尝试把大语言模型引入打包领域，比如iPack和LLM-Pack这类工作，但它们让大模型承担的角色更接近"顾问"，负责判断物体属性和物理约束，真正的摆放决策仍旧交给传统规划器完成。还有一篇几乎同期的PackingGPT，虽然让大模型直接预测放置序列，但缺少根据实时反馈动态调整的闭环能力。PackLab-VLM的不同之处在于，它把物体选择和位置预测这两件事都交给了同一个大模型，并且让它能实时看到每一步执行后的真实反馈，再决定下一步怎么走。

Q&A

Q1：PackLab是什么？

A：PackLab是一套让多模态大语言模型直接完成机器人装箱决策的完整框架，包含物理仿真训练平台PackLab-Suite、闭环打包模型PackLab-VLM，以及标准化评测基准PackLab-Bench。

Q2：PackLab-VLM打包效果比传统方法好多少？

A：在标准测试中PackLab-VLM平均综合得分0.660，比最强几何启发式方法SDF-Pack高0.059，比最强强化学习方法TAP-Net高0.186，真实机器人实验中也能装完全部8个物体，而基线方法只装进3个。

Q3：PackLab-VLM训练数据为什么要混合难易程度？

A：论文实验发现只用简单或简单加中等难度训练，综合得分分别只有0.587和0.604，而混合简单、中等、困难三种难度训练后得分跳到0.660，说明不同难度分别锻炼了几何判断、约束处理和极端场景应对能力，缺一不可。