生成‑排序：面向具身智能体的符号目标解读学习方法

arXiv编号：arXiv:2611.07825v1 [cs.AI]

摘要
目标解读任务是将自然语言指令翻译为规划器可执行的形式化符号目标。该任务对具身智能体至关重要：目标解读环节出现的任何错误，都会向下传播到后续全部规划与动作执行步骤。高质量完成该任务，既需要生成合适的候选目标，也需要在候选集合中可靠地选出最优解。本文提出两阶段生成‑排序（Generate‑then‑Rank）目标解读方案，面向具身智能体接口EAI（Embodied Agent Interface）任务。第一阶段使用监督微调SFT，让大模型适配EAI输出格式规范；第二阶段提出CORE（Candidate‑Output Ranking from Errors，基于错误的候选输出排序），利用模型自身生成的备选样本学习候选输出之间的偏好关系。
本文在EAI基准的家庭场景数据集开展实验，评测多款开源大模型，包括DeepSeek‑V3‑chat(\alpha、\gamma)DeepSeek‑Reasoner(\alpha、\gamma)Qwen2.5‑7B(\alpha、\gamma)Qwen2.5‑72B。所提方法优于多种基线方案，包括普通提示(\alpha、\gamma)思维链CoT(\alpha、\gamma)知识图谱类方法。

关键词
具身人工智能；目标解读；大语言模型；候选排序；符号规划

目录

1. 引言
2. 相关工作
3. 方法框架
   • 3.1 问题形式化
   • 3.2 第一阶段：面向目标生成的监督微调
   • 3.3 第二阶段：候选输出排序CORE
4. 实验设置
5. 实验结果与分析
6. 讨论与局限性
7. 结论
8. 附录简要说明

1 引言

大语言模型越来越多地把自然语言指令映射到具身环境的规划与动作。在执行规划之前，智能体必须明确：什么样的终端状态才算任务成功。目标解读就是将自然语言指令翻译成规划器可执行的形式化符号目标。一旦此处出错，错误会向下传递到下游每一步规划与动作。

EAI（Embodied Agent Interface）基准将目标解读定义为一项独立任务：输入VirtualHome场景与自然语言指令，输出对象状态(\alpha、\gamma)有向关系(\alpha、\gamma)终端动作集合。哪怕规划器本身完全正确，只要遗漏条件(\alpha、\gamma)关系方向错误(\alpha、\gamma)谓词参数不匹配，就会造成下游行为不完备或者不可执行。

举文中示例指令：wash dishes with dishwasher（用洗碗机洗碗）。正确符号目标要求洗碗机状态为关闭(\alpha、\gamma)开启；有向关系：ON(plate, dishwasher)(\alpha、\gamma)ON(cup, dishwasher)(\alpha、\gamma)ON(dish_soap, dishwasher)。走到厨房(\alpha、\gamma)打开洗碗机只是中间步骤，不属于终端目标。如果漏掉ON(dish_soap, dishwasher)，输出语法合法，但目标不完备；关系是有向的：ON(plate, dishwasher)正确，反过来ON(dishwasher, plate)语义错误。因此仅仅保证输出格式合法，不足以得到正确目标。

直接自回归生成是常用基线，但模型单次输出未必是它本身可以产出的最优目标；采样多条候选有机会得到质量更好的解。任务特定监督微调SFT可以适配输出格式与稀疏终端目标的输出范式，但SFT优化的是参考token的似然，并没有显式学习不同完整候选目标之间的偏好。序列级排序相关工作已经在文本生成领域处理该类失配问题。本文的候选样本分析表明：更好的符号目标可能已经被模型采样生成出来，只是没有被选中。

本文提出两阶段生成‑排序方案：

1. 阶段1：监督微调做目标生成：输入场景+指令，采样生成多条完整候选符号目标。
2. 阶段2：CORE候选输出排序：学习对候选集合打分，选出得分最高的目标。CORE是对比式学习目标，对比模型自身生成的好坏候选样本，同时保留参考真值作为监督锚点。

本文主要贡献

1. 提出两阶段生成‑排序框架，结合生成与排序，提升大模型的符号目标解读能力。
2. 设计一套训练流程：先监督微调，再利用模型自身错误样本，通过对比目标学习候选输出排序。
3. 在EAI基准家庭场景完成实验，与SFT(\alpha、\gamma)候选偏好优化(\alpha、\gamma)知识图谱等多条基线开展对比评测。

图1：两阶段方法总览。阶段1：微调LLM+LoRA，采样K条输出得到候选池；阶段2：CORE对比式排序，从候选集合选出最优符号目标。

2 相关工作

具身‑语言系统将指令落地到环境 affordance(\alpha、\gamma)生成动作程序，交替开展推理与交互。EAI把任务解耦为4个独立接口：目标解读(\alpha、\gamma)子目标分解(\alpha、\gamma)动作序列化(\alpha、\gamma)迁移建模。目标解读预测稀疏的终端节点‑边‑动作记录，而不是整条执行轨迹；中间动作出现不能作为成功依据，并且要求关系方向(\alpha、\gamma)基数(\alpha、\gamma)终止条件完全准确。

序列生成领域，BRIO(\alpha、\gamma)SLiC‑HF等候选排序方法利用偏好与监督信号校准完整输出；DPO学习相对冻结参考策略的偏好；Cal‑DPO进一步校准隐式奖励幅值。本文CORE借鉴序列级视角，应用到符号目标任务，使用参考真值导出质量间隙来缩放成对边界。

规划相关研究证明结构化环境证据的价值，因此本文实验加入知识图谱作为对比基线。EAI原始评测协议只评估直接生成输出，不包含候选集合内排序选择这一环节，这正是本文第二阶段要补齐的缺口。

自一致性(\alpha、\gamma)采样是多输出集成思路；本文排序器对去重后的完整符号候选做打分。约束解码如PICARD在生成过程校验合法性；DOMINO将形式约束与子词token对齐。本文不做复现Cal‑DPO与约束解码类方法。

3 方法框架

3.1 问题形式化

样本$i$输入 $x_i=<s_{0,i},l_{g,i}>$：$s_{0,i}$初始场景，$l_{g,i}$自然语言指令。
目标解读将输入映射到符号目标：
$$G(x_i)\to g_i,g_i=(N_i,E_i,A_i)$$

• $N_i$：目标对象状态集合；
• $E_i$：有向目标关系集合；
• $A_i$：终端任务动作集合。

$g_i$描述任务成功的终端条件，不是执行轨迹。$y_i^{\ast }$为参考真值目标对应的token序列。
以上洗碗机示例参考目标：
KaTeX parse error: Expected 'EOF', got '_' at position 192: …r}),(\text{dish_̲soap},\text{ON}…
$N_i$记录对象终端状态；$E_i$是源‑关系‑目标三元组；$A_i$为空代表不需要额外终端动作；部分任务$A_i$包含必须执行完成的动作（例如SLEEP）。符号目标本质是图结构，分为节点目标(\alpha、\gamma)边目标(\alpha、\gamma)动作目标，允许部分组件为空；动作列表不等于完整规划方案。

3.2 第一阶段：面向目标生成的监督微调

生成器为预训练大模型，在注意力(\alpha、\gamma)MLP投影层使用LoRA适配器。
输入$x_i$，参考序列$y_i^{\ast }$。屏蔽prompt(\alpha、\gamma)system(\alpha、\gamma)padding token，SFT损失：
$${\mathcal{L}}_{SFT,i}=-\frac{1}{|y_i^{\ast }|}\sum _{t=1}^{|y_i^{\ast }|}\log p_{\theta }\left(y_{i,t}^{\ast }\mid x_i,y_{i,<t}^{\ast }\right)$$
损失在未被mask的助手token上求平均；$\theta$为可训练LoRA参数；$y_{i,<t}^{\ast }$代表$t$位置之前的前缀token。
贪心解码作为SFT基线。监督学习同时教会输出格式，以及EAI约定的目标存在性(\alpha、\gamma)基数(\alpha、\gamma)省略规则(\alpha、\gamma)终止条件。训练采用因果大模型自回归生成，预测token直到输出完整目标。

本阶段设置：对每个输入，生成$(K=9)$条输出：1条贪心解码输出 + 两组各4条采样输出；对输出做字符串去重，得到唯一候选池$C_i$。

3.3 第二阶段：候选输出排序CORE

为什么要做候选排序

贪心解码每一步取局部概率最大token，但局部最优token选择，未必能得到全局最优完整符号目标。采样多条可以暴露更多备选方案；但SFT只学习复现参考token，不会教会模型如何评判不同完整候选之间的好坏。因此增加第二阶段排序学习。

输入：样本$x_i$ + 候选池$C_i$；输出：选出一条最优完整目标${\hat{y}}_i$。

关键：不新增独立排序网络或者分类头；直接复用第一阶段模型，继续更新它的LoRA参数。推理阶段不访问参考真值，直接对全部候选打分选出最高分。

长度归一化序列得分
$$s_{\theta }\left(y\mid x_i\right)=\frac{1}{|y|}\sum _{t=1}^{|y|}\log p_{\theta }\left(y_t\mid x_i,y_{<t}\right)$$
除以token长度，避免模型天然偏好更短序列化输出。该打分对比完整图输出，而不是单条边token。

注意：该得分对key顺序(\alpha、\gamma)空白字符等语义等价序列化变体不具备不变性；直接对原始字符串打分，没有做语义层面mask。

CORE对比式成对排序损失

• $y_i^{+}$：候选池内综合效用最高的正样本；
• $P_i^{-}$：同一候选池内质量更低的负样本集合。

效用指标结合整体Combined‑F1与权重0.25的Edge‑F1。CORE同时保留针对参考真值的SFT锚定损失。
对每一对正负候选，根据二者之间质量间隙设置缩放margin，构造对比损失$\mathcal{L}\ast rank$；完整CORE总损失：
$$\mathcal{L}\ast CORE=\alpha \mathcal{L}\ast SFT+\gamma \mathcal{L}\ast rank$$
$\alpha$为SFT损失权重；$\gamma$为排序损失权重。训练过程继续更新原有LoRA，推理阶段直接用更新后的模型对候选池做打分，取得分最高作为输出。

4 实验设置

数据集

EAI基准家庭场景数据集；任务输入为VirtualHome场景描述+自然语言指令，输出Node‑Edge‑Action符号目标。

评测模型

DeepSeek‑V3‑Chat(\alpha、\gamma)DeepSeek‑Reasoner(\alpha、\gamma)Qwen2.5‑7B‑Instruct(\alpha、\gamma)Qwen2.5‑72B‑Instruct；全部使用LoRA微调。

对比基线

1. Zero‑shot / Few‑shot普通提示；
2. CoT思维链提示；
3. 知识图谱增强方法；
4. 仅SFT（贪心输出）；
5. SFT+采样后投票；
6. 本文Generate‑then‑Rank（SFT+CORE）。

评测指标

• 组件F1：节点N‑F1(\alpha、\gamma)边E‑F1(\alpha、\gamma)动作A‑F1；
• Combined‑F1：三项综合F1；
• 主指标：候选池内最优解的选取命中率，以及测试集整体Combined‑F1。

训练超参

• 生成阶段：$(K=9)$，1条贪心+8条采样输出；字符串去重得到候选池；
• CORE训练：利用模型自身生成的候选样本，做成对对比学习；
• $\alpha (\alpha 、\gamma )\gamma$损失权重(\alpha、\gamma)margin缩放系数详见附录；>

全部训练脚本(\alpha、\gamma)评测脚本(\alpha、\gamma)数据集处理代码见项目开源仓库（附录给出链接）。

5 实验结果与分析

1. 在多款基座模型上，**Generate‑then‑Rank(SFT+CORE)**整体Combined‑F1均优于纯SFT(\alpha、\gamma)CoT(\alpha、\gamma)知识图谱基线。
2. 候选池分析：大量测试样本的采样候选池内，已经存在比贪心输出质量更高的符号目标；但原始SFT模型打分无法把高质量候选排在高位，这是排序阶段的发挥空间。
3. 消融：去掉CORE排序，仅做SFT+采样投票，性能显著低于完整两阶段方案；证明CORE对比式排序学习可以有效调整模型对完整符号输出的偏好。
4. 边关系E‑F1提升最为明显：边是有向三元组，很容易出现方向错误，排序阶段可以区分方向正确/错误的候选输出。

现象说明：大模型单步局部token最优，不等于完整结构化符号目标最优；先采样多条候选，再学习对完整输出做排序，是符号目标解读的有效范式。

6 讨论与局限性

局限性

1. CORE打分直接对token字符串做长度归一化，没有做语义等价规范化；语义相同(\alpha、\gamma)但是token顺序不同的目标会得到不同得分。
2. 实验限定EAI家庭具身任务；迁移到其它符号规划领域需要重新调参。
3. 候选池依赖第一阶段SFT生成；如果高质量解完全不在候选池内，排序模块无法凭空创造更好目标。
4. 训练依赖F1效用指标作为伪标签；伪标签存在噪声会影响排序学习效果。

启示

符号结构化生成任务，不能只看单步token似然。即使模型有能力产出高质量完整解，贪心解码也未必能选中；采样+专门学习完整输出层面的排序偏好，可以显著提升结构化目标输出质量。

7 结论

本文提出**生成‑排序（Generate‑then‑Rank）**两阶段方法解决具身智能体符号目标解读任务。第一阶段监督微调LoRA大模型，采样生成多条候选符号目标；第二阶段提出CORE，利用模型自身生成的好坏候选样本做对比式排序学习，不引入额外排序头，复用原有模型打分能力。
在EAI家庭场景基准上，该方法优于普通提示(\alpha、\gamma)CoT(\alpha、\gamma)知识图谱(\alpha、\gamma)仅SFT等基线。实验证实：高质量的符号目标往往已经存在于采样候选集合中，关键在于学习如何识别选出它。

附录简要说明

• 附录A：数据集划分(\alpha、\gamma)样本统计(\alpha、\gamma)EAI任务完整格式说明。
• 附录B：SFT(\alpha、\gamma)CORE完整损失公式(\alpha、\gamma)全部超参数搜索空间。
• 附录C：各模型完整实验数据表(\alpha、\gamma)消融实验结果。
• 附录D：提示模板(\alpha、\gamma)LoRA配置(\alpha、\gamma)训练推理伪代码。
• 附录E：复现脚本(\alpha、\gamma)环境依赖。

---