Agent 的输出幻觉
Agent 的输出幻觉
Agent 的幻觉和聊天机器人的幻觉不是一回事。聊天机器人说错话,用户读一眼可能就发现了;Agent 有副作用,它的幻觉是“做错事,还告诉你做对了”。
所以治理目标不是“让模型不说错”——那件事做不到——而是让错误发生在程序能发现的地方,而不是发生在用户已经相信之后。
一、先把幻觉分层
不分层,讨论就会变成“上 RAG 就好了”。

- 事实幻觉:编造不存在的事实。用户读一眼能发现,最多丢脸。
- 引用幻觉:编造来源、文件路径、接口名。看着很像真的,用户往往不会去点,于是被当真。
- 工具幻觉:编造调用、编造参数、编造返回结果。下游会真的执行,脏数据进系统。
- 行动幻觉:没做的事说已经做完了。用户以为已生效,停止跟进。
前两层靠提示词和用户判断还能兜住;后两层必须靠程序,因为用户看不见中间过程。
二、为什么“不要编造”这句提示词没用
因为它没有可执行的定义。什么算编造?依据在哪?模型没有这个概念。
更根本的原因有三个:
模型的目标是生成合理的延续,不是给出真实。 它没有“我不知道”的强先验,除非你给它一个明确的出口。
它确实“不知道”自己不知道。 上下文被摘要、被截断之后,缺失的信息在它看来就是不存在,于是它按最可能的模式补全。
工具描述含糊时,它只能猜。 参数叫 status,没写枚举值,模型就会编一个看起来合理的 "processing"。
还有一条更隐蔽的:工具返回没有结构。如果工具只回一句“操作完成”,模型无法区分成功和失败,它只能按上下文猜——这就是“假完成”最常见的来源。
三、五道关口

① 输入约束:让模型少猜
工具的 schema 要写得足够严:必填项、枚举值、数值范围、单位、一个真实示例。描述里除了“什么时候用”,更要写“什么时候不该用”。
关键是要给“不知道”留一个合法出口。如果 schema 只有“给出答案”这一条路,模型就只能编。
{
"answer": {"type": ["string", "null"]},
"reason_if_null": {
"type": "string",
"enum": ["not_in_context", "ambiguous_question", "out_of_scope"]
}
}
有了这个字段,拒答就变成一个正常返回值,而不是模型的“失败”。
② 结构化输出:让结果可解析
强制 JSON Schema、用 function calling、或者约束解码,都行。重点是别把关键判断放在自然语言段落里——一旦是自由文本,程序就没法校验,只能靠人看。
字段设计上要能表达不确定性:confidence、missing_info、source_ids。这些字段本身不值钱,但它们把“模型有多确定”变成了可读的信号。
③ 程序校验:最有效的一层
这一层是确定性的,不依赖模型,性价比最高。
- 格式:schema 校验、枚举校验、值域校验。
- 引用回查:模型给了
source_ids,程序按 id 取回原文片段,做包含匹配或相似度比对;匹配不上就降级为“无依据”,不能直接放行。 - 数字校验:模型输出的数字要么能在源文本里原样找到,要么必须由程序计算得出。凡是模型自己“算”的,都要复核。
- 外键校验:模型给的订单号、用户 ID,先去库里查存在性,再决定要不要执行。
引用回查是投入产出比最高的一项。它把“有没有依据”从主观判断变成了字符串匹配。
④ 执行回执:让“做过”可验证
有副作用的工具,必须返回结构化结果:成功与否、错误码、业务主键、时间戳。
模型只能引用回执,不能声称完成。对外呈现时把回执一起带上,让用户能核对——“已退款,流水号 xxx”,比“已经帮你退款了”可靠一个量级。
还有一条容易忘:状态以数据库为准,不以对话历史为准。 每次要用状态时从系统重新读,而不是从上下文里回忆。多轮对话里模型记错状态,是最常见的“行动幻觉”来源。
⑤ 线上抽检
前四道都是自动的,最后这道必须靠人。
- 抽样复核,重点看“应该拒答却给了答案”的样本;
- 自动指标:引用覆盖率(有 cite 的论断占比)、工具调用成功率、参数校验失败率、拒答率;
- 建一个“应当拒答”的评测集——只测“答对了多少”会掩盖幻觉,必须同时测“该闭嘴时闭没闭嘴”。
四、几个反直觉的判断
让同一个模型自查,效果有限。 它用的是同一套先验,会把错误的推理“合理化”得很顺。要么换一个模型审,要么在审查 prompt 里塞原文让它逐句对照,要么干脆用程序规则。
调低 temperature 不是解药。 温度 0 只是让输出更稳定,编造的内容会更一致地编错,反而更难被发现。
RAG 只解决“没知识”,不解决“有知识还乱说”。 检索到了正确的段落,模型仍然可能总结偏、漏条件、把两段无关内容拼成事实。
上下文不是越多越好。 塞太满会稀释关键信息,中间位置的内容召回率明显更低。宁可分两次问,也不要一次塞十万字。
五、有些幻觉治不了,也不该硬治
- 模型能力不够。 复杂多步推理,小模型就是做不对,加多少校验都没用。
- 知识本身缺失。 库里没有的东西,只能拒答或转人工。
- 任务定义模糊。 用户的问题本身没有唯一答案,这时该反问,而不是硬答。
- 成本约束。 每道题跑三次模型投票,准确率会上升,账单也会。
这些情况下正确的做法是降级:把“执行”改成“建议”,把“自动完成”改成“生成草稿待确认”。降级比硬猜诚实,也比硬猜安全。
六、落地顺序
如果只能做一件事,做这个:给所有有副作用的工具加结构化回执和幂等键。 它挡住的是最危险的那类幻觉,改动量还小。
然后依次是:输出结构化 → 关键字段加引用回查 → 线上抽检建指标。多模型投票、critic 审查这类手段放在最后,因为它们最贵,而且前几层没做好的时候,它们的收益会被淹没。
七、结论
幻觉消不掉,只能收敛。
工程上的目标很具体:让“错了”这件事在系统里可见。schema 挡住格式错,引用回查挡住无依据,回执挡住假完成,抽检挡住漏网。这四道都是确定性的,能挡住大部分问题。
剩下的那部分,交给模型能力提升,以及一条诚实的降级路径。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)