做 Agent 落地的团队,几乎都会经历同一个阶段:一开始只给它一个对话窗口,跑着跑着上下文爆了,于是接一个向量库,把所有历史、文档、用户信息一股脑塞进去,需要的时候做相似度检索再拼回 prompt。

这一步做完,问题往往不减反增。同样的问题问两次,召回的内容不一样,输出就飘;用户明明改过偏好,Agent 还在按半年前的说法回答;检索回来的五段文本里三段是噪声,真正关键的那条事实被挤掉了。

问题不在向量库,在于把三种性质完全不同的东西,塞进了同一种存储。

一、短期上下文:它不该进向量库

当前会话的消息列表,是 Agent 的工作记忆。它的特点是顺序敏感、时效极短、必须完整。

把它向量化再召回,会引入三个代价:一是延迟,每次推理前多一次检索;二是不确定性,同样的对话状态可能召回不同片段,输出稳定性直接下降;三是丢结构,一问一答的因果关系被切成片段后,检索回来的是散落的句子。

正确的做法还是在窗口里管理:滑动窗口保最近 N 轮,超长时对早期内容做摘要压缩,把工具调用的原始返回折叠成结论。只有在需要跨会话延续时才写出去,而且写出去的不是原文,是提炼后的事实。

二、事实与偏好:需要覆盖,不是需要相似

用户说“我不吃辣”,三天后说“最近开始吃辣了”。这两句话在向量空间里高度相似,top-k 检索会把两条一起召回,模型看到互相矛盾的约束,行为就随机了。

事实类记忆的本质需求是精确读写:按 key 取值、按 key 覆盖、按 key 删除。这正好是键值表或关系表擅长的事,不是向量检索擅长的事。

一张够用的最小表结构大概是:主体、属性、值、来源、更新时间、有效期。写入时按(主体+属性)覆盖,读取时按主体精确查,过期自动失效。涉及用户数据合规时,删除要能真正删掉,而不是留在向量索引里等着被召回。

很多“Agent 记性不好”的抱怨,根子在这里:不是没记住,是记住了旧的和新的一起用。

三、任务轨迹:按任务检索,不是按语义检索

第三类是做过什么:哪类任务成功过、哪种做法失败过、上次这个报表是怎么生成的。

这类记忆适合放向量库,但检索维度要对。它的相似性不是“句子长得像”,而是“任务类型相同”。所以索引时应该用任务描述、涉及的工具、关键参数、最终结果和评价来做,检索时召回整条轨迹,而不是零散段落。

一条轨迹至少要有:任务目标、执行步骤、用到的工具与参数、结果、成败评价。有了这五项,才能拿去做 few-shot 示范,或者在失败轨迹上做反思。

把轨迹切成段落存进去,是最常见的误用——检索回来的片段既不能复用,也不能反思。

四、三个容易踩的坑

第一,写入全靠 LLM 自动抽取。抽出来的东西又碎又有幻觉,重复项堆成山。更稳的做法是规则和表单优先,LLM 抽取只作为补充,并且给每条打置信度和来源。

第二,没有失效机制。三年前的偏好、已经下线的系统、换过的负责人,全都还在生效。每条记忆都该带 updated_at 和 ttl,召回时按新鲜度加权,而不是只按相似度排序。

第三,检索结果直接拼 prompt,不做冲突检测。同一个属性召回多条不同值时,要么按时间取最新,要么显式告诉模型存在冲突,让它追问。直接把矛盾一起喂进去,等于把稳定性交给运气。

写在最后

搭记忆系统,最容易做的是“接一个向量库”,最难做的是分层和遗忘。先用最小结构跑起来:会话窗口管短期,一张表管事实,一个轨迹库管经验。等这三层各自跑顺了,再谈自动抽取和智能压缩。

判断一套记忆系统好不好,有个很朴素的测试:改掉一个事实,看旧值还会不会被召回。会,说明你做的只是检索,不是记忆。

——文/吴佳文,广东省人工智能与机器人学会副秘书长大模型

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐