RAG项目里,检索和生成哪个更容易成为瓶颈
上周帮一个做客服机器人的团队排查问题。他们 RAG 召回率 92%,但用户满意度只有 61%。我一开始也以为是生成模型不够强,后来看日志发现,检索回来的 top-k 段落虽然相关,但没有回答用户的真实问题。做了两个改动:一是加上 rerank,二是把 chunk 从 512 改到 256。一周后满意度从 61% 涨到 78%。我的判断是:检索和生成都会成为瓶颈,但顺序上,先把检索质量稳住更重要。生成模型再强,也救不回错误的上下文。你们做 RAG 时,是卡在检索还是生成?评论区交流。
所有评论(0)