RAG项目里,检索和生成哪个更容易成为瓶颈

上周帮一个做客服机器人的团队排查问题。他们 RAG 召回率 92%,但用户满意度只有 61%。我一开始也以为是生成模型不够强,后来看日志发现,检索回来的 top-k 段落虽然相关,但没有回答用户的真实问题。做了两个改动:一是加上 rerank,二是把 chunk 从 512 改到 256。一周后满意度从 61% 涨到 78%。我的判断是:检索和生成都会成为瓶颈,但顺序上,先把检索质量稳住更重要。生成模型再强,也救不回错误的上下文。你们做 RAG 时,是卡在检索还是生成?评论区交流。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐