01

PART

开篇:一个"编得头头是道"的机器人

HOOK · 模型的"知道"是一种"联想"

模型的"知道",是一种怎样的"知道"

要理解 RAG 为什么必要,先得破除一个误解:**大模型不是"知道",而是"联想"。**模型把几十 TB 的训练数据,压缩成了几千亿个参数。你问它问题,它做的不是"查记忆",而是"根据上下文,按概率生成最像正确答案的下一段话"。这带来两个后果:

① 它记得住"规律",记不住"事实"。能聊三国,是因为"三国"在训练数据里出现成千上万次;但记不住"我家楼下的便利店几点关门",因为那条信息在它眼里只是 0.0000001 个样本。

② 它分不清"记得"和"编"。输出"北京的冬天很冷"和"我们公司的报销找张三",在机制上没有区别——都是概率生成。没见过"张三",它不会说"我不知道",它会编一个"张三"。

这就是幻觉的根源,也是 RAG 存在的第一性理由:**模型不该被要求"记住"一切,而应该被教会"查一下再答"。**具体来说,模型有三个绕不开的短板,RAG 恰好每个都补得上:

**1. 知识有保质期。**模型的知识截止在训练完成那天。2026 年的今天,问它"最新的 iPhone 是哪款"——训练数据里根本没有,它只能猜一个。RAG 让它先去搜,再答。

**2. 私有数据它永远没见过。**你的公司文档、你的产品手册、你的内部制度,这些是模型训练时拿不到的。再强的模型也不知道你司报销流程。RAG 把你的文档库变成它"随取随用的参考书"。

**3. 幻觉改不了,但可以绕。**幻觉是生成式模型的底层特性,没法根除。但 RAG 能做到"退而求其次":让它基于检索到的事实作答,就算模型还是可能添油加醋,至少大方向有依据,错误率能大幅下降。

02

PART

小白也能懂:RAG 是什么,一句话

BASICS · 先检索,再生成

RAG = Retrieval-Augmented Generation(检索增强生成),翻译过来就是:**先检索,再生成。**给模型配一个"图书管理员":

用户提问 → 管理员翻书(检索) → 翻到相关几页 → 把这几页递给答题者 → 答题者照着书答

模型是那个"记忆力惊人但死记硬背"的答题者,RAG 就是那个"随叫随到的图书管理员"。答题前先翻书,答出来的内容有据可查,而不是凭空发挥。

再往深一层:RAG 不是把整本书塞给模型(那样 token 费爆炸、注意力还稀释),而是"只把相关的那几页递给它"。怎么知道哪几页相关?这就是检索要做的事。完整 5 步:

第 1 步 切分 把文档库切成小块(chunk),比如每 500 字一块
第 2 步 向量化 把每块文字转成一组数字(向量),“意思相近"的数字也相近
第 3 步 建索引 把这些向量存起来,建好"检索目录”
第 4 步 检索 把问题也转成向量,从目录里找出最相近的 3~5 块
第 5 步 生成 把"问题 + 这 3~5 块原文"发给模型,让它基于内容作答

第 5 步是"生成",前面 4 步全是"检索"。**所以 RAG 的真正难点从来不在生成,而在检索——找得准不准,直接决定答得对不对。**这个点后面重点讲。

03

PART

开发者实战:一个能跑的 RAG 长什么样

HANDS-ON · 切分到生成的 5 步骨架

用"公司报销政策问答"这个例子,走一遍最小可跑的 RAG。环境:Python 3.12 + anthropic SDK(Embedding 用 OpenAI 的 text-embedding-3-small,向量库偷懒用内存数组,够演示用)。

第 1~3 步:切分 + 向量化 + 建索引

…index.py

文档库就 3 段话,演示用。真实场景是几十上百个 PDF,先得解析

docs = [

“报销制度:发票超过 1000 元需部门负责人审批,超 5000 元需 VP 审批。”,

“差旅标准:高铁二等座凭票实报实销,住宿每晚上限 600 元(一线城市 800)。”,

“审批流程:提交报销单 → 直属主管审批 → 财务审核 → 打款,约 5 个工作日。”,

]

切分这一步最容易被低估:

chunk 太碎 → 语义被切断;chunk 太大 → 塞进一堆无关内容

chunks = [d for d in docs] # 按"句子"当 chunk,够演示

向量化:每段文字 → 一个 1536 维的向量

embeds = [embed(d) for d in chunks] # 每段 → [0.012, -0.087, …]

index = build_index(embeds) # 简化:先存个数组

第 4~5 步:检索 + 生成

…query.py

第 4 步:问题也向量化,找最相近的 chunk(top-k=2)

question = “出差住宿上限是多少?”

q_vec = embed(question)

hits = top_k(index, q_vec, k=2) # 命中"差旅标准"和"报销制度"两段

第 5 步:命中的原文 + 问题一起交给模型

answer = client.messages.create(

model=“claude-sonnet-5”,

system=“只依据参考资料回答,没有的就说不知道。”, # 这句别省

messages=[{

“role”: “user”,

“content”: “参考资料:\n” + “\n”.join(hits) + “\n\n问题:出差住宿上限是多少?”

}],

)

跑出来的答案:**“高铁二等座实报实销,住宿每晚上限 600 元(一线城市 800 元)。”**全都有出处。

三个容易忽略的细节:

**"只依据参考资料回答"这句 system 一定要写。**否则模型还是会忍不住用它的"记忆"补几句,前功尽弃。

**top-k 别贪多。**3~5 块就够。塞 20 块进去,模型反而抓不住重点,还会把不相关的内容也缝合进来。

**检索命中率低,先别怪模型,回去看切分和向量化。**我调了一晚上,最后发现是文档里有张表格被拆散了。

04

PART

进阶思考:三个深度点 + 观察

ARCHITECTURE · 理解到这一层,才算真的懂了

深度点 1:三个补知识的方案,先别急着站队

给模型补知识,有三条路:**重训练/微调、长上下文、RAG。**很多人一上来就问"该用哪个",其实它们解决的是不同层面的问题:

维度微调长上下文RAG
本质把知识写进参数把知识临时塞进对话把相关片段喂给模型
成本要数据、算力、时间token 按全量算建索引一次,查询便宜
时效旧,训完又过时实时,取决于塞什么实时,更新索引即可
私有数据能学进去能塞进去最适合
典型翻车灾难性遗忘、学坏token 爆炸、注意力稀释检索不到、检索到垃圾

一个被低估的事实:**长上下文不是"越长越好"。**有论文专门测过(Lost in the Middle),模型对塞进去的长文本,开头和结尾记得最牢,中间部分经常"视而不见"。把 10 万字的文档库整个塞进上下文,看着省事,实际是让模型从大海捞针,还贵得离谱。RAG 的价值就是提前帮你把"针"捞出来,只递那几页。

说两句得罪人的话:大多数场景,微调是最后的选择。微调适合的是"让模型学会一种行为/风格",不是"让模型记住事实"。你见过哪个正经产品靠微调让模型背产品文档的?要数据、要算力、要排期,训完还容易把原来的能力冲掉(灾难性遗忘)。想补事实,RAG 是第一选择。

深度点 2:检索质量 > 生成技巧,命门在"找得准"

RAG 的 5 步里,4 步是检索。**检索是上游,生成是下游——检索召回的是垃圾,模型再强也答不对。**我跑过一个小对照(单次测试,趋势可信,别当严谨 benchmark):同一批 20 个公司政策问题,纯模型 vs RAG:

方案事实正确率典型翻车
纯模型(不检索)65%把"600 元上限"编成"800",还编了个不存在的审批人
RAG(检索 top-2)90%偶发:检索到相邻但无关的片段,答非所问
RAG + 重排95%基本没有,重排把最相关的顶到最前面

三个数字能看出两层:第一,RAG 确实把错误率从 35% 压到了 10% 以下;第二,提升空间全在检索环节——加个重排(rerank),正确率又涨一截。

重排是什么?就是第一次向量检索捞出 20 个候选,再用一个更强的排序模型,把最相关的 3 个挑出来。相当于图书管理员先粗翻一遍书架,再精读确认哪几页真的相关。检索的深度,决定了 RAG 的天花板。

深度点 3:RAG 治的是"有依据",不是"会推理"

最后泼盆冷水:**RAG 解决的是"事实性",不是"能力"。**模型本身推理弱,RAG 不会让它变强。你问"我们公司报销政策的漏洞在哪",RAG 能给你政策原文,但"分析漏洞"这一步,还是模型自己的本事。RAG 的定位是"给答案找依据",不是"替模型思考"。

还有一类 RAG 治不了的:**检索结果本身是错的。**文档库里有过时文档,RAG 会一本正经地把过时的政策答给你。所以生产环境里,文档库的维护(去重、更新、版本管理)和检索链路一样重要——你喂给 RAG 的库脏了,模型只会更自信地错。

几点观察

**RAG 正在被"内置"。**主流 Agent 框架和云厂商都把检索封装成标准组件,你声明"文档在哪儿",框架帮你切分、建索引、检索。自己写管道的人越来越少了。

**混合检索是标配。**纯向量检索会漏掉精确关键词(比如型号 “A-1000”),BM25 这类关键词检索刚好互补。2026 年的正经 RAG 都是"稀疏 + 稠密"两条腿走路。

**GraphRAG 在爬坡。**把文档抽成"实体 + 关系"的图谱再检索,能答跨文档的"哪些部门涉及这个流程"这类问题,但贵、慢,适合深度知识库。

**RAG 与 Agent 融合。**检索不再是一次性的,而是 Agent 在任务过程中"边查边决定下一步查什么"——上一期讲的 ReAct 里,Action 步骤调的不只是 API,也可以是检索器。

传统产品经理,正在成为下个被淘汰的“传统岗位”。

过去画原型、写 PRD、跟进度的“传统技能包”,在AI时代正迅速贬值。63% 的企业转型做 AI 产品!当下的问题不再是“要不要学 AI ”,而是“如何构建 AI 产品”。

前段时间还跟字节、腾讯的资深 AI 产品经理沟通,他们反馈:在大量招人,只要有 AI 相关的项目经验,基本都能拿到面试机会,而且领导很舍得给钱,涨薪 40-60% 很正常!
图片

01

接下来的产品人,得卷AI能力了!

如今AI大火,行业极速发展的背后,懂AI 产品人才却严重稀缺。这不是要你转技术岗,而是要掌握构建 AI 产品的核心方法:

  • 如何将你的领域知识,转化为 AI 产品的核心竞争力?
  • 如何用 AI 技术实现你的产品需求?
  • 如何设计真正懂用户的 AI 交互体验?
  • ……

懂AI,就是产品经理的“救命稻草”!

风口之下,与其焦虑被行业淘汰

不如先人一步享受AI技术带来的红利!

我把AI产品经理的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

(不限年龄!不限岗位!没有代码基础也能学!)

🎁现在扫码,完课还送:

《AI产品面试题库》《AI大模型应用案例集》

02

掌握技术+实战,快速转型!

想成为一名卓越的AI大模型产品经理,需要从技术、到项目实战的全方位转型指南!

**1)**AI产品应用原理解析,产品经理也能听懂!

对于产品经理来说,如果你不懂技术,做不了业务和AI大模型技术衔接、定义不了数据需求,是没法完整的落地一个产品的!

本次课程,专门面向产品经理人群,解析当下最热门的AI产品应用的必备的「大模型」、「多模态」的实际应用和算法原理!解析AI产品应用技术,积累大模型能力!简单易懂,不需要会代码,小白也能掌握!

  • 大模型微调:掌握主流大模型(如DeepSeek、Qwen等)的微调技术,针对特定场景优化模型性能。学习如何利用领域数据(如制造、医药、金融等)进行模型定制
  • AI Agent智能体搭建:学习如何设计和开发AI Agent,实现多任务协同、自主决策和复杂问题解决。构建垂类场景下的智能助手产品(如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等)

图片

2)超全行业案例解析!

课程详细讲解现阶段,大模型在各个行业和领域的应用现状!包括:零售与电商、教育、医疗、泛娱乐、法律等等10大行业!

详细讲解案例的思路、应用场景,以及背后的技术原理、核心技术!揭秘各个行业、场景的真实现状,和未来产品的发展与机遇!

图片

可以说,讲解完一个案例,就能积累一个AI产品实践的经验!

课程中所涉及到的实战项目,都可以直接在自己的工作中使用,让自己的产品/项目有可借鉴的成功案例!

3)AI产品经理求职专项辅导

课程中会系统的帮助大家拆解字节、腾讯、百度等大厂AI PM岗位JD关键词,掌握AI PM高频面试题型与回答框架;展示 AI 相关能力的关键技巧:Prompt设计、模型评估、A/B测试、成本意识、与算法/工程协作经验;

  • To B类AI产品经理:突出“行业理解 + 技术落地 + 商业闭环”能力的简历结构设计,展示项目成果;从客户需求洞察到技术方案设计,展现端到产品思维;如何评估To B AI产品的可行性、客户付费意愿与实施成本
  • To C类AI产品经理:拆解头部公司岗位JD,将过往尽力转化为AI产品叙事逻辑;从行业趋势、产品设计题、案例分析&数据分析题、技术理解边界等全流程辅导面试;避免无效海投、锁定最适合的AI产品岗位;

图片

03

本次课程,全程直播讲解,能直接对话大佬和专业助教,不懂就问,超详细的案例,小白也能轻松get!

完课后,还赠送《AI产品经理面试题库》、《AI大模型应用案例集》!不断更新中……

图片

适合人群:

  • 想转型AI产品经理、AI项目管理专家、AI产品解决方案等岗位
  • 想进行AI产品创业的创业者
  • 想成为制作AI产品的程序员
  • 想利用AI解决企业问题的管理岗
  • 想在AI方向寻找就业方向的毕业生
  • AI方向前景广阔、待遇好!

目前,很多产品人已经通过完整学习拿到大厂高薪offer,收入嗷嗷涨!

我把AI产品经理的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐