本文详细介绍了强化学习的基础知识、核心理论及常用算法，对比了LLM-RL与Agentic-RL的区别，强调了Agentic-RL在真实任务中的必要性。文章还展示了业界优秀实践及多种Agentic-RL训练框架，帮助读者理解如何打造能够自主学习、迭代的高性能智能体系统。

一、RL 基础知识

1、什么是 RL

强化学习是机器学习的三大核心分支之一（另外两个是监督学习、无监督学习），核心逻辑是：智能体（Agent）通过与环境（Environment）的持续交互，通过“试错”学习最优行为策略，以最大化长期累积奖励（Reward），其流程图如下所示：

RL基本流程

可以用一个通俗的类比理解：

• 智能体（Agent） = 正在学习的“机器人 / 模型”（比如自动驾驶汽车、大模型、工业机械臂）；
• 环境（Environment） = 智能体所处的场景（比如城市道路、对话场景、工厂生产线）；
• 状态（State） = 环境的实时情况（比如道路拥堵、用户的提问、机械臂的位置）；
• 动作（Action） = 智能体的决策（比如刹车、模型的回复、机械臂的抓取动作）；
• 奖励（Reward） = 环境对动作的反馈（比如安全通过路口得正奖励、用户满意回复得正奖励、抓取失败得负奖励）；
• 策略（Policy） = 智能体学到的“决策规则”（比如“看到红灯就刹车”“用户问事实就输出准确答案”）。

2、RL 的核心特点（区别于其他机器学习）

1. 无监督标注：不需要提前准备“输入 - 输出”的标注数据（比如监督学习需要的“图片 - 标签”），数据通过智能体与环境的交互实时生成；
2. 长期视角：不追求单次动作的“即时奖励”，而是最大化“长期累积奖励”（比如自动驾驶不会为了短期加速而忽视长期安全）；
3. 探索与利用（Exploration vs Exploitation）：智能体需要在“尝试新动作（探索未知策略）”和“使用已知有效动作（利用已有经验）”之间平衡，避免陷入局部最优。

3、为什么需要 RL

物理世界中，很多真实问题本质上就是「序列决策」，凡是符合以下几种情境的场景下，强化学习都天然适用：

• 机器人控制：机械臂抓取、无人机飞行、自动驾驶。
• 游戏 & 对弈：围棋、星际争霸、Dota2（AlphaGo、AlphaStar）。
• 推荐与广告：不是只看「这一条推荐是否被点」，而是看长期用户价值：留存、生命周期价值、多次交互。
• 运筹 & 调度：仓储选址、路径规划、资源调度（多少机器处理多少任务）。
• 对话系统 & Agent：一个 Agent 多轮对话、调用工具、写代码、检查结果，这些都是「长链路、多步反馈」的过程。

这些场景共性就是：当下的选择会影响「未来能走到的状态」，而我们关心的是整体长期收益，不是某一步的得失。 这类问题，用纯监督学习往往很难建一个特别合理的目标函数，RL 则是为这种情形量身定做的。

4、举例说明

下面使用一个悬崖漫步的例子说明一下强化学习。从 4×12 的网格左下角状态（Initial State）出发，目标是右下角的旗帜状态（Goal State）。

智能体（Agent）可以采取 4 种动作（Action）：上、下、左、右，环境中有一段是悬崖，智能体每走一步奖励（Reward）是 -1，掉入悬崖是 -100，掉入悬崖和到达终点都是终止态，会回到起点，而最终从起点到终点的最优路径就是策略（Policy）。

图2. RL 示例

除此之外，对大模型 / Agent 来说，RL 更是「后训练」阶段的核心工具，其带来的好处包括：

• 能直接优化**「任务成功率」而不是「和标注相似度」**。
• 能允许模型在一些场景里探索新的策略，而不是拘泥于人类示范。
• 天然适合**「Agent + 工具 + 环境」**的一整套闭环。

综上，强化学习的核心价值在于它是解决“决策型 AI 问题”的唯一有效技术，并且能降低数据成本、适应动态环境。

二、RL 核心理论

1、问题建模：马尔可夫决策过程（MDP）

强化学习到底在学习什么？要想回答这个问题，我们可以将其抽象成一个经典 MDP（Markov Decision Process，马尔可夫决策过程），一个（折扣）马尔可夫决策过程通常写成一个 5 元组：

其核心要素如下：

• 状态空间S：当前环境的刻画，比如棋盘布局、机器人位置、当前对话历史等。

• 动作空间A：在这个状态下，智能体能做的选择：走一步、说一句话、推荐一个商品、买/卖/不动…

• 转移概率P：给定当前状态和动作，下一状态的分布，其体现了系统的物理/业务演化规律，通常对智能体是未知的，表达形式如下：
  

• 奖励函数R：环境给的一句「好/不好」的反馈，可以是立即的，也可以是很延迟的，常见写法如：
  

• 折扣因子
  ：用来定义「未来奖励」的重要程度，R 越接近 1 越重视长期收益， 越小越「短视」，只在乎眼前利益。

2、核心概念：值函数

为什么需要值函数？在前面的 MDP 里，我们的目标是最大化期望回报，但这个目标是「整条轨迹」级别的，不够“局部化”。

为了能对“当前在某个状态/做某个动作”进行评估，我们引入值函数（value function）：

值函数 = 在某个状态（或状态 + 动作）下，未来能拿到的“好处”的期望。

它把「整条未来」压缩成一个标量，方便比较、优化和做动态规划。

值函数有以下几种定义形式：

3、核心概念：Bellman 期望方程

总体上，任何状态的回报都可以被拆解为两个部分：一是从当前状态到下一个状态的即时奖励；二是从下一个状态开始，按照特定策略行动，未来的折扣回报。

值函数的关键性质是满足递归关系，而这种递归关系就是 Bellman 期望方程（Bellman Expectation Equation）。

这就是 Bellman 期望方程的离散形式。

图3. 状态价值函数 Bellman 方程图例*

这就是 Q-learning 之类方法的理论基础，即学到
之后，就能通过「在每个状态选 Q 最大的动作」导出最优策略。

图4. 状态-动作价值 Bellman 方程图例

三、RL 常用算法

1、常用算法分类

1. 从优化目标来看，常用 RL 算法包括以下几个类别：

• 基于价值函数的方法（Value-Based）：先学会“每个状态/动作有多好”（价值），再用这个价值函数去导出策略。典型做法为学一个状态价值函数V(s) 或动作价值函数 Q(s，a)。在深度 RL 时代，一般都学 Q 函数（因为更容易直接导出策略），常用算法有 Q-learning 等。
• 基于策略的方法（Policy-Based）：直接学一个
  ，把策略本身当成参数化模型，直接最大化期望回报
  ，常用算法有 REINFORCE 等。
• 策略价值并行方法（Actor-Critic）：同时学习策略（Actor）和价值函数（Critic），用价值函数做「baseline」减小方差，常用算法有 PPO 等。

2. 从数据来源来看，常用 RL 算法可分为以下两个类别：

• On-Policy：训练数据由需要训练的策略本身通过与环境的互动产生，用自己产生的数据来进行训练（可以理解为需要实时互动）。
• Off-Policy：训练数据预先收集好（人工或者其它策略产生），策略直接通过这些数据进行学习。

2、典型算法详解

2.1 Q-learning

Q-learning 每步都在用「目标 = 立即奖励 + 折扣后的下一状态最大 Q」来更新当前 Q。

假设：

• 状态空间 S 和动作空间 A都是离散且可枚举；
• 用一个二维表Q[s]【a】 存储每个状态-动作对的 Q 值；

则 Q-learning 算法的伪代码如下：

输入：学习率 α ∈ (0,1]，折扣因子 γ ∈ [0,1)，
      探索系数 ε（可随时间衰减），
      状态空间 S，动作空间 A
初始化：对所有 s ∈ S, a ∈ A，令 Q(s, a) ← 任意值（例如 0）

for episode = 1, 2, ... do
    从环境中初始化状态 s ← s_0
    while s 不是终止状态 do
        # 1. 使用 ε-greedy 策略选动作
        以概率 ε：从 A 中随机选择动作 a
        以概率 1 - ε：令 a ← argmax_{a'} Q(s, a')
        
        # 2. 与环境交互，获得下一步
        执行动作 a，观察到即时奖励 r 和下一个状态 s'
        
        # 3. 计算 TD 目标和更新 Q
        令 y ← r + γ * max_{a'} Q(s', a')      # （若 s' 为终止状态，则 y ← r）
        更新：Q(s, a) ← Q(s, a) + α * (y - Q(s, a))
        
        # 4. 状态前移
        s ← s'
    end while
end for

2.2 REINFORCE

这就是 REINFORCE 的核心策略梯度公式，即在某个状态下，如果这次行为后面的回报 Gt 很高，就增大它的 log 概率；反之就减小。

该算法伪代码实现如下：

算法 REINFORCE(α, γ)
初始化策略参数 θ（例如随机）

loop:  # 训练迭代
    # 1. 采样一条完整的 episode
    s ← env.reset()
    记录列表: states = [], actions = [], rewards = []
    while episode 未结束:
        根据当前策略 π_θ(·|s) 采样动作 a
        执行动作 a，获得 r, s'
        将 s, a, r 追加到各自列表
        s ← s'
    
    # 2. 计算每个时间步 t 的折扣回报 G_t
    G ← 0
    returns = 空列表
    对 rewards 从后往前遍历:
        G ← r + γ * G
        将 G 插入 returns 头部  # 得到 [G_0, G_1, ..., G_{T-1}]
    
    # 3. 计算梯度并更新 θ
    梯度估计 g ← 0
    对每个时间步 t:
        g ← g + G_t * ∇_θ log π_θ(a_t | s_t)
    θ ← θ + α * g

2.3 PPO

近些年来非常流行对大语言模型做“基于人类反馈”的强化学习微调（RLHF），其核心流程是：先有一个预训练语言模型（或初步监督微调好的 SFT 模型），再结合人类偏好或自动奖励模型，对其进行策略优化，PPO 就是该系列的主力算法。

PPO（Proximal Policy Optimization）是 OpenAI 在 2017 年提出的一种策略优化（Actor-Critic）算法，专注于简化训练过程，克服传统策略梯度方法（如 TRPO）的计算复杂性，同时保证训练效果。

• 问题：在强化学习中，直接优化策略会导致不稳定的训练，模型可能因为过大的参数更新而崩溃。
• 解决方案：PPO 通过限制策略更新幅度，使得每一步训练都不会偏离当前策略太多，同时高效利用采样数据。

假设你是一个篮球教练，训练球员投篮：

• 如果每次训练完全改变投篮动作，球员可能会表现失常（类似于策略更新过度）。
• 如果每次训练动作变化太小，可能很难进步（类似于更新不足）。
• PPO 的剪辑机制就像一个“适度改进”的规则，告诉球员在合理范围内调整投篮动作，同时评估每次投篮的表现是否优于平均水平。

PPO 遵从 On-Policy 的策略，On-Policy 的策略一般由四个关键组件组成训练的 pipeline：

• Actor：产生动作的策略，最终需要学习得到的 model。
• Critic：评估动作或状态的价值的网络，预测生成一个 token 后，后续能带来的收益。
• Reward Model：对状态转移给出即时的奖励的模型或者函数，输入 query 和 response，输出一个得分。
• Reference Model：参考模型，通常是 SFT 后的 model，这是为了防止在训练过程中，策略网络在不断的更新后，相对于原始策略偏移地太远（避免它训歪了）。

PPO 算法伪代码实现如下：

初始化参数 θ（actor）和 φ（critic）

loop:  # 每一轮迭代
    # ===== 1. Rollout 收集数据 =====
    trajectories = []
    for env_step in range(T):  # 也可以多环境并行
        s_t = 当前状态
        a_t ~ π_θ(·|s_t)
        执行 a_t 得到 (r_{t+1}, s_{t+1}, done)
        记录 (s_t, a_t, r_{t+1}, done, log π_θ(a_t|s_t), V_φ(s_t))
        if done: 重置环境
    
    # ===== 2. 计算优势和回报 =====
    用 GAE(γ, λ) 从后往前计算 A_t
    用 G_t = A_t + V_φ(s_t) 作为回报目标
    对 A_t 做归一化
    
    # ===== 3. 多 epoch，小批次优化 =====
    for k in range(K):  # K 个 epoch
        对 trajectories 打乱并按 batch_size 分组
        for 一个 minibatch B:
            从 B 中取出 s, a, A, G, logπ_old, V_old
            
            # 重新算当前策略的 log prob
            logπ_new = log π_θ(a | s)
            r = exp(logπ_new - logπ_old)
            L_clip = mean( min( r * A, clip(r, 1-ε, 1+ε) * A ) )
            V_new = V_φ(s)
            value_loss = mean( (V_new - G)^2 )
            entropy = mean(策略熵)
            loss = -L_clip + c1 * value_loss - c2 * entropy
            
            对 (θ, φ) 进行一次梯度下降

2.4 DPO

鉴于经典 RLHF pipeline（以 PPO 为例），在 RL 优化策略的步骤同时要在线采样、计算 value function、advantage、clip… 工程上比较重。

DPO（Direct Preference Optimization）算法提出其核心主张：KL 正则的 RLHF 目标，其实可以在闭式下解出「最优策略的形式」，然后直接用分类损失 / logistic loss 去拟合这个最优策略，完全不用显式 reward model，也不用 RL 采样。

DPO 与 RLHF 算法对比如下：

图5. DPO 与 RLHF 算法对比

DPO 的核心特点如下：

DPO 算法伪代码实现如下：

输入：
- 参考模型 π_ref（冻结参数）
- 可训练模型 π_θ（初始参数 = π_ref）
- 偏好数据集 D = {(x, y_pos, y_neg)}
- 超参数：β, learning_rate, batch_size, num_epochs

for epoch in 1..num_epochs:
    对 D 打乱并按 batch_size 划分
    for (x_batch, y_pos_batch, y_neg_batch) in mini-batches:
        # ----- 1. 计算 log prob -----
        # 对正样本
        logp_pos_theta = log π_θ(y_pos | x)      # shape: [B]
        logp_pos_ref   = log π_ref(y_pos | x)    # shape: [B]
        # 对负样本
        logp_neg_theta = log π_θ(y_neg | x)      # shape: [B]
        logp_neg_ref   = log π_ref(y_neg | x)    # shape: [B]
        
        # ----- 2. 构造 Δ log prob -----
        delta_theta = logp_pos_theta - logp_neg_theta    # Δlogπ_θ
        delta_ref   = logp_pos_ref   - logp_neg_ref      # Δlogπ_ref
        
        # ----- 3. DPO logistic loss -----
        logits = β * (delta_theta - delta_ref)   # shape: [B]
        # 概率目标：P( y_pos 被选中 ) = σ(logits)
        # 负对数似然：
        dpo_loss = - mean( log σ(logits) )
        
        # ----- 4. 反向传播 & 更新 -----
        loss = dpo_loss
        对 θ 做一次梯度下降更新

2.5 GRPO

GRPO（Group Relative Policy Optimization）是 DeepSeek 提出的强化学习算法，专为优化大语言模型（如 DeepSeek-V3）设计。它通过组内相对奖励代替传统价值模型，降低训练成本，同时保持策略稳定性。

GRPO 与 PPO 算法的流程对比如下：

图6. GRPO VS PPO

相较于 PPO，GRPO 的核心 idea 如下：

• 干掉 Critic，不再训练 value function；
• 每个 prompt 一次采样一组输出（group），用组内的平均 reward 当 baseline；
• 优势 A完全由「相对于组平均的 reward」来计算；
• 仍然保留 PPO 的 clip 比例和 KL 正则，更新稳定性不丢。

GRPO 的最终目标：group + 无 critic + KL 直接进 loss

GRPO 算法伪代码实现如下

给定：
- 初始策略模型 π_θ_init （通常是 SFT checkpoint）
- 奖励模型 r_φ
- 参考模型 π_ref （初始 = π_θ_init）
- 任务 prompt 集合 D
- 超参数: ε (clip), β (KL), G (group size), μ (每批上内循环步数)

初始化 θ ← θ_init

for outer_iter = 1..I:
    设置参考模型 π_ref ← π_θ     # 冻结一份
    for step = 1..M:
        从 D 采一批 prompt：{q}
        设 π_old ← π_θ          # 用当前策略作 roll-out 策略
        
        # ----- 1. 采样 group 输出 -----
        对每个 q:
            采样 G 个输出 {o_i} ~ π_old(· | q)
        
        # ----- 2. 计算 group reward -----
        用 r_φ 对所有 (q, o_i) 打分，得到 {r_i} 或 step-level reward
        
        # ----- 3. 计算组相对优势 A_hat_{i,t} -----
        - outcome RL:  Â_{i,t} = (r_i - mean(r)) / std(r)
        - process RL:  用所有 step reward 标准化后，令
                       Â_{i,t} = sum_{future steps} normalized_reward
        
        # ----- 4. policy update: 多次 GRPO 内循环 -----
        for k = 1..μ:
            对这一批 (q, {o_i}) 计算：
                - 比率 r_{i,t} = π_θ / π_old
                - PPO-style clip surrogate using Â_{i,t}
                - KL(π_θ || π_ref)
            形成 J_GRPO(θ)，对 -J_GRPO(θ) 做一次梯度下降

四、LLM-RL VS Agentic-RL

1、LLM-RL（目前主流的 RLHF / PPO 微调）

LLM-RL 典型形态如下：

• 模型：一个大语言模型 ，输入 prompt，输出一整段回答；
• 环境：几乎没有显式环境，更多是“离线日志 + 打分器（RM）”模式；
• 奖励：人类偏好/排名（RM 输出的标量）或者简单功能性 reward（例如 code 能运行、数学题对不对）；
• 算法：PPO / DPO / RPO / GRPO 一类的「对整段回答的概率分布做调整」。

可以粗暴理解为：把 LM 当成一个大 policy，每次行动就是“生成一整个回答”，然后根据这次回答的评分，整体推一下参数。

基本特征如下：

• 单轮或短上下文；
• 没有显式状态转移（环境不会因为你这次回答改变「可观测状态」）；
• 没有真正意义上的探索策略，只是从现在的 LM 采样几条候选。

如下图所示，LLM-RL 的架构更像是一个被严密监控的“内部自我博弈”系统。它的核心不在于使用工具的能力，而在于在“奖励模型”和“参考模型”的双重约束下，提升文本输出 Token 的结果。环境其实就是 Reward Model + Reference Model，这是一个虚拟的、静态的数学环境，优化的是文本的概率分布。

简单举个例子，LLM-RL 架构就是一个“带私教的模拟考试”系统：

1. 学生 (Actor)：也就是我们要训练的 LLM，负责答题。
2. 考官 (Reward Model)：代表人类喜好，只在最后打一个总分（比如：这篇 80 分）。
3. 紧箍咒 (Ref Model)：防止学生为了刷分而走火入魔（乱凑字数），强迫它保持正常说话的习惯。
4. 私教 (Critic)：因为考官只给总分，私教负责实时预测分数，一步步告诉学生：“刚才那句写得好，继续保持；这句写得烂，下次改掉”。

一句话总结：学生 (Actor) 在 私教 (Critic) 的指点下，努力讨好 考官 (Reward) 拿高分，同时还得戴着 紧箍咒 (Ref) 别乱写。

图7. LLM-RL 流程图

2、Agentic-RL（基于智能体的强化学习）

这里的「Agent」指的是：

一句话总结，Agentic RL = 在“状态–动作–环境反馈”这个闭环上做 RL，LLM 只是这个闭环里实现策略的一部分。

这时候 LLM 不再仅仅是“嘴巴”（生成文本），而是成了“大脑”（决策中心），它通过操纵“四肢”（工具/API）与“世界”（环境）交互，并根据“绩效指标”（Reward）来优化自身的决策逻辑，如下图所示。

图8. Agentic-RL 流程图*

3、LLM-RL vs Agentic-RL 关键差异

3.1 环境 & 交互形式

• LLM-RL：

• 环境基本是静止的：给你一个 prompt，你吐一个回答，结束；
• reward 在“episode 终点”给（整条回答一个分）；
• 不存在“对同一个任务多轮试错”这个概念。

• Agentic-RL：

• 环境是动态的：查询数据库会改变上下文；调用 API 可能改变外部世界；用户下一句话取决于你刚刚的回答；
• 回合可以很长，多步骤、多工具、多轮对话；
• 需要通过多轮 trial-and-error 去发现更好的策略；

换句更尖锐的话：LLM RL 优化的是「一次性吐答案」的质量；而 Agentic RL 优化的是「多步交互过程」本身。

3.2 行动粒度 & 信用分配（credit assignment）

• LLM-RL：

• 行动粒度 = token 或整段回答；
• reward 通常只在「最后」给一次（正确/错误、人类偏好分）；
• 信用分配基本是「把奖励摊到所有 token 上」，最多用 GAE 平滑一下；

• Agentic-RL：

• 行动是高层决策：调用哪个 tool、读哪张表、如何规划子问题、是否结束任务；
• reward 可以在流程中的多个关键节点给（找到正确子问题、选中对的表 / API、成功更新知识库等等）；
• 信用分配可以精准到「哪一步决策让任务走向成功/失败」；

对「数据 Agent / 工具 Agent」来说：真正重要的是“每一步选的工具和操作是否对任务有贡献”，这个粒度上，单纯对最终回答打个分再 PPO 一下，是很难学到东西的。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

大模型入门到实战全套学习大礼包

1、大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

---

2、大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

3、AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

4、大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

5、大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

适用人群

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】