LLM

一、LLM 是什么？

LLM（Large Language Model，大语言模型）是一种用海量文本训练出来的神经网络，核心能力是：根据已有文字，预测下一个最可能出现的文字，并反复这样做，从而「生成」一整段回复。Agent、聊天机器人、代码助手，底层几乎都是 LLM。后面调 API、写 Prompt、做 Function Calling 时容易踩坑。

二、Token 是什么？

Token 是模型处理文本的最小单位，不是「一个字 = 一个 token」。

英文：“Hello world” 大约 2 个 token
中文：“你好世界” 大约 4～8 个 token（因模型和分词器而异）

分词过程叫 Tokenization，由模型自带的 tokenizer 完成。

为什么重要

• 计费：API 通常按 token 数收费（输入 + 输出）
• 长度限制：上下文窗口用 token 衡量，不是字符数
• 截断：超出窗口的内容会被截掉或报错，输入没超，但输出太长也会被截断

三、上下文窗口（Context Window）

上下文窗口 = 模型单次能「看到」的最大 token 数，输入 + 输出合计不能超过这个上限。多轮对话时，每一轮都要把历史消息再发一遍。历史越长，占用的 token 越多，迟早会顶到窗口上限。

四、模型（Model）是什么

模型 = 一套训练好的权重 + 对应的 tokenizer + 能力配置。调用 API 时要指定 model 参数，例如：

model = "deepseek-chat"   # 或 gpt-4o、qwen-plus 等

为什么有不同模型

维度	说明
能力	推理、代码、多语言强弱不同
速度	小模型快，大模型慢
价格	通常能力越强越贵
窗口	上下文上限不同

五、API 调用流程（核心）

一句话对照

步骤	发生什么	谁在做
请求	发 JSON（含 prompt 文字）	你的程序
调度	鉴权、选模型、分配算力	API 服务商
Encode	文字 → token ID	推理服务（tokenizer）
推理	逐个生成新 token ID	GPU + 大模型
Decode	token ID → 文字	推理服务（tokenizer）
响应	JSON（content + usage）	API 服务商 → 你的程序

术语对照

词	英文	是什么	在流程里对应
推理	Inference	一个动作：用已训练好的模型，根据输入算出输出	对照表第 4 步
推理服务	Inference Service	一套程序/系统：负责把请求送进模型、再把结果拿出来	Mermaid 里的 INF[推理服务]

GPU 集群

是跑大模型的物理算力，通常是一批装了 NVIDIA GPU（如 A100、H100）的服务器组成的集群。

大模型推理要做海量矩阵运算，GPU 很适合这种并行计算
API 服务商（OpenAI、DeepSeek 等）把模型部署在这些 GPU 上
你发请求 → 服务商调度 → 分配到某台/某组 GPU 上执行推理

所以流程里「GPU 集群，大模型」可以理解为：

概念	是什么
大模型	软件：训练好的 AI 模型本身
GPU 集群	硬件：运行这个模型的算力基础设施

两者配合：GPU 集群负责算，大模型负责生成 token。

典型响应结构

典型结构类似：

{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "你好！有什么可以帮你的？"   // 已是普通文字，不是 token
      }
    }
  ],
  "usage": {
    "prompt_tokens": 10,
    "completion_tokens": 8,
    "total_tokens": 18
  }
}

六、和 Agent 的关系

今天只建立地图，后面会细化：

Chatbot：  用户 → LLM → 回复（一轮或多轮）
Agent：    用户 → LLM →「我要调工具」→ 执行工具 → 结果再给 LLM → … → 最终回复

LLM 在 Agent 里是决策者，不是唯一组件。工具、记忆、循环逻辑都是你自己写的代码