如果你做过客服机器人、代码助手或者 RAG 问答,一定算过这笔账:每次请求都要把几万 token 的系统提示词、工具定义、 few-shot 示例原样再发一遍。真正变化的只有最后那几百 token 的用户问题,但账单却按整条提示词收。

Prompt 缓存就是为这笔账生的:把每次请求里不变的前缀只算一次,后面复用只收零头。三家都有,但开启方式、价格和坑完全不一样。这篇文章把三家的实测口径一次讲清。

一、缓存到底缓存了什么

先把原理说透,后面三家的差异才好理解。

大模型处理输入分两步:先把提示词算成 KV 缓存(注意力层的中间结果),再基于它逐个生成 token。第一步的计算量和提示词长度成正比,而且每次请求都要重做——哪怕提示词和上一条一模一样。

Prompt 缓存做的事,就是把前缀的 KV 缓存留下来,下次请求前缀相同就直接复用,跳过重复计算。三个要点:

  • 只缓存前缀:从第一个 token 开始连续相同才算命中。中间插一句不同的,命中就从那里断掉。
  • 顺序决定一切:不变的内容(系统提示词、工具定义、文档、示例)放前面,会变的用户问题放最后。前缀里塞一个时间戳、一个用户 ID,整条缓存就作废。
  • 只省输入,不省输出:生成 token 的价格一分不少。输出占比高的场景,缓存省下的比例会被稀释。

一句话结论:缓存省的是“重复发同一段长提示词”的钱,提示词本身越长、重复次数越多,省得越多。

二、Claude:显式标记,读最便宜、写要加钱

Claude 的缓存是显式开启的:你在想缓存的位置插一个 cache_control 标记,告诉 API“从这里往前的内容可以缓存”。一次请求最多 4 个标记,也可以只在请求顶层放一个,让 API 自己选断点。

response = client.messages.create(
    model="claude-sonnet-4-5",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "你是资深代码审查员……(几千 token 的审查规范)",
            "cache_control": {"type": "ephemeral", "ttl": "5m"},
        }
    ],
    messages=[{"role": "user", "content": "审查这段代码……"}],
)

价格分三档(以官方定价页口径为准,不同模型倍数不同):

项目倍数(相对普通输入价)
写缓存,5 分钟有效期1.25 倍
写缓存,1 小时有效期2 倍
读缓存0.1 倍,新模型更低(Opus 5.5 / Sonnet 5.5 是 0.05 倍)

拿 Sonnet 5.5 算一笔账:输入价 2 美元/百万 token,2 万 token 的审查规范发 50 次。不缓存:50 × 2 万 × 2 美元/百万 = 2 美元。开 5 分钟缓存:第一次写缓存 2 万 × 1.25 × 2 美元/百万 = 0.05 美元,后面 49 次读缓存每次 2 万 × 0.1 × 2 美元/百万 = 0.004 美元,合计约 0.25 美元。省了约 88%。

三个实操要点:

  1. 回本线很低:5 分钟缓存第二次请求就回本(多付 0.25 倍写费,每次读省 0.9 倍);1 小时缓存第三次回本。只要确定会复用一次以上,5 分钟缓存就值得开。
  2. 5 分钟是滑动窗口:每次命中都会免费刷新计时。调用间隔不到 5 分钟的长会话,缓存基本不会断。间隔 5 到 60 分钟的场景,改开 1 小时缓存更划算。
  3. 低于下限静默不缓存:新模型最低 512 token,旧一点的 Sonnet 1024、Haiku 2048。提示词太短不会报错,只是按原价计费——很多人以为开了缓存没省钱,其实是前缀没够到下限。

验证方法:看返回的 usage 字段,cache_creation_input_tokens 是写缓存的量,cache_read_input_tokens 是读缓存的量。读缓存长期是 0,先查前缀长度和顺序,别先怀疑计费。

Claude Code 用户不用自己写标记:它在后台自动管理缓存,promptCacheTtl 设置可以改有效期,/usage 里能看到缓存命中占比。

三、OpenAI:全自动,零代码,但折扣只有五折

OpenAI 的缓存是全自动的,不用改任何代码:提示词超过 1024 token,系统自动按 128 token 的块匹配前缀,命中就按缓存价计费。

# 代码不用改。只要前缀稳定、超过 1024 token,就自动命中。
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "(几千 token 的固定指令)"},
        {"role": "user", "content": "新问题……"},
    ],
)
print(response.usage.prompt_tokens_details.cached_tokens)  # 命中了多少 token

价格口径:缓存读回按输入价的 5 折计费。写缓存方面分两代:GPT-4o、o1 这类老模型不收写费,白得折扣;GPT-4.1、GPT-5.6 及更新模型写缓存收 1.25 倍。有效期约 5 到 10 分钟,负载低时可延长到 1 小时左右,用户不能自己设置。

同样 2 万 token 前缀、50 次请求,按 2.5 美元/百万输入价算:不缓存 2.5 美元;全自动缓存后第一次 0.05 美元,后面 49 次每次 0.025 美元,合计约 1.28 美元,省一半左右。

OpenAI 的缓存上限比 Claude 低,因为读只打五折而不是一折。但它零成本接入:不用改代码、不用管标记、不用算回本,对已有系统最友好。想验证有没有命中,看 prompt_tokens_details.cached_tokens 这个字段。

四、Gemini:隐式自动 + 显式建缓存,读一折但显式要交“租金”

Gemini 分两种缓存,用错了会多花钱:

  • 隐式缓存(默认开):Gemini 2.5 及更新模型自带,不用配置。请求前缀和最近的请求相同,就自动按缓存价计费。最低前缀 2.5 Flash 是 1024 token、2.5 Pro 是 2048 token,3.x / 4 系列是 4096 token。
  • 显式缓存(自己建):调 caches.create 把一段内容存成缓存对象,后面的请求引用它。只支持 generateContent 接口,内容最少 32768 token,低于这个数直接报 400 错误。默认有效期 1 小时。

价格口径:缓存读回按输入价的 1 折计费(Gemini 4 Argon 是 5% 的输入价,即 95 折优惠);显式缓存要额外交存储费,Flash 档 1 美元/百万 token/小时,Pro 档 4.5 美元/百万 token/小时,建缓存那次按全价输入计费。

拿 2.5 Flash 算一笔账:输入价 0.3 美元/百万 token,10 万 token 的文档一小时问 10 次。不缓存:10 × 0.1 百万 × 0.3 = 0.3 美元。走隐式缓存:第一次 0.03 美元,后面 9 次每次 0.003 美元,合计约 0.06 美元,省 80%。走显式缓存还要加 0.1 百万 × 1 美元 = 0.1 美元/小时存储费,合计约 0.16 美元——同样 10 次,显式反而比隐式贵。

显式缓存的回本线:2.5 Flash 上,每百万缓存 token 每小时要问约 4 次才回本。它的价值在“保证命中”:隐式缓存命中不保证,高峰期可能被挤掉;显式缓存是预留的,适合每小时固定要问很多次的热文档。调用频率低的场景,显式缓存的存储费会把折扣全吃掉。

五、三家对照表

维度ClaudeOpenAIGemini
开启方式显式 cache_control 标记全自动,无需改代码隐式默认开;显式需 caches.create
最低前缀512 token 起,因模型而异1024 token隐式 1024–4096;显式 32768
读缓存价格输入价 0.1 倍(新模型 0.05 倍)输入价 0.5 倍输入价 0.1 倍(4 Argon 0.05 倍)
写缓存价格5 分钟 1.25 倍;1 小时 2 倍老模型免费;新模型 1.25 倍隐式免费;显式按全价 + 存储费
有效期5 分钟(滑动刷新)或 1 小时约 5–10 分钟,闲时至 1 小时隐式不公开;显式默认 1 小时
回本线第 2 次(5 分钟)/ 第 3 次(1 小时)第 1 次命中即省(老模型)显式约每小时 4 次/百万 token
验证字段cache_read_input_tokenscached_tokenscachedContentTokenCount

六、缓存反而更贵的三类场景

缓存不是免费午餐,以下三种情况开了等于多花钱:

1. 调用间隔太长。 Claude 5 分钟缓存,每次调用间隔 6 分钟:每次都要重新写缓存,付 1.25 倍写费,读 0 次。账单比不开缓存贵 25%。对策:间隔 5 到 60 分钟改 1 小时缓存;间隔超过 1 小时就别开。

2. 前缀每次都在变。 系统提示词里塞了当前时间、随机 request_id、每个用户不同的名字,缓存永远命中不了,写费白交。对策:把不变的部分放前面、可变的部分挪到前缀之后。RAG 检索到的文档要拼在用户问题之前,而不是塞进系统提示词开头。

3. 提示词太短或显式缓存闲置。 前缀不到下限,缓存静默不生效;显式缓存建好一小时只问一次,存储费比省下的钱还多。对策:短提示词不用惦记缓存;显式缓存先算回本线,问得不够密就用隐式。

还有一个常见误解:输出 token 永远不打折。一个请求输入 2 万 token、输出 5 千 token,缓存最多省输入那部分,输出照原价。输出占比越高,缓存的整体省钱比例越低。

七、落地检查清单

  • 把不变内容(系统提示词、工具定义、文档、示例)排在最前面,用户问题放最后
  • 前缀里不放时间戳、随机 ID、用户专属内容
  • Claude 侧确认前缀超过最低 token 数,usage 里读缓存量大于 0
  • OpenAI 侧看 cached_tokens,确认命中;命中为 0 就查前缀稳定性
  • Gemini 侧先用隐式缓存,显式缓存先算回本线(每小时问够 4 次/百万 token 再建)
  • 调用间隔超过 5 分钟的 Claude 场景,评估 1 小时缓存
  • 大改提示词、工具定义后,预期第一次调用会重新写缓存、价格跳一下,这是正常的

Prompt 缓存是 API 省钱里性价比最高的一招:不用换模型、不用改提示词质量,只把顺序排对、把开关打开,长提示词场景的输入账单直接打一到五折。先从你调用最频繁、提示词最长的那个接口开始。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐