Prompt 缓存三家实测:Claude、GPT、Gemini 怎么开、多少钱、什么时候反而更贵
如果你做过客服机器人、代码助手或者 RAG 问答,一定算过这笔账:每次请求都要把几万 token 的系统提示词、工具定义、 few-shot 示例原样再发一遍。真正变化的只有最后那几百 token 的用户问题,但账单却按整条提示词收。
Prompt 缓存就是为这笔账生的:把每次请求里不变的前缀只算一次,后面复用只收零头。三家都有,但开启方式、价格和坑完全不一样。这篇文章把三家的实测口径一次讲清。
一、缓存到底缓存了什么
先把原理说透,后面三家的差异才好理解。
大模型处理输入分两步:先把提示词算成 KV 缓存(注意力层的中间结果),再基于它逐个生成 token。第一步的计算量和提示词长度成正比,而且每次请求都要重做——哪怕提示词和上一条一模一样。
Prompt 缓存做的事,就是把前缀的 KV 缓存留下来,下次请求前缀相同就直接复用,跳过重复计算。三个要点:
- 只缓存前缀:从第一个 token 开始连续相同才算命中。中间插一句不同的,命中就从那里断掉。
- 顺序决定一切:不变的内容(系统提示词、工具定义、文档、示例)放前面,会变的用户问题放最后。前缀里塞一个时间戳、一个用户 ID,整条缓存就作废。
- 只省输入,不省输出:生成 token 的价格一分不少。输出占比高的场景,缓存省下的比例会被稀释。
一句话结论:缓存省的是“重复发同一段长提示词”的钱,提示词本身越长、重复次数越多,省得越多。
二、Claude:显式标记,读最便宜、写要加钱
Claude 的缓存是显式开启的:你在想缓存的位置插一个 cache_control 标记,告诉 API“从这里往前的内容可以缓存”。一次请求最多 4 个标记,也可以只在请求顶层放一个,让 API 自己选断点。
response = client.messages.create(
model="claude-sonnet-4-5",
max_tokens=1024,
system=[
{
"type": "text",
"text": "你是资深代码审查员……(几千 token 的审查规范)",
"cache_control": {"type": "ephemeral", "ttl": "5m"},
}
],
messages=[{"role": "user", "content": "审查这段代码……"}],
)
价格分三档(以官方定价页口径为准,不同模型倍数不同):
| 项目 | 倍数(相对普通输入价) |
|---|---|
| 写缓存,5 分钟有效期 | 1.25 倍 |
| 写缓存,1 小时有效期 | 2 倍 |
| 读缓存 | 0.1 倍,新模型更低(Opus 5.5 / Sonnet 5.5 是 0.05 倍) |
拿 Sonnet 5.5 算一笔账:输入价 2 美元/百万 token,2 万 token 的审查规范发 50 次。不缓存:50 × 2 万 × 2 美元/百万 = 2 美元。开 5 分钟缓存:第一次写缓存 2 万 × 1.25 × 2 美元/百万 = 0.05 美元,后面 49 次读缓存每次 2 万 × 0.1 × 2 美元/百万 = 0.004 美元,合计约 0.25 美元。省了约 88%。
三个实操要点:
- 回本线很低:5 分钟缓存第二次请求就回本(多付 0.25 倍写费,每次读省 0.9 倍);1 小时缓存第三次回本。只要确定会复用一次以上,5 分钟缓存就值得开。
- 5 分钟是滑动窗口:每次命中都会免费刷新计时。调用间隔不到 5 分钟的长会话,缓存基本不会断。间隔 5 到 60 分钟的场景,改开 1 小时缓存更划算。
- 低于下限静默不缓存:新模型最低 512 token,旧一点的 Sonnet 1024、Haiku 2048。提示词太短不会报错,只是按原价计费——很多人以为开了缓存没省钱,其实是前缀没够到下限。
验证方法:看返回的 usage 字段,cache_creation_input_tokens 是写缓存的量,cache_read_input_tokens 是读缓存的量。读缓存长期是 0,先查前缀长度和顺序,别先怀疑计费。
Claude Code 用户不用自己写标记:它在后台自动管理缓存,promptCacheTtl 设置可以改有效期,/usage 里能看到缓存命中占比。
三、OpenAI:全自动,零代码,但折扣只有五折
OpenAI 的缓存是全自动的,不用改任何代码:提示词超过 1024 token,系统自动按 128 token 的块匹配前缀,命中就按缓存价计费。
# 代码不用改。只要前缀稳定、超过 1024 token,就自动命中。
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "system", "content": "(几千 token 的固定指令)"},
{"role": "user", "content": "新问题……"},
],
)
print(response.usage.prompt_tokens_details.cached_tokens) # 命中了多少 token
价格口径:缓存读回按输入价的 5 折计费。写缓存方面分两代:GPT-4o、o1 这类老模型不收写费,白得折扣;GPT-4.1、GPT-5.6 及更新模型写缓存收 1.25 倍。有效期约 5 到 10 分钟,负载低时可延长到 1 小时左右,用户不能自己设置。
同样 2 万 token 前缀、50 次请求,按 2.5 美元/百万输入价算:不缓存 2.5 美元;全自动缓存后第一次 0.05 美元,后面 49 次每次 0.025 美元,合计约 1.28 美元,省一半左右。
OpenAI 的缓存上限比 Claude 低,因为读只打五折而不是一折。但它零成本接入:不用改代码、不用管标记、不用算回本,对已有系统最友好。想验证有没有命中,看 prompt_tokens_details.cached_tokens 这个字段。
四、Gemini:隐式自动 + 显式建缓存,读一折但显式要交“租金”
Gemini 分两种缓存,用错了会多花钱:
- 隐式缓存(默认开):Gemini 2.5 及更新模型自带,不用配置。请求前缀和最近的请求相同,就自动按缓存价计费。最低前缀 2.5 Flash 是 1024 token、2.5 Pro 是 2048 token,3.x / 4 系列是 4096 token。
- 显式缓存(自己建):调
caches.create把一段内容存成缓存对象,后面的请求引用它。只支持 generateContent 接口,内容最少 32768 token,低于这个数直接报 400 错误。默认有效期 1 小时。
价格口径:缓存读回按输入价的 1 折计费(Gemini 4 Argon 是 5% 的输入价,即 95 折优惠);显式缓存要额外交存储费,Flash 档 1 美元/百万 token/小时,Pro 档 4.5 美元/百万 token/小时,建缓存那次按全价输入计费。
拿 2.5 Flash 算一笔账:输入价 0.3 美元/百万 token,10 万 token 的文档一小时问 10 次。不缓存:10 × 0.1 百万 × 0.3 = 0.3 美元。走隐式缓存:第一次 0.03 美元,后面 9 次每次 0.003 美元,合计约 0.06 美元,省 80%。走显式缓存还要加 0.1 百万 × 1 美元 = 0.1 美元/小时存储费,合计约 0.16 美元——同样 10 次,显式反而比隐式贵。
显式缓存的回本线:2.5 Flash 上,每百万缓存 token 每小时要问约 4 次才回本。它的价值在“保证命中”:隐式缓存命中不保证,高峰期可能被挤掉;显式缓存是预留的,适合每小时固定要问很多次的热文档。调用频率低的场景,显式缓存的存储费会把折扣全吃掉。
五、三家对照表
| 维度 | Claude | OpenAI | Gemini |
|---|---|---|---|
| 开启方式 | 显式 cache_control 标记 | 全自动,无需改代码 | 隐式默认开;显式需 caches.create |
| 最低前缀 | 512 token 起,因模型而异 | 1024 token | 隐式 1024–4096;显式 32768 |
| 读缓存价格 | 输入价 0.1 倍(新模型 0.05 倍) | 输入价 0.5 倍 | 输入价 0.1 倍(4 Argon 0.05 倍) |
| 写缓存价格 | 5 分钟 1.25 倍;1 小时 2 倍 | 老模型免费;新模型 1.25 倍 | 隐式免费;显式按全价 + 存储费 |
| 有效期 | 5 分钟(滑动刷新)或 1 小时 | 约 5–10 分钟,闲时至 1 小时 | 隐式不公开;显式默认 1 小时 |
| 回本线 | 第 2 次(5 分钟)/ 第 3 次(1 小时) | 第 1 次命中即省(老模型) | 显式约每小时 4 次/百万 token |
| 验证字段 | cache_read_input_tokens | cached_tokens | cachedContentTokenCount |
六、缓存反而更贵的三类场景
缓存不是免费午餐,以下三种情况开了等于多花钱:
1. 调用间隔太长。 Claude 5 分钟缓存,每次调用间隔 6 分钟:每次都要重新写缓存,付 1.25 倍写费,读 0 次。账单比不开缓存贵 25%。对策:间隔 5 到 60 分钟改 1 小时缓存;间隔超过 1 小时就别开。
2. 前缀每次都在变。 系统提示词里塞了当前时间、随机 request_id、每个用户不同的名字,缓存永远命中不了,写费白交。对策:把不变的部分放前面、可变的部分挪到前缀之后。RAG 检索到的文档要拼在用户问题之前,而不是塞进系统提示词开头。
3. 提示词太短或显式缓存闲置。 前缀不到下限,缓存静默不生效;显式缓存建好一小时只问一次,存储费比省下的钱还多。对策:短提示词不用惦记缓存;显式缓存先算回本线,问得不够密就用隐式。
还有一个常见误解:输出 token 永远不打折。一个请求输入 2 万 token、输出 5 千 token,缓存最多省输入那部分,输出照原价。输出占比越高,缓存的整体省钱比例越低。
七、落地检查清单
- 把不变内容(系统提示词、工具定义、文档、示例)排在最前面,用户问题放最后
- 前缀里不放时间戳、随机 ID、用户专属内容
- Claude 侧确认前缀超过最低 token 数,usage 里读缓存量大于 0
- OpenAI 侧看
cached_tokens,确认命中;命中为 0 就查前缀稳定性 - Gemini 侧先用隐式缓存,显式缓存先算回本线(每小时问够 4 次/百万 token 再建)
- 调用间隔超过 5 分钟的 Claude 场景,评估 1 小时缓存
- 大改提示词、工具定义后,预期第一次调用会重新写缓存、价格跳一下,这是正常的
Prompt 缓存是 API 省钱里性价比最高的一招:不用换模型、不用改提示词质量,只把顺序排对、把开关打开,长提示词场景的输入账单直接打一到五折。先从你调用最频繁、提示词最长的那个接口开始。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)