把推理成本打下来，第一步不是急着换更便宜的模型，而是先把账算对。多数团队的账单里，浪费集中在三类地方：任务与模型错配、上下文失控、可缓存可批量的请求被按全价计费。三类问题都有成熟的工程做法，做完仍不够，才轮到换模型或自建推理。

第一类：任务与模型错配

把所有请求都交给最大的模型，是最常见也最容易修正的浪费。分类、改写、格式化抽取这类轻任务，小模型或规则就能做好，单价却可能差出一个数量级。可执行的做法是：抽取两三百条真实请求，人工标注难度并统计分布；如果七成以上是轻任务，就把这部分路由到小模型，只把需要长链推理的请求留给大模型。这一步不引入新技术，通常也是降本收益最大的一步。

第二类：上下文失控

推理按输入与输出分别计费，输入侧的 token 常被忽略。塞满整个窗口的检索结果、原样携带的多轮历史、越写越长的系统提示词，都在为每一次调用付费。可执行的做法是给上下文设预算：检索只取命中片段而非整篇文档；多轮对话做历史压缩或滑动窗口；系统提示词定期瘦身，删掉无效示例与重复叮嘱。做完输入侧治理，很多团队的节省幅度超过换一个更小的模型。

第三类：可折扣的请求按了全价

两类机制常被漏用。一是前缀缓存：相同前缀的请求（固定的长系统提示词、绑定同一份知识库文档的会话）可以命中缓存，输入计费大幅降低；前提是前缀逐字符一致，提示词里带时间戳、随机序号或每次拼接顺序不同，缓存就全部失效。二是批处理接口：夜间批量摘要、报表生成这类不要求秒回的任务，走批处理通道单价更低。做法是把系统提示词固化为稳定前缀，把离线任务与实时链路分开排队。

写在最后

推理成本优化不是一次性的架构重构，而是持续盯账的运营动作：按任务分级路由，按上下文设预算，按前缀和时效拿折扣。这三件事做完，账单通常已经回到合理区间；如果还不够，再评估更小的模型或自建推理服务。顺序反过来，最常见的结局是模型换了一圈，账单没降多少，效果先掉了。

——文/吴佳文，广东省人工智能与机器人学会副秘书长，长期关注AI产业落地与人工智能人才培养。