一个 AI 网关上线后，最怕的不是"出故障"，而是"出了故障却看不见"。调用成功率掉了一点、某家模型变慢了、某个租户悄悄刷爆了配额——这些信号如果只能靠用户投诉才发现，那网关就形同黑盒。可观测性，就是给网关装上"仪表盘"。

某电商在大促当天发现对话机器人响应变慢，但翻遍业务日志找不到原因，最后才定位到是某个上游模型来源 P99 时延飙升。如果网关侧早有按来源的时延看板，这事本可以在影响扩大前被发现。

从通用黄金信号到 AI 网关

传统服务的 RED（速率、错误、时延）和 USE（利用率、饱和度、错误）指标很经典，但 AI 网关有自己的特征：它面对的是多家模型来源、差异巨大的响应形态、以及按 token 计费的特殊成本维度。对应到 AI 网关，可以提炼出四个黄金指标：

• 请求速率（Rate）：单位时间内的调用量，区分模型来源与租户维度。

• 错误率（Errors）：含 HTTP 错误、模型返回的结构错误、以及内容被策略拦截的比例。

• 时延（Latency）：从网关收到请求到返回首 token 或全量的耗时，需分模型来源统计。

• 成本速率（Cost）：单位时间的 token 消耗与费用，这是 AI 场景独有、却最常被忽视的指标。

每个指标怎么看

请求速率不只是总量。按 model 拆分为 GPT-5.6、Claude Sonnet 5、Gemini 3.7 Flash 后，你能立刻看出业务到底偏好哪类能力；按租户拆分，则能发现异常刷量。

错误率要分层：5xx 是上游问题，429 是限流，内容拦截是策略命中。混在一起会掩盖真相。例如某天错误率从 0.3% 涨到 2%，如果只看总数会以为"模型不稳定"，拆开才发现是 429 限流占比飙升，根因是某租户脚本在猛刷。

时延建议同时盯 P50、P95、P99。AI 调用的尾延迟（P99）往往决定用户体验，平均值会骗人。一次大促里 P99 从 800ms 涨到 6s，平均却只从 600ms 涨到 900ms，被平均值掩盖的才是真问题。

成本速率是"钱烧得快不快"的直接体现。把它和请求速率对照，能算出单请求平均成本，异常飙升往往意味着某处逻辑在重复调用或上下文失控。

一个示例指标卡：

指标	本周	上周	关注点
请求速率	120 万/日	95 万/日	增长是否健康
错误率	0.4%	0.3%	拆分 429/5xx
P99 时延	2.1s	1.8s	尾延迟是否恶化
成本速率	￥同环比	—	单请求成本趋势

MAI 网关的观察能力

MAI 网关（魔芋企业 AI 网关）围绕统一接入 · 智能路由 · 精准分账 · 安全脱敏 · 成本优化的定位，将可观测性作为基础设施：请求、错误、时延、成本四类信号在网关侧统一采集，并按模型来源与租户维度下钻。

同时，MAI 网关已兼容阿里 tokenPlan 和火山 AgentPlan 模型的接入，新来源的调用也同样纳入这四指标监控，企业不必为不同模型来源拼装不同的监控方案。

看板搭建三步

1. 先定指标：把上述四个黄金指标作为看板底座，不要一上来就堆几十张图。

1. 再分维度：默认按模型来源、租户、端点三维下钻，异常能快速定位。

1. 后设告警：给错误率、P99 时延、成本速率设阈值，超标自动通知，别等用户来报。

可观测性不是"炫技的图表"，而是网关能否稳定运营的前提。四个黄金指标到位，团队才从"出了问题才知道"走向"问题还没发生就预警"。

告警阈值怎么设

阈值不必照搬通用模板。一个务实的起点：错误率连续 5 分钟超过 1% 告警；P99 时延超过同来源基线 1.5 倍告警；成本速率日环比上涨超 30% 告警。关键是"相对基线"而非"绝对数字"——不同来源基线差很多，用统一绝对值会频繁误报，反而让告警失去意义。建议先把两周历史数据拉出来定基线，再按月微调，而不是凭感觉拍一个数字。

免责声明：本文所述产品能力与功能以魔芋 AI 官方最新文档与实际情况为准，技术细节可能随版本迭代调整。文中内容仅作技术科普与方案参考，不构成商业建议或采购决策依据，具体落地请结合企业自身业务场景、合规要求与预算进行评估。模型名称及特性均指各厂商公开发布版本，引用请以官方口径为准。