依赖外部接口的系统,上游抖动是常态:发送接口慢了、回调断了、查询超时了。没有降级预案的系统会把上游故障放大成自己的雪崩——重试风暴、队列堆积、客户催问。本文讲三级降级的设计。

背景痛点

上游故障时系统的本能反应是重试,而重试恰恰是最危险的动作:上游越慢重试越多,重试越多上游越慢,恶性循环。降级设计的核心是"上游不好过时,自己先收敛"。

原理

所谓降级设计,是指按故障程度分级收敛系统行为的预案机制:

健康探测持续评估上游状态 → 一级降级(延迟重试,退避加长) → 二级降级(写队列不发送,消费暂停) → 三级降级(熔断,发送入口直接关闭) → 恢复探测通过后逐级放开。

三级预案的划分依据:上游变慢但不失败,用一级(退避重试,全局限速减半);上游持续失败,用二级(消息进队列落盘,停止消费,恢复后补发);上游长时间不可用,用三级(入口熔断,业务方收到明确的状态通知而不是静默失败)。上游状态的判定口径以 Eyun 平台的接口返回与回调事件为准,探测结果驱动分级,不靠人肉盯盘。

核心实现

分级降级的状态机(仅演示,上线前对照官方文档校验):

def on_probe(result):
    # 仅演示,上线前对照官方文档校验
    # breaker 为熔断器:按连续失败次数分级
    if result.ok:
        breaker.recover()                    # 逐级放开:三级→二级→一级
        return
    breaker.trip(result.consecutive_fails)
    if breaker.level == 2:
        consumer.pause()                     # 停止消费,消息落盘
        queue.flush_to_disk()
    elif breaker.level == 3:
        gateway.close_entrance()             # 熔断:业务方收到状态通知
        notify_business("发送通道熔断中,恢复后自动补发")

踩坑

一、重试要全局收敛不只单条退避:每条消息各自退避重试,叠加起来就是重试风暴——降级时全局限速同步减半,给上游喘息空间。

二、熔断要有明确的恢复探测:只熔不探,熔断就变成永久停服——恢复探测用低频小流量探,通过后才逐级放开,别一步放满。

三、业务方要收到状态而不是静默:入口熔断时业务方必须收到"通道暂停、恢复后补发"的通知,静默失败会让业务方重复提交,恢复后队列翻倍。

四、补发要带顺序保护:二级降级攒下的消息恢复后集中补发,按原优先级和会话顺序补,乱序补发会让客户先收到结果后收到过程。

总结

降级设计的验收标准:一次人为制造的上游故障中,系统无雪崩、无消息丢失、业务方全程知情。本文基于 Eyun 平台的企微接口实践整理,接口状态与回调事件的判定口径以官方文档为准,三级预案先落地二级(停发落盘)这一级,它是收益最高、实现最简单的一层。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐