Prometheus+Alertmanager 搭配钉钉报警实战指南

在现代监控系统中，Prometheus 作为开源监控解决方案的核心，常与 Alertmanager 结合实现告警管理。通过钉钉机器人接收告警信息，能够快速响应生产环境问题。以下是完整的配置流程和代码示例。

---

环境准备与组件部署

Prometheus 安装
通过 Docker 或二进制包部署 Prometheus。以下为 prometheus.yml 的基础配置片段：

global:
  scrape_interval: 15s

rule_files:
  - 'alert.rules.yml'

alerting:
  alertmanagers:
  - static_configs:
    - targets: ['alertmanager:9093']

Alertmanager 安装
Alertmanager 负责去重、分组并路由告警。配置示例 alertmanager.yml：

route:
  group_by: ['alertname']
  receiver: 'dingtalk-webhook'

receivers:
- name: 'dingtalk-webhook'
  webhook_configs:
  - url: 'http://dingtalk-proxy:8060/dingtalk/webhook1/send'
    send_resolved: true

---

钉钉机器人配置

1. 创建钉钉群机器人
   在钉钉群设置中选择“智能群助手”-“添加机器人”-“自定义”，记录 Webhook 地址（格式为 https://oapi.dingtalk.com/robot/send?access_token=XXX）。

2. 开发告警转发服务
   由于钉钉 API 需要特定格式，需编写中转服务。以下为 Python Flask 示例：

from flask import Flask, request, jsonify
import requests

app = Flask(__name__)

@app.route('/dingtalk/webhook1/send', methods=['POST'])
def dingtalk_alert():
    data = request.json
    for alert in data.get('alerts', []):
        message = {
            "msgtype": "markdown",
            "markdown": {
                "title": alert['labels']['alertname'],
                "text": f"**状态**: {alert['status']}\n\n**描述**: {alert['annotations']['description']}"
            }
        }
        requests.post("https://oapi.dingtalk.com/robot/send?access_token=XXX", json=message)
    return jsonify({"status": "success"})

---

告警规则编写

在 alert.rules.yml 中定义触发条件。例如监控高 CPU 使用率：

groups:
- name: host-alerts
  rules:
  - alert: HighCpuUsage
    expr: 100 - (avg by(instance)(irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
    for: 5m
    labels:
      severity: critical
    annotations:
      description: "Instance {{ $labels.instance }} CPU usage is {{ $value }}%"

---

集成测试与调试

1. 启动服务
   使用 Docker Compose 编排服务：

version: '3'
services:
  prometheus:
    image: prom/prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
      - ./alert.rules.yml:/etc/prometheus/alert.rules.yml

  alertmanager:
    image: prom/alertmanager
    ports:
      - "9093:9093"
    volumes:
      - ./alertmanager.yml:/etc/alertmanager/alertmanager.yml

  dingtalk-proxy:
    build: ./dingtalk-proxy
    ports:
      - "8060:8060"

2. 验证告警流程
   手动触发条件（如模拟 CPU 负载），观察钉钉消息是否正常接收。通过 Alertmanager 界面（http://localhost:9093）确认告警状态。

---

高级优化技巧

告警分组与抑制
在 alertmanager.yml 中配置分组策略，避免重复告警：

route:
  group_by: ['alertname', 'cluster']
  group_wait: 30s
  group_interval: 5m

消息模板定制
使用 Go 模板增强告警信息可读性：

templates:
- '/etc/alertmanager/template/*.tmpl'

示例模板 dingtalk.tmpl：

{{ define "dingtalk.message" }}
[{{ .Status | toUpper }}] {{ .CommonLabels.alertname }}
{{ range .Alerts }}
> 实例: {{ .Labels.instance }}
> 描述: {{ .Annotations.description }}
{{ end }}
{{ end }}

---

常见问题排查

1. 钉钉未收到消息

   • 检查中转服务日志，确认是否收到 Alertmanager 请求。
   • 验证钉钉机器人 Token 是否正确，且 IP 白名单已配置。

2. Prometheus 告警未触发

   • 执行 curl -XPOST http://prometheus:9090/-/reload 重载规则。
   • 通过 Prometheus UI 的“Alerts”页验证规则状态。

3. Alertmanager 沉默机制

   • 在 UI 中检查是否设置了静默（Silence）规则。

---

通过以上步骤，可实现从指标采集、告警触发到钉钉通知的完整链路。实际部署时需根据业务需求调整告警阈值和消息格式。

m.ikpwnex.cn/Article/3760024.hTm
m.pzxkcvh.cn/Article/9072063.hTm
m.xtnkwxt.cn/Article/5146785.hTm
m.uhlpuhm.cn/Article/0207882.hTm
m.yfhfjuf.cn/Article/5039411.hTm
m.azrtzec.cn/Article/9186370.hTm
m.xybtrfm.cn/Article/8730066.hTm
m.udhnjqs.cn/Article/6613946.hTm
m.iwrdcee.cn/Article/4399294.hTm
m.runkeeo.cn/Article/5907284.hTm
m.ikpwnex.cn/Article/8656384.hTm
m.pzxkcvh.cn/Article/1814893.hTm
m.xtnkwxt.cn/Article/7851422.hTm
m.uhlpuhm.cn/Article/2324450.hTm
m.yfhfjuf.cn/Article/8199314.hTm
m.azrtzec.cn/Article/7891465.hTm
m.xybtrfm.cn/Article/3091766.hTm
m.udhnjqs.cn/Article/3441166.hTm
m.iwrdcee.cn/Article/6580850.hTm
m.runkeeo.cn/Article/9097869.hTm
m.ikpwnex.cn/Article/1236953.hTm
m.pzxkcvh.cn/Article/4792009.hTm
m.xtnkwxt.cn/Article/1091521.hTm
m.uhlpuhm.cn/Article/8095498.hTm
m.yfhfjuf.cn/Article/8648876.hTm
m.azrtzec.cn/Article/0626617.hTm
m.xybtrfm.cn/Article/8652813.hTm
m.udhnjqs.cn/Article/7962257.hTm
m.iwrdcee.cn/Article/6966795.hTm
m.runkeeo.cn/Article/4992521.hTm
m.ikpwnex.cn/Article/1937563.hTm
m.pzxkcvh.cn/Article/3084716.hTm
m.xtnkwxt.cn/Article/1164780.hTm
m.uhlpuhm.cn/Article/9414453.hTm
m.yfhfjuf.cn/Article/6418483.hTm
m.azrtzec.cn/Article/8210449.hTm
m.xybtrfm.cn/Article/2722644.hTm
m.udhnjqs.cn/Article/8023550.hTm
m.iwrdcee.cn/Article/3769129.hTm
m.runkeeo.cn/Article/0486847.hTm
m.ikpwnex.cn/Article/8810357.hTm
m.pzxkcvh.cn/Article/3915687.hTm
m.xtnkwxt.cn/Article/4823194.hTm
m.uhlpuhm.cn/Article/2358527.hTm
m.yfhfjuf.cn/Article/6184614.hTm
m.azrtzec.cn/Article/9769672.hTm
m.xybtrfm.cn/Article/7539451.hTm
m.udhnjqs.cn/Article/6056611.hTm
m.iwrdcee.cn/Article/8790083.hTm
m.runkeeo.cn/Article/6410614.hTm
m.ikpwnex.cn/Article/1306971.hTm
m.pzxkcvh.cn/Article/1051701.hTm
m.xtnkwxt.cn/Article/1300076.hTm
m.uhlpuhm.cn/Article/8595477.hTm
m.yfhfjuf.cn/Article/7153075.hTm
m.azrtzec.cn/Article/5738975.hTm
m.xybtrfm.cn/Article/0584189.hTm
m.udhnjqs.cn/Article/7038356.hTm
m.iwrdcee.cn/Article/3881544.hTm
m.runkeeo.cn/Article/6466784.hTm
m.ikpwnex.cn/Article/0661805.hTm
m.pzxkcvh.cn/Article/5339239.hTm
m.xtnkwxt.cn/Article/6087265.hTm
m.uhlpuhm.cn/Article/3704923.hTm
m.yfhfjuf.cn/Article/4814108.hTm
m.azrtzec.cn/Article/2753496.hTm
m.xybtrfm.cn/Article/5540467.hTm
m.udhnjqs.cn/Article/5556474.hTm
m.iwrdcee.cn/Article/8335737.hTm
m.runkeeo.cn/Article/0199433.hTm
m.ikpwnex.cn/Article/0870095.hTm
m.pzxkcvh.cn/Article/2758796.hTm
m.xtnkwxt.cn/Article/9785206.hTm
m.uhlpuhm.cn/Article/0793334.hTm
m.yfhfjuf.cn/Article/2285145.hTm
m.azrtzec.cn/Article/1846240.hTm
m.xybtrfm.cn/Article/8133643.hTm
m.udhnjqs.cn/Article/5062754.hTm
m.iwrdcee.cn/Article/2397010.hTm
m.runkeeo.cn/Article/7253167.hTm
m.ikpwnex.cn/Article/6426152.hTm
m.pzxkcvh.cn/Article/3051056.hTm
m.xtnkwxt.cn/Article/2672599.hTm
m.uhlpuhm.cn/Article/4279721.hTm
m.yfhfjuf.cn/Article/1163168.hTm
m.azrtzec.cn/Article/1238426.hTm
m.xybtrfm.cn/Article/3790708.hTm
m.udhnjqs.cn/Article/7255933.hTm
m.iwrdcee.cn/Article/4352446.hTm
m.runkeeo.cn/Article/2473152.hTm
m.ikpwnex.cn/Article/8325777.hTm
m.pzxkcvh.cn/Article/8586008.hTm
m.xtnkwxt.cn/Article/1381771.hTm
m.uhlpuhm.cn/Article/5607191.hTm
m.yfhfjuf.cn/Article/8984397.hTm
m.azrtzec.cn/Article/8203131.hTm
m.xybtrfm.cn/Article/8525710.hTm
m.udhnjqs.cn/Article/8752521.hTm
m.iwrdcee.cn/Article/2334063.hTm
m.runkeeo.cn/Article/3823157.hTm
m.ikpwnex.cn/Article/2475647.hTm
m.pzxkcvh.cn/Article/0353555.hTm
m.xtnkwxt.cn/Article/4297258.hTm
m.uhlpuhm.cn/Article/1477865.hTm
m.yfhfjuf.cn/Article/2235654.hTm
m.azrtzec.cn/Article/0218651.hTm
m.xybtrfm.cn/Article/6231019.hTm
m.udhnjqs.cn/Article/4834228.hTm
m.iwrdcee.cn/Article/2089618.hTm
m.runkeeo.cn/Article/4728404.hTm
m.ikpwnex.cn/Article/6989561.hTm
m.pzxkcvh.cn/Article/5152087.hTm
m.xtnkwxt.cn/Article/9957171.hTm
m.uhlpuhm.cn/Article/8788993.hTm
m.yfhfjuf.cn/Article/4744646.hTm
m.azrtzec.cn/Article/6326602.hTm
m.xybtrfm.cn/Article/8316838.hTm
m.udhnjqs.cn/Article/2572930.hTm
m.iwrdcee.cn/Article/5984513.hTm
m.runkeeo.cn/Article/6382344.hTm
m.ikpwnex.cn/Article/1997344.hTm
m.pzxkcvh.cn/Article/1994343.hTm
m.xtnkwxt.cn/Article/2590323.hTm
m.uhlpuhm.cn/Article/6331563.hTm
m.yfhfjuf.cn/Article/5261653.hTm
m.azrtzec.cn/Article/9465577.hTm
m.xybtrfm.cn/Article/0801383.hTm
m.udhnjqs.cn/Article/6130496.hTm
m.iwrdcee.cn/Article/3992393.hTm
m.runkeeo.cn/Article/1883834.hTm
m.ikpwnex.cn/Article/8213931.hTm
m.pzxkcvh.cn/Article/3816007.hTm
m.xtnkwxt.cn/Article/0417703.hTm
m.uhlpuhm.cn/Article/0482712.hTm
m.yfhfjuf.cn/Article/6444803.hTm
m.azrtzec.cn/Article/8261104.hTm
m.xybtrfm.cn/Article/7322380.hTm
m.udhnjqs.cn/Article/2883918.hTm
m.iwrdcee.cn/Article/3438382.hTm
m.runkeeo.cn/Article/5234835.hTm
m.ikpwnex.cn/Article/8244274.hTm
m.pzxkcvh.cn/Article/8826184.hTm
m.xtnkwxt.cn/Article/2871200.hTm
m.uhlpuhm.cn/Article/4253981.hTm
m.yfhfjuf.cn/Article/5392411.hTm
m.azrtzec.cn/Article/4302231.hTm
m.xybtrfm.cn/Article/2179566.hTm
m.udhnjqs.cn/Article/7144846.hTm
m.iwrdcee.cn/Article/9404932.hTm
m.runkeeo.cn/Article/7888478.hTm
m.ikpwnex.cn/Article/8908998.hTm
m.pzxkcvh.cn/Article/9071953.hTm
m.xtnkwxt.cn/Article/9196439.hTm
m.uhlpuhm.cn/Article/2750447.hTm
m.yfhfjuf.cn/Article/4710226.hTm
m.azrtzec.cn/Article/3083223.hTm
m.xybtrfm.cn/Article/0721642.hTm
m.udhnjqs.cn/Article/7565552.hTm
m.iwrdcee.cn/Article/0266545.hTm
m.runkeeo.cn/Article/3389809.hTm
m.ikpwnex.cn/Article/3255966.hTm
m.pzxkcvh.cn/Article/6955703.hTm
m.xtnkwxt.cn/Article/7125148.hTm
m.uhlpuhm.cn/Article/2430517.hTm
m.yfhfjuf.cn/Article/0334024.hTm
m.azrtzec.cn/Article/4683674.hTm
m.xybtrfm.cn/Article/9178450.hTm
m.udhnjqs.cn/Article/9750566.hTm
m.iwrdcee.cn/Article/8255312.hTm
m.runkeeo.cn/Article/3753553.hTm
m.ikpwnex.cn/Article/6975381.hTm
m.pzxkcvh.cn/Article/8105123.hTm
m.xtnkwxt.cn/Article/0746141.hTm
m.uhlpuhm.cn/Article/7307903.hTm
m.yfhfjuf.cn/Article/1148737.hTm
m.azrtzec.cn/Article/8968051.hTm
m.xybtrfm.cn/Article/5018833.hTm
m.udhnjqs.cn/Article/8706048.hTm
m.iwrdcee.cn/Article/0174161.hTm
m.runkeeo.cn/Article/5943210.hTm
m.ikpwnex.cn/Article/0442458.hTm
m.pzxkcvh.cn/Article/3780129.hTm
m.xtnkwxt.cn/Article/5664096.hTm
m.uhlpuhm.cn/Article/0089740.hTm
m.yfhfjuf.cn/Article/1003729.hTm
m.azrtzec.cn/Article/3614714.hTm
m.xybtrfm.cn/Article/6441125.hTm
m.udhnjqs.cn/Article/1805536.hTm
m.iwrdcee.cn/Article/6097168.hTm
m.runkeeo.cn/Article/5104750.hTm
m.ikpwnex.cn/Article/2617433.hTm
m.pzxkcvh.cn/Article/4933304.hTm
m.xtnkwxt.cn/Article/1247885.hTm
m.uhlpuhm.cn/Article/1606759.hTm
m.yfhfjuf.cn/Article/2932930.hTm
m.azrtzec.cn/Article/0941001.hTm
m.xybtrfm.cn/Article/5422200.hTm
m.udhnjqs.cn/Article/9969645.hTm
m.iwrdcee.cn/Article/5243555.hTm
m.runkeeo.cn/Article/2432118.hTm
m.ikpwnex.cn/Article/3897053.hTm
m.pzxkcvh.cn/Article/7517198.hTm
m.xtnkwxt.cn/Article/8645088.hTm
m.uhlpuhm.cn/Article/6485404.hTm
m.yfhfjuf.cn/Article/1058184.hTm
m.azrtzec.cn/Article/5666763.hTm
m.xybtrfm.cn/Article/5409946.hTm
m.udhnjqs.cn/Article/2262381.hTm
m.iwrdcee.cn/Article/3805398.hTm
m.runkeeo.cn/Article/6524083.hTm
m.ikpwnex.cn/Article/7369106.hTm
m.pzxkcvh.cn/Article/9995143.hTm
m.xtnkwxt.cn/Article/0758194.hTm
m.uhlpuhm.cn/Article/1673571.hTm
m.yfhfjuf.cn/Article/7780769.hTm
m.azrtzec.cn/Article/1628888.hTm
m.xybtrfm.cn/Article/1651044.hTm
m.udhnjqs.cn/Article/0933617.hTm
m.iwrdcee.cn/Article/5239522.hTm
m.runkeeo.cn/Article/4012163.hTm
m.ikpwnex.cn/Article/7535298.hTm
m.pzxkcvh.cn/Article/2881091.hTm
m.xtnkwxt.cn/Article/5169539.hTm
m.uhlpuhm.cn/Article/1944686.hTm
m.yfhfjuf.cn/Article/1671985.hTm
m.azrtzec.cn/Article/2371388.hTm
m.xybtrfm.cn/Article/3051249.hTm
m.udhnjqs.cn/Article/7051922.hTm
m.iwrdcee.cn/Article/6615768.hTm
m.runkeeo.cn/Article/4155224.hTm
m.ikpwnex.cn/Article/9346692.hTm
m.pzxkcvh.cn/Article/5748165.hTm
m.xtnkwxt.cn/Article/2726586.hTm
m.uhlpuhm.cn/Article/9079370.hTm
m.yfhfjuf.cn/Article/4403129.hTm
m.azrtzec.cn/Article/0183234.hTm
m.xybtrfm.cn/Article/5447627.hTm
m.udhnjqs.cn/Article/4125534.hTm
m.iwrdcee.cn/Article/9510100.hTm
m.runkeeo.cn/Article/4457637.hTm
m.ikpwnex.cn/Article/2228227.hTm
m.pzxkcvh.cn/Article/5368498.hTm
m.xtnkwxt.cn/Article/5580679.hTm
m.uhlpuhm.cn/Article/6792939.hTm
m.yfhfjuf.cn/Article/3137448.hTm
m.azrtzec.cn/Article/5116092.hTm
m.xybtrfm.cn/Article/9547084.hTm
m.udhnjqs.cn/Article/1647688.hTm
m.iwrdcee.cn/Article/3795802.hTm
m.runkeeo.cn/Article/0366422.hTm
m.ikpwnex.cn/Article/6986150.hTm
m.pzxkcvh.cn/Article/4936964.hTm
m.xtnkwxt.cn/Article/6819809.hTm
m.uhlpuhm.cn/Article/3653512.hTm
m.yfhfjuf.cn/Article/2972878.hTm
m.azrtzec.cn/Article/0367174.hTm
m.xybtrfm.cn/Article/3893400.hTm
m.udhnjqs.cn/Article/9695330.hTm
m.iwrdcee.cn/Article/3149361.hTm
m.runkeeo.cn/Article/1917760.hTm
m.ikpwnex.cn/Article/9054213.hTm
m.pzxkcvh.cn/Article/4412540.hTm
m.xtnkwxt.cn/Article/6973263.hTm
m.uhlpuhm.cn/Article/5396947.hTm
m.yfhfjuf.cn/Article/5770248.hTm
m.azrtzec.cn/Article/6186692.hTm
m.xybtrfm.cn/Article/3761458.hTm
m.udhnjqs.cn/Article/5732820.hTm
m.iwrdcee.cn/Article/1561203.hTm
m.runkeeo.cn/Article/0787697.hTm
m.ikpwnex.cn/Article/7951283.hTm
m.pzxkcvh.cn/Article/5613132.hTm
m.xtnkwxt.cn/Article/4403597.hTm
m.uhlpuhm.cn/Article/6733855.hTm
m.yfhfjuf.cn/Article/3529088.hTm
m.azrtzec.cn/Article/0457860.hTm
m.xybtrfm.cn/Article/6378601.hTm
m.udhnjqs.cn/Article/2410981.hTm
m.iwrdcee.cn/Article/1449815.hTm
m.runkeeo.cn/Article/6066978.hTm
m.ikpwnex.cn/Article/6269094.hTm
m.pzxkcvh.cn/Article/2298561.hTm
m.xtnkwxt.cn/Article/6263231.hTm
m.uhlpuhm.cn/Article/4138567.hTm
m.yfhfjuf.cn/Article/9965666.hTm
m.azrtzec.cn/Article/9397465.hTm
m.xybtrfm.cn/Article/4880266.hTm
m.udhnjqs.cn/Article/9600688.hTm
m.iwrdcee.cn/Article/8450005.hTm
m.runkeeo.cn/Article/5721465.hTm
m.ikpwnex.cn/Article/1920980.hTm
m.pzxkcvh.cn/Article/1909134.hTm
m.xtnkwxt.cn/Article/9996294.hTm
m.uhlpuhm.cn/Article/0827378.hTm
m.yfhfjuf.cn/Article/7832428.hTm
m.azrtzec.cn/Article/2021660.hTm
m.xybtrfm.cn/Article/4501297.hTm
m.udhnjqs.cn/Article/8672512.hTm
m.iwrdcee.cn/Article/6003460.hTm
m.runkeeo.cn/Article/3934071.hTm