Linux监控报警系统教程_ZabbixPrometheus告警配置实战

zabbix和prometheus是主流开源监控系统，Zabbix适用于传统环境、强调图形化配置，Prometheus适配云原生、依赖Pull模型与PromQL；二者告警机制不同，Zabbix通过触发器→动作→媒介→用户链路实现，Prometheus则由Prometheus生成告警、alertmanager负责路由与通知；实际中可通过http Agent、zabbix_exporter或webhook实现联动，并用inhibit_rules降噪。

Zabbix 和 Prometheus 是目前最主流的两类开源监控报警系统，各自适用不同场景：Zabbix 更适合传统物理/虚拟机环境、强调开箱即用和图形化配置；Prometheus 则更契合云原生、微服务架构，依赖 Pull 模型与强大查询语言（PromQL）。

Zabbix 告警配置关键步骤

Zabbix 的告警流程是：触发器（Trigger）→ 动作（Action）→ 媒介（Media）→ 用户（User）。配置时需逐层打通：

• 定义触发器：在“配置 → 主机 → 触发器”中添加，例如：last(/linux Server/system.cpu.util[,idle]) 表示 CPU 空闲率低于 10% 持续 5 分钟（默认评估周期）即触发；建议启用“严重性”分级，便于后续动作过滤。
• 设置动作：在“配置 → 动作”中新建，条件设为“触发器严重程度 = 高”或“触发器名称包含 CPU”，操作步骤中勾选“发送消息”，并指定“发送给用户”和“仅发送给”指定用户组。
• 配置媒介（如邮件/微信/钉钉）：以邮件为例，在“管理 → 报警媒介类型”中启用 Email，并填写 SMTP 服务器参数；再进入“用户 → 媒介”为具体用户添加邮箱地址和启用状态。若需钉钉告警，可用脚本调用钉钉 Webhook，Zabbix 6.0+ 支持直接配置 Webhook 类型媒介。

Prometheus 告警规则与 Alertmanager 实战

Prometheus 本身只负责生成告警事件，真正的分组、抑制、路由和通知由独立组件 Alertmanager 完成。二者必须协同工作：

• 编写告警规则（alert.rules.yml）：放在 Prometheus 配置目录下，例如监测容器内存使用率超 90%：

  groups:
   - name: container-alerts
     rules:
     - alert: HighContainerMemoryUsage
       expr: (container_memory_usage_bytes{image!=""} / container_spec_memory_limit_bytes{image!=""}) > 0.9
       for: 3m
       labels:
         severity: warning
       annotations:
         summary: "High memory usage on {{ $labels.container }}"

• 配置 prometheus.yml 加载规则：在 rule_files: 下添加路径，如 - "rules/alert.rules.yml"；重启 Prometheus 后可在 Web ui 的 “Alerts” 页面查看激活状态。
• 配置 Alertmanager 路由与通知：编辑 alertmanager.yml，定义全局接收人（如 email_configs 或 webhook_configs），并在 route 中按标签（如 severity）分流。例如将 severity: critical 的告警推送到企业微信，而 warning 级别仅发邮件。

Zabbix 与 Prometheus 告警联动技巧

实际生产中常需混合使用——比如用 Zabbix 监控硬件、网络设备，Prometheus 监控 kubernetes 集群。两者可通过以下方式互补：

• Zabbix 调用 Prometheus 数据：利用 Zabbix 的 HTTP Agent 监控项，请求 Prometheus API（如 http://prometheus:9090/api/v1/query?query=up），解析 jsON 响应提取指标值，实现跨系统状态拉取。
• Prometheus 接收 Zabbix 告警：通过 zabbix_exporter 将 Zabbix 数据暴露为 Prometheus 可采集的 metrics；或使用 zabbix-webhook 将 Zabbix 动作转为 HTTP POST 发送给 Alertmanager 的 webhook 接收器（需 Alertmanager 开启 --web.enable-admin-api 并配置 receiver 类型为 webhook）。
• 统一告警降噪：在 Alertmanager 中配置 inhibit_rules，例如当主机宕机（Zabbix 告警）时，自动抑制其上所有容器相关的 Prometheus 告警，避免告警风暴。

调试与验证要点

告警配置后务必验证端到端链路是否通畅：

• Zabbix 中进入“监测 → 问题”，手动触发测试触发器（如临时修改阈值），观察“报表 → 告警统计”及用户收到的消息时间戳；检查 /var/log/zabbix/zabbix_server.log 是否有 “sent mail to” 或 “executed script” 日志。
• Prometheus + Alertmanager 组合下，访问 http://alertmanager:9093/#/alerts 查看告警列表状态（firing / inactive）；用 curl -XPOST http://alertmanager:9093/api/v1/alerts 手动注入测试告警 json；检查 Alertmanager 日志中是否有 “Notify succeeded” 或 “Failed to notify”。
• 无论哪种系统，都要模拟真实故障（如停掉一个服务、填满磁盘）进行端到端压测，确认告警延迟、重复频率、恢复通知是否符合预期。