Python 后台任务监控指标设计

后台任务关键监控指标定义为：task_duration_seconds（直方图耗时）、task_status_total（带task_name等标签的状态计数）、task_queue_length（多源队列积压数），三者分别对应“有没有做完”“做没做错”“做多慢”“会不会拖垮系统”四大目标。

怎么定义后台任务的关键监控指标

后台任务监控不是堆数字，而是盯住「它有没有做完」「做没做错」「做多慢」「会不会拖垮系统」这四件事。指标必须能对应到具体动作，比如失败了要能立刻重试，延迟高了要能自动扩容。

核心指标就三个：task_duration_seconds（耗时）、task_status_total（成功/失败/重试次数）、task_queue_length（积压数）。别加「成功率」这种派生指标——prometheus 里用 rate() 算就行，存原始计数更灵活、更准。

• 耗时用直方图（histogram），不是平均值：平均值掩盖长尾，task_duration_seconds_bucket{le="5"} 这种才能看出 95% 的任务是否真在 5 秒内完成
• 状态计数必须带标签：至少区分 task_name、queue_name、error_type（比如 "db_timeout" 或 "http_429"），否则出问题时根本定位不到是哪个任务在哪条队列崩的
• 队列长度不能只看 redis LLEN：如果用了 Celery，得同时采集 celery_active_tasks 和 celery_reserved_tasks，否则积压但 worker 挂掉时会误判为空闲

Celery 任务指标怎么埋点才不漏、不卡

Celery 自带的 celery_events 开销大、丢事件多，生产环境别直接用。应该在 task 执行前后手动打点，用 prometheus_client 的 Counter 和 Histogram 直接更新。

关键陷阱是：别在 @task.after_return 里埋点——这个钩子不保证执行，worker 重启或任务被 revoke 就丢了。必须把打点逻辑塞进 task 函数体最开头和 finally 块里。

立即学习“Python免费学习笔记（深入）”；

• 耗时统计用 start_time = time.time() + observe(time.time() - start_time)，别依赖 Celery 的 runtime 属性，它不包含重试等待时间
• 失败计数要捕获所有异常：包括 SoftTimeLimitExceeded、WorkerLostError，这些不会进 except Exception，得单独列出来
• 避免在 task 内部调用 registry.collect() 或触发 GC：会显著拉长执行时间，尤其当指标量大时，打点本身变成瓶颈

异步任务延迟高，指标却显示正常？查这三个地方

常见假象：task_duration_seconds 平均值很低，但用户反馈「定时任务总晚 10 分钟才跑」。问题不在执行慢，而在调度链路断层。

真正影响端到端延迟的是三个时间点：入队时间、排队时间、执行时间。只监控最后一段，等于只称大象的尾巴。

• 检查 broker 积压：Redis 用 redis-cli info | grep q_len，rabbitmq 看 messages_ready，不是 messages 总数
• 确认 worker 预取数（worker_prefetch_multiplier）：设成 0 或太大都会导致任务「看着在队列里，其实早被 worker 锁住不动」
• 核对时区：Celery 的 eta 和 countdown 默认按 worker 本地时区解析，如果 scheduler 和 worker 时区不一致，延迟就是固定偏移，指标完全看不出

指标暴露给 Prometheus 时，路径和命名怎么防冲突

多个 python 服务共用一个 Prometheus 实例时，task_status_total 这种名字一撞就全乱。必须靠命名空间和实例标识隔离。

暴露端点别用默认 /metrics：不同服务起不同 path，比如 /metrics/celery、/metrics/apscheduler，再配合 Prometheus 的 scrape_configs 中 metrics_path 区分。

• 所有指标加前缀：myapp_celery_task_status_total，而不是 celery_task_status_total——后者和官方 exporter 冲突，升级后直接覆盖
• 在 CollectorRegistry 初始化时传 auto_describe=True，否则自定义指标没有 HELP 注释，排查时看不懂单位和含义
• 避免用主机名当 instance 标签：K8s 下 Pod 重建后 hostname 变，历史数据就断。改用 pod_uid 或带版本号的 deployment 名

最难缠的其实是「任务重复上报」：比如重试三次的任务，打点代码没判断是否首次执行，结果同一个任务贡献了三条成功指标。得靠 task_id 去重，或者用 Gauge 记录当前状态而非累加。这点稍不注意，告警就失真。