Linux 多进程抢占 CPU 的定位方法

10次阅读

快速识别多进程CPU抢占需先用top -H+Shift+P查线程级分布,再用ps -eo pid,ppid,comm,%cpu定位同父进程的高负载进程组,结合/proc/PID/cgroup和cmdline追溯服务源头,最后用perf分析调度与锁竞争。

Linux 多进程抢占 CPU 的定位方法

如何快速识别是哪个进程在疯狂占用 CPU

直接看 tophtop 只能知道“有进程在吃 CPU”,但无法区分是单线程高负载,还是多进程集体抢占。关键要确认是否真为「多进程」行为——比如一个服务启了 8 个 worker 进程,每个占 12% CPU,加起来近 100%,但单个并不突出。

实操建议:

  • 运行 top -H(开启线程视图),再按 Shift+P 按线程 CPU 排序,观察是否多个 pid 集中在相近值(如 9.8%、9.5%、9.3%)且属于同一 ppid
  • ps -eo pid,ppid,comm,%cpu --sort=-%cpu | head -20 查看进程及其父进程名,重点关注 comm 相同、ppid 一致的一组高 CPU 进程
  • 注意 %cpu 是采样周期内的平均值,短时爆发可能被平滑掉;若怀疑瞬时抢占,改用 pidstat -u 1 每秒刷新,更敏感

定位多进程所属的服务或启动源头

知道 PID 不等于知道“谁该负责”。常见陷阱是看到一 pythonnode 进程,就以为是用户脚本,其实可能是 systemd service、supervisord 管理的 worker,或是容器内进程。

实操建议:

  • 对任一高 CPU 进程 PID,执行 cat /proc//cgroup:若路径含 /system.slice/xxx.service,说明由 systemd 管理;含 /docker/ 则属容器
  • 执行 cat /proc//cmdline | tr '' ' ' 查看完整启动命令,注意中间无空格分隔,需用 tr 转换
  • 若进程由 systemd 启动,用 systemctl status 查其配置,重点关注 TasksMax=LimitCPU= 是否被设为 infinity 或过大

检查是否因进程数配置不当导致 CPU 争抢

很多服务(nginxgunicornrediselasticsearch)默认会根据 CPU 核数自动派生 worker 进程,但若部署在容器或虚拟机中,它们可能读到宿主机核数,导致创建过多进程。

实操建议:

  • 查 Nginx:看 worker_processes 是否为 auto,配合 worker_cpu_affinity 使用可缓解争抢
  • 查 Gunicorn:确认 --workers 值是否合理(通常设为 2 * CPU核心数 + 1,而非盲目用 auto
  • java 应用:jps -l 找出主进程后,用 jstack | grep 'java.lang.Thread.State' | wc -l 粗略估算活跃线程数,线程数远超核数时易引发调度开销

用 perf 看多进程在 CPU 上的实际调度行为

toppidstat 只给宏观视图,真正要看“为什么抢”——比如是否频繁上下文切换、是否卡在锁或系统调用上——得靠 perf

实操建议:

  • 采集 10 秒调度事件perf record -e sched:sched_switch -g -p $(pgrep -f 'your_service_name' | head -n1) sleep 10
  • 生成火焰图分析热点:perf script | ~/FlameGraph/stackcollapse-perf.pl | ~/FlameGraph/flamegraph.pl > cpu-flame.svg
  • 重点看:函数调用中是否反复出现 __scheduletry_to_wake_up(调度器开销大);或大量 futex_wait(进程/线程在等锁)

多进程抢占的本质,常不是“谁写得烂”,而是资源配额、启动方式、隔离边界没对齐。比如在 2 核容器里跑 8 个 worker,linux 调度器只能硬着头皮切,上下文切换开销本身就会吃掉可观 CPU。这类问题不会在日志里报错,得靠组合命令交叉验证。

text=ZqhQzanResources