rcu detected stall on CPU 的 rcu_sched / rcu_bh 超时调优参数

RCU stall 根本原因是 callback 积压或 grace period 过长，需结合 rcu_nocbs、rcu_kthreads 等启动参数及 rcu_cpu_stall_timeout 等运行时参数协同调优，而非单纯调大超时。

RCU stall 检测到 CPU 卡住，本质是 RCU callback 积压或 grace period 过长，不是简单调大超时就能解决的。

rcu_sched 和 rcu_bh 的 stall 超时机制差异

内核通过 rcu_cpu_stall_timeout 控制 stall 检测周期（单位：秒），但 rcu_sched 和 rcu_bh 共享同一套检测逻辑，不区分独立超时值。真正影响 stall 触发时机的是：

• rcu_cpu_stall_timeout：默认 21 秒，超过该时间未完成 grace period 就报 rcu detected stall on CPU
• rcu_cpu_stall_info：设为 1 可在 stall 发生时打印更多上下文（如最近的 rcu_pending、rcu_qs 状态）
• rcu_nocbs：若启用（如 rcu_nocbs=1），会把 callback 移出 softirq，在 kthread 中执行，可能缓解 softirq 堵塞导致的 rcu_bh stall

常见触发场景与对应参数调整建议

不能只改超时值，得先定位卡点类型：

• 高负载下 softirq 处理不过来（尤其 rcu_bh）→ 启用 rcu_nocbs 并绑定到隔离 CPU：rcu_nocbs=1 isolcpus=noirq,managed_irq,1-3
• 长时间关中断（local_irq_disable）或禁抢占（preempt_disable）→ 检查驱动或模块，rcu_cpu_stall_timeout 调小（如 5）反而更容易暴露问题
• 大量 callback 积压（如频繁 call_rcu + 长耗时 callback）→ 改用 call_rcu_tasks 或拆分 callback 工作，避免阻塞 RCU softirq
• 虚拟化环境（KVM）中 vCPU 被调度器长期挂起 → 调大 rcu_cpu_stall_timeout 是合理妥协，但需配合 rcu_kthreads=1 启用专用 kthread 加速 grace period

/proc/sys/kernel/ 下可运行时修改的关键参数

这些参数支持 sysctl 或 echo 写入，适合调试阶段快速验证：

• /proc/sys/kernel/rcu_cpu_stall_timeout：例如 echo 60 > /proc/sys/kernel/rcu_cpu_stall_timeout
• /proc/sys/kernel/rcu_cpu_stall_info：设为 1 获取更详细 stall trace
• /proc/sys/kernel/rcu_normal：仅在启用 CONFIG_RCU_NOCB_CPU=y 时存在，控制 nocb CPU 列表（如 0,2）

注意：rcu_nocbs 必须在 boot 参数中指定，运行时无法开启；而 rcu_kthreads 也必须启动时设置（rcu_kthreads=1）才能启用 RCU kthread。

容易被忽略的硬性限制

RCU stall 检测本身依赖定时器和 softirq 投递，如果系统已严重失调度（如所有 CPU 长期处于 idle 或被独占），rcu_cpu_stall_timeout 可能根本不会触发——它不是 watchdog，而是基于 RCU 自身状态轮询。真正要抓这类问题，得结合 ftrace 跟踪 rcu_utilization 和 rcu_grace_period 事件，而不是只盯着超时参数调大。