如何在 Python 中实现每个进程绑定多个 CPU 核心的多进程并行

python 的 `multiprocessing.pool` 本身不支持“每进程分配 n 个核心”的语义，但可通过合理计算进程数、结合系统级绑定（如 `taskset` 或 `psutil`）与资源预留策略，间接实现每个工作进程独占固定数量 cpu 核心的目标。

在标准 python 多进程模型中，multiprocessing.Pool(processes=N) 的 processes 参数指定的是并发进程数，而非直接分配的 CPU 核心数。操作系统调度器负责将这些进程映射到可用核心上，但默认不保证独占或绑定——即一个进程可能被动态调度到任意核心，多个进程也可能竞争同一核心，导致性能波动。

要实现“每个工作进程稳定占用 N 个核心”的效果，关键在于两层控制：

1. 上层：控制并发进程数
   若系统共有 TOTAL_CORES 个逻辑核心，每个任务需独占 N_CORES_PER_PROCESS 个核心，且需为父进程预留 reserved_cores（例如 1–2 核用于主控、IO 或监控），则应设置：

   import os TOTAL_CORES = os.cpu_count() or 1 N_CORES_PER_PROCESS = 2 RESERVED_CORES = 2  # 为主进程保留资源  max_processes = max(1, (TOTAL_CORES - RESERVED_CORES) // N_CORES_PER_PROCESS) with multiprocessing.Pool(processes=max_processes) as pool:     results = pool.map(func, range(10000))

2. 下层：强制核心绑定（推荐进阶方案）
   仅限制进程数无法防止 OS 调度干扰。真正保障“N 核/进程”，需在子进程启动时绑定其 CPU 亲和性（CPU affinity）。可借助 psutil 或 os.sched_setaffinity（linux/macOS）实现：

   import multiprocessing import psutil import os  def worker_init(cores_list):     # 每个 worker 启动时绑定到指定核心列表     p = psutil.Process()     p.cpu_affinity(cores_list)  def func(x):     return x ** 2  if __name__ == "__main__":     TOTAL_CORES = os.cpu_count()     N_CORES_PER_PROCESS = 2     RESERVED_CORES = 2     available_cores = list(range(RESERVED_CORES, TOTAL_CORES))      # 划分核心组：[[0,1], [2,3], ...]     core_groups = [         available_cores[i:i + N_CORES_PER_PROCESS]         for i in range(0, len(available_cores), N_CORES_PER_PROCESS)     ]      # 创建 Pool，为每个 worker 分配一组核心     with multiprocessing.Pool(         processes=len(core_groups),         initializer=worker_init,         initargs=(core_groups[0],)  # 注意：实际需按 worker 索引动态分配，此处简化；生产环境建议用全局计数器或队列分发     ) as pool:         results = pool.map(func, range(10000))

⚠️ 注意事项：

• psutil.cpu_affinity() 在 windows 上部分版本可能不可用，建议优先使用 Linux/macos 环境；
• os.sched_setaffinity(pid, cpus) 更底层，但需手动管理 PID 和跨平台兼容性；
• 避免过度预留（如 N_CORES_PER_PROCESS > 4），以防因核心碎片化降低整体吞吐；
• I/O 密集型任务通常无需绑定多核，该模式更适合计算密集型、可并行向量化（如 numpy 数组运算、科学计算）场景。

总结：Python 原生并无 cool_new_pool，但通过“进程数规划 + CPU 亲和性绑定”双策略，即可精准实现每个工作进程独占 N 个物理/逻辑核心的工程目标，兼顾性能可控性与资源利用率。

立即学习“Python免费学习笔记（深入）”；