Python多进程使用场景_multiprocessing实践

python多进程适合cpu密集型任务，可绕过gil并行利用多核，典型场景包括数值计算、图像处理、科学计算等；io与计算混合时宜将整流程封装为进程任务，注意参数可序列化、通信方式选择及跨平台启动兼容性。

Python多进程适合CPU密集型任务，比如数值计算、图像处理、数据解析等，当单核跑满仍无法满足性能需求时，用 multiprocessing 可以真正并行利用多核资源。

CPU密集型任务：避开GIL限制

CPython的全局解释器锁（GIL）让多线程无法真正并行执行CPU密集代码，但多进程每个子进程有独立解释器和内存空间，天然绕过GIL。典型场景包括：

• 批量处理大量CSV/excel文件中的数值计算
• 使用numpy/pandas做大规模矩阵运算或分组聚合
• 调用opencv进行多张图片的缩放、滤波、特征提取
• 蒙特卡洛模拟、遗传算法迭代等科学计算

IO密集+计算混合：按需拆分

纯IO任务（如http请求、数据库读写）用多线程更轻量，但如果IO之后紧接大量本地计算（例如下载图片后立刻做ocr识别），把“下载+识别”整个流程打包成一个进程任务，比用线程+进程混搭更清晰稳定。建议：

• 用 Process 或 Pool 管理完整业务单元
• 避免在子进程中再开线程（增加复杂度且收益有限）
• 大文件IO注意共享内存或临时路径冲突，推荐每个进程用独立临时目录

进程间通信与数据传递技巧

进程不共享内存，传参和取结果要格外注意：

立即学习“Python免费学习笔记（深入）”；

• 函数参数必须可序列化（pickleable），不能传Lambda、嵌套函数、带绑定方法的对象
• 小量结果直接用 pool.map() 或 process.join() 后取 result.get()
• 大数据推荐用 multiprocessing.Manager() 的 dict/list，或通过文件/redis中转
• 高频通信慎用 Queue，容易成为瓶颈；优先考虑批量处理+减少交互次数

启动方式与平台兼容性

windows/macos默认用 spawn 方式启动子进程，linux默认用 fork。这会影响全局变量、日志配置、甚至CUDA上下文初始化：

• 跨平台项目务必在主模块入口加 if __name__ == '__main__': 保护
• 避免在模块顶层执行耗时初始化（如加载大模型），应移到子进程内按需加载
• 使用 mp.set_start_method('spawn') 统一行为，尤其涉及tensorflow/pytorch时