Python multiprocessing 模块进程启动模式解析

8次阅读

fork复制父进程全部内存状态,spawn启动全新解释器仅导入必要模块;前者易导致日志重复、数据库连接失效,后者可能因不可序列化对象报picklingerror。

Python multiprocessing 模块进程启动模式解析

spawn 和 fork 启动方式的实际区别在哪

windows 上只能用 spawnlinux/macos 默认用 fork,但两者行为差异远不止平台限制。关键在于内存和状态继承方式:fork 复制父进程整个地址空间(含已初始化的模块、全局变量、日志 handler、数据库连接等),而 spawn 是全新 python 解释器启动,只导入必要模块,重新执行顶层代码。

常见错误现象:fork 下子进程意外复用了父进程的 Logging 配置,导致日志重复输出;或复用了已关闭的数据库连接,抛出 sqlite3.ProgrammingError: Cannot operate on a closed databasespawn 则可能因顶层代码中含不可序列化对象(如 Lambda、嵌套函数)而卡在 PicklingError

  • 若主模块顶层有副作用(如 logging.basicConfig()torch.set_num_Threads(1)),优先选 spawn 避免污染
  • 若需快速启动且确定无共享资源冲突(如纯计算任务),fork 启动更快、内存开销更低
  • 跨平台项目必须显式设 mp.set_start_method('spawn'),否则 macOS 10.15+ 的默认 forkserver 可能引发 pytorch 线程死锁

forkserver 模式到底该不该用

forkserver 是折中方案:先启一个干净的“服务器进程”,后续子进程都从它 fork 而来,避免每次启动都重新 import 模块。但它不是万能解药——服务器进程本身仍用 fork 初始化,所以父进程里已触发的副作用(比如 numpy 的线程池初始化)依然会被继承。

使用场景有限:适合启动开销大(如加载大型模型)、且父进程能严格控制副作用的长期运行服务。普通脚本反而更易出问题。

立即学习Python免费学习笔记(深入)”;

  • PyTorch 用户慎用:forkservertorch.set_num_threads() 冲突,子进程可能卡死在 pthread_create
  • 不能在 jupyter 中安全使用:forkserver 依赖 unix 域套接字,notebook 内核环境不稳定,常报 OSError: [errno 24] Too many open files
  • 调试困难:服务器进程不输出日志,子进程崩溃时错误可能丢失上下文

如何安全地切换启动方法

必须在所有 ProcessPool 创建前调用 set_start_method(),且只能调用一次。放在 if __name__ == '__main__': 块最外层是最稳妥的做法。

容易踩的坑是:在模块导入时就创建了 Pool(比如某些包的 __init__.py 里),此时再调 set_start_method 会直接报 RuntimeError: context has already been set

  • 检查是否已有子进程存在:mp.active_children() 返回非空列表时禁止切换
  • macOS 上避免在 fork 后调 set_start_method('spawn'),会触发 AssertionError: can only be called in main thread
  • 多进程嵌套场景(如主进程 spawn 子进程,子进程再开 Pool),内层必须显式传入 mp.get_context('spawn'),不能依赖全局 context

Windows 下 multiprocessing 报错 “AttributeError: Can’t get attribute” 怎么修

这是 spawn 模式下最典型的反序列化失败,本质是子进程无法定位函数定义位置。根本原因不是函数没写对,而是 Python 不知道该去哪 import 它——尤其当函数在交互式环境、Jupyter cell 或临时脚本中定义时。

核心原则:所有要被子进程调用的函数,必须位于可 import 的 .py 文件顶层,且模块路径能被子进程的 sys.path 找到。

  • 别把 target 函数写在 if __name__ == '__main__': 里,子进程不会执行这个块
  • Jupyter 中必须用 %run -i script.py 或将函数移到独立文件,不能靠 def f(): ... + p = Process(target=f)
  • 使用 functools.partial 包装函数时,确保被包装的原函数可 import,而非局部变量
  • 错误信息里的函数名(如 Can't get attribute 'worker' on <module from></module>)提示你:子进程当前模块名是 __mp_main__,不是你的原文件名

启动模式不是性能开关,而是进程隔离策略的选择。真正难处理的从来不是怎么切,而是切完之后——那些你以为没影响、其实已被复制进子进程的全局状态。

text=ZqhQzanResources