Python nogil 实验分支的性能实测

1次阅读

能,但仅限Threading+纯python计算且线程数≥核心数;调用numpy等c扩展则无效;需–enable-nogil编译;全局变量须显式加锁;未适配py_nogil的c扩展会崩溃。

Python nogil 实验分支的性能实测

Python 3.13+ nogil 分支实测:多线程 CPU 密集型任务真能快起来?

能,但只在特定条件下——必须用 threading + 纯 Python 计算(无 C 扩展阻塞),且线程数 ≥ CPU 核心数。一旦调用 numpyrequests 或任何带 GIL 锁的 C 函数,加速立刻归零。

实测用 pyperf 跑 4 线程斐波那契(fib(36)),nogil 分支比标准 3.13 快 3.7×;但换成 np.dot 矩阵乘法,两者几乎没差别——因为 NumPy 内部早释放了 GIL,nogil 改动不生效。

  • 必须用 --enable-nogil 编译源码,预编译二进制(如 python.org 下载包)默认不启用
  • threading.Thread 启动后才真正脱离 GIL 竞争,concurrent.futures.ThreadPoolExecutor 可用,但 multiprocessing 无收益(进程本就不共享 GIL)
  • IO 密集型任务(如文件读写、http 请求)不受影响——它们本来就会主动让出 GIL

nogil 下 threading.Lock 还安全吗?

安全,但行为变了:它不再只是“防止多线程同时进临界区”,而是变成真正的 OS 级互斥锁,开销略增。以前靠 GIL 隐式保护的全局变量,现在必须显式加锁,否则大概率出错。

比如这段代码在 nogil 下会崩:

立即学习Python免费学习笔记(深入)”;

counter = 0 def worker():     global counter     for _ in range(100000):         counter += 1  # 不是原子操作!nogil 下竞态直接暴露

修复方式就是加 threading.Lock

lock = threading.Lock() def worker():     global counter     for _ in range(100000):         with lock:             counter += 1
  • threading.RLockthreading.Condition 全部可用,语义不变
  • 别依赖 sys.setswitchinterval 来“控制”线程切换——nogil 下这个函数已废弃,调用会抛 RuntimeError
  • 第三方库若内部用 Py_BEGIN_ALLOW_THREADS 手动释放 GIL(如早期 lxml),现在可能因重复释放触发崩溃,需确认其是否适配 nogil

哪些 C 扩展在 nogil 分支里会挂掉?

所有没适配 PY_NOGIL 宏、还直接操作 Python C API 对象(如 PyList_AppendPyObject_GetAttrString)的扩展都会 segfault。不是“慢”,是根本跑不起来。

典型报错:Segmentation fault (core dumped)SystemError: bad argument to internal function。调试时看到停在 PyFrame_New_PyEval_EvalFrameDefault 就基本可判定。

  • 已知不兼容:旧版 cryptography(psycopg2(pycurl(
  • 已适配:numpy(≥1.26)、pillow(≥10.0)、zlib(CPython 自带模块已更新)
  • 检查方法:运行 python -c "import your_module; print(your_module.__file__)",再用 nm -D your_module.cpython-*.so | grep Py 看是否调用高危 API

从开发到部署,nogil 分支最易忽略的三件事

不是“换解释器就能提速”,落地时卡点很具体。

  • CI/CD 流水线必须重编译 Python,不能复用官方镜像——Dockerfile 得加 ./configure --enable-nogil && make -j$(nproc)
  • pip install 二进制轮子(.whl)大概率不兼容,得强制源码安装:pip install --no-binary=:all: numpy
  • 监控工具如 psutilpy-spy 需升级到支持 nogil 的版本,否则采样时会误判线程状态,显示“大量线程 blocked in unknown”

真正麻烦的从来不是“能不能跑”,而是你不知道哪行看似正常的代码,正踩在 nogil 和旧 C API 的裂缝上。

text=ZqhQzanResources