Python Cython 加速代码的基本流程

1次阅读

cython加速需三步:写.pyx、setup.py(用setuptools+cythonize)、build_ext;仅计算密集且类型明确的代码有效,cdef声明c函数并标注类型才能提速,def仍为python调用开销;数组用memoryview加速,注意abi匹配与内存连续性。

Python Cython 加速代码的基本流程

怎么把一个 Python 函数用 Cython 编译成 .so

核心就三步:写 .pyx 文件 → 写 setup.py → 调用 python setup.py build_ext --inplace。不是所有 Python 代码都能加速,只有计算密集、类型明确、循环多的函数才值得动。

  • .pyx 文件里别直接 import 大量 Python 模块,Cython 编译时不会帮你解析它们的运行时行为
  • setup.py 必须用 setuptools + Cython.Build.cythonize,不能只靠 distutils(Python 3.12+ 已弃用)
  • 编译后生成的 .solinux/macos)或 .pydwindows)文件必须和调用它的 Python 脚本在同一个目录,或在 PYTHONPATH 里,否则 ImportError: No module named 'xxx'

为什么加了 def 还是慢,得改 cdef

Cython 默认把 def 当作普通 Python 函数导出,调用开销和原生 Python 一样;真正去解释器层提速,得用 cdef 声明 C 级函数,并显式标注变量类型

  • cdef 函数只能被 Cython 模块内部或其他 Cython 模块调用,不能被纯 Python 代码直接 import —— 如果你需要从 Python 脚本里调,得再包一层 def 函数
  • 常见误写:cdef int x = [] —— cdef 只能声明 C 类型(intdoublechar *),不能声明 Python 对象listdict),否则编译报错 Cannot convert Python Object to 'int'
  • 数组加速关键:用 np.ndArray 配合 memoryviewctypedef 声明,比如 cdef double[:] arr_view,比 for i in range(len(arr)): 快一个数量级

pyximport 能不能跳过 setup.py 直接跑

可以临时用,但只适合调试小函数,不适用于工程化或依赖外部库的场景。

  • import pyximport; pyximport.install() 后,首次 import xxx 会自动编译同名 xxx.pyx,但默认不开启 C 语言优化(比如 -O2),也不链接 OpenMP 或 BLAS
  • 如果 .pyx 里用了 cimport numpycdef extern frompyximport 很可能失败,报错类似 numpy/arrayobject.h: No such file or Directory,因为它没传 include_dirs
  • 它生成的缓存文件默认放在 ~/.pyxbld,不同项目容易冲突,且不会自动清理旧编译产物

编译报错 undefined symbol: PyFPE_jbufSymbol not found: _PyThreadState_UncheckedGet

这是典型的 Python 版本/ABI 不匹配问题,尤其多见于 macOS 和 conda 环境。

立即学习Python免费学习笔记(深入)”;

  • 确保 python 命令和 cython 安装在同一环境里(比如都用 conda install cython,而不是 pip install cython 混用)
  • macOS 上如果用系统 Python(/usr/bin/python3),Cython 编译会链接错误的框架路径;建议统一用 pyenv 或 conda 管理 Python
  • 检查 python-config --includes 输出是否包含 numpy 头文件路径;若没有,setup.py 里要显式加 include_dirs=[numpy.get_include()]

最常被忽略的是:Cython 加速不是“写了 cdef 就快”,它对内存布局、数据连续性、GIL 释放非常敏感;一个 np.array 如果是 view 或非 C-contiguous,加速效果可能归零。

text=ZqhQzanResources