Python 向量化计算为何更高效

2次阅读

numpy ndArraypython 列表快,因其底层 c 实现、内存连续、无类型检查开销,且运算批量执行;列表是 pyobject* 指针数组,每次操作需查类型、调方法、分配新对象

Python 向量化计算为何更高效

NumPy 的 ndarray 为什么比 Python 列表快?

因为底层用 C 实现,内存连续、无类型检查开销,且运算直接在预分配的缓冲区上批量执行。Python 列表是对象指针数组,每次加法都要查类型、调方法、分配新对象。

  • 列表 [1, 2, 3] 存的是三个 PyObject* 指针,每个整数都是独立对象
  • np.array([1, 2, 3]) 是一块连续内存,按 int64 原生格式存值
  • + 对列表是拼接(生成新列表),对 ndarray 是逐元素加法(in-place 或新缓冲区)

哪些操作能真正触发向量化?

只有 NumPy 自带的 ufunc(universal function)或其组合才自动向量化;手写的 for 循环map()、列表推导式全都不算。

  • np.sin(arr)arr * 2arr > 0.5 —— 真向量化
  • [f(x) for x in arr]list(map(np.sqrt, arr)) —— 仍是 Python 层循环
  • ⚠️ np.vectorize(f) 只是语法糖,底层还是循环,别当真向量

广播(broadcasting)不报错,但容易悄悄变慢

广播本身不引入额外计算,但若触发隐式复制(如 (1000, 1)(1, 2000) 相加),会临时分配 (1000, 2000) 大小的内存,OOM 或卡顿就来了。

  • 检查形状:用 arr.shape 确认是否真“免复制”
  • 避免 arr[:, np.newaxis] + other_arr[np.newaxis, :] 这类显式升维再广播,改用 np.outer()einsum
  • 小数组广播没问题,大数组建议先 reshape 再运算,别依赖自动广播猜意图

为什么 np.where() 比布尔索引快?

不是绝对更快,而是更可控——布尔索引会先生成完整 bool 数组(占内存),而 np.where(condition, a, b) 可以流式计算,尤其配合 out= 参数时能复用内存。

立即学习Python免费学习笔记(深入)”;

  • arr[arr > 0.5] = 1:先建一个可能很大的 bool 数组,再索引赋值
  • np.where(arr > 0.5, 1, arr, out=arr):条件判断和写入一步到位,无中间 bool 缓冲
  • 注意:np.where 三参数模式返回新数组,除非显式传 out=,否则没省内存

实际写的时候,最常被忽略的是:你以为在向量化,其实只是把 for 换成了 np.vectorize,或者靠广播硬撑大维度却没看内存占用。向量化真正的门槛不在写法,而在能不能把逻辑重构成 ufunc 友好的形式。

text=ZqhQzanResources