Python CI 缓存的优化层级

1次阅读

pip缓存未生效主因是默认不校验wheel兼容性,如python 3.11构建的wheel在3.12环境被无视;应加–prefer-binary、升级pip≥22.2,并合理设计cache key包含python版本与requirements哈希。

Python CI 缓存的优化层级

pip install 时为什么缓存没生效?

CI 中 pip install 反复下载包,不是因为没配缓存,而是 pip 默认不校验本地 wheel 缓存是否与当前环境兼容。比如你用 Python 3.11 构建的 wheel,在 3.12 环境里会被无视——哪怕只是 minor 版本差,pip 也认为“不安全”,直接重下源码重编译。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 在 CI 脚本中显式加 --prefer-binary,强制优先用缓存 wheel,而非退化到 sdist
  • 确保 pip 版本 ≥ 22.2(旧版对多平台 wheel 支持弱),可用 python -m pip install --upgrade pip 预升级
  • 若用 Poetry 或 Pipenv,它们默认绕过 pip 的 wheel 兼容检查,但会引入自己的 lock 文件依赖层,缓存粒度变粗、失效更隐蔽

github Actions 中 cache action 的 key 怎么写才不翻车?

缓存 key 写成固定字符串(如 "pip-cache")等于没缓存;写成哈希整个 requirements.txt 又太敏感——换行符、注释、空格微调都会导致缓存 miss。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • hashFiles('**/requirements*.txt') 而非单个文件,覆盖 requirements-dev.txt 等变体
  • 把 Python 版本纳入 key:python-${{ hashFiles('**/requirements*.txt') }}-${{ matrix.python-version }}
  • 避免把 pip list 输出或 venv 路径塞进 key——这些是结果,不是输入,会导致循环依赖

poetry install 比 pip install 慢,缓存能救回来吗?

能,但得拆开看:Poetry 的 poetry install 本身不读 pip 缓存,它走自己的 ~/.cache/pypoetry;而它的 lock 文件解析和虚拟环境重建逻辑,比 pip 更重。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • CI 中优先用 poetry install --no-root(跳过项目包安装),只装依赖,省掉一次 build
  • poetry export -f requirements.txt | pip install -r /dev/stdin 替代纯 poetry 流程,直接复用 pip 缓存层
  • 注意 Poetry 1.4+ 默认启用 virtualenvs.in-project = true,导致每次缓存路径含随机 hash,必须显式设为 false 并固定 virtualenvs.path 才能稳定命中缓存

缓存层级叠太多反而拖慢 CI?

是的。比如同时配置了:pip 缓存 + Poetry 缓存 + venv 目录缓存 + .pytest_cache 缓存——其中 venv 和 pytest 缓存几乎从不复用,却要花数秒上传下载,净增耗时。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 只缓存真正“构建代价高且输入稳定”的东西:pip wheel 缓存、Poetry 的 artifacts 子目录(不是整个 cache)、~/.cache/pre-commit
  • 跳过缓存 __pycache__.mypy_cache.pytest_cache——这些是运行时产物,生命周期短,且大小波动大
  • actions/cache@v4restored: ${{ steps.cache.outputs.cache-hit == 'true' }} 做条件判断,后续步骤可据此跳过冗余 install

缓存不是越多越好,关键在“哪些东西变了才该失效”。Python 版本、依赖声明、构建工具版本,这三者任何一个动了,整个依赖缓存就该刷新——其余都只是干扰项。

text=ZqhQzanResources