PythonDocker高级项目部署教程_多容器管理与CI/CD流水线

25次阅读

docker Compose 用于管理多容器协同应用,通过 docker-compose.yml 定义服务配置与依赖;推荐多阶段构建分层 python 镜像以减小体积、提升 CI 效率;gitHub Actions 实现测试、构建、部署流水线;生产环境须做好日志集中、资源限制、配置外置和监控。

PythonDocker高级项目部署教程_多容器管理与CI/CD流水线

用 Docker Compose 管理多容器应用

单个容器跑不起来完整项目,Web 服务、数据库、缓存、消息队列往往需要协同工作。Docker Compose 就是为此设计的——它用一个 docker-compose.yml 文件描述多个容器的配置、依赖关系和启动顺序。

比如一个 flask + postgresql + redis 的典型组合,docker-compose.yml 可以这样写:

  • 定义 web 服务:基于自建镜像或 Dockerfile 构建,暴露端口,链接数据库和缓存
  • 定义 db 服务:使用官方 postgres:15 镜像,挂载数据卷确保持久化
  • 定义 cache 服务:使用 redis:7-alpine,设置内存限制和密码
  • 通过 depends_on 控制启动顺序(注意:它不等待服务就绪,需在应用层加健康检查或重试逻辑)

运行 docker-compose up -d 即可一键拉起整套环境;docker-compose logs -f 实时查看各服务日志,排查问题更直观。

构建可复用、分层的 Python 镜像

别再用 python:3.11-slim 直接 pip install 所有依赖——镜像体积大、缓存失效频繁、安全风险高。推荐多阶段构建 + requirements 分层:

立即学习Python免费学习笔记(深入)”;

  • 第一阶段:builder 使用 python:3.11-slim 安装编译型依赖(如 psycopg2-binarycryptography),并把 requirements.txt 拆成 base.txt(运行时必需)和 dev.txt(仅开发/CI 使用)
  • 第二阶段:final 使用更小的 python:3.11-slim-bookworm 基础镜像,只复制上一阶段编译好的包和源码,删掉构建工具和缓存
  • 设好非 root 用户(user: 1001:1001)、工作目录(WORKDIR /app)、环境变量(ENV PYTHONDONTWRITEBYTECODE=1

这样构建出的镜像通常比传统方式小 40%~60%,且每次 pip install 只在依赖变更时重建对应层,CI 构建速度明显提升。

github Actions 实现 Python 项目的 CI/CD 流水线

GitHub Actions 是轻量又可靠的 CI/CD 方案,适合中小型 Python 项目。一个典型的流水线包含三个阶段:

  • 测试阶段:在 ubuntu runner 上安装 Python 3.11,用 pip install -e ".[test]" 安装带测试依赖的包,运行 pytest --cov 并上传覆盖率报告到 Codecov 或 GitHub Code Scanning
  • 构建阶段:用 docker buildx 构建多平台镜像(如 linux/amd64 和 linux/arm64),打上 mainv1.2.0latest 标签,推送到 GitHub Container Registry(GHCR)或私有 Harbor
  • 部署阶段:仅当推送 tag(如 v*)时触发,ssh 登录生产服务器,拉取新镜像,执行 docker-compose pull && docker-compose up -d,再调用健康检查接口确认服务就绪

关键细节:所有敏感信息(如 SSH 私钥、registry Token)都存在 GitHub Secrets 中;用 if: startsWith(github.ref, 'refs/tags/') 精确控制部署时机;避免在 CI 中直接操作生产数据库。

生产环境必须做的几件事

容器不是“扔进去就完事”的黑盒。上线前务必确认以下事项:

  • 日志集中管理:禁用 json-file 默认驱动,改用 fluentdsyslog,把所有容器日志发到 elk 或 Loki;Python 应用里用 Logging.handlers.SysLogHandler 直连
  • 资源限制与健康检查:在 docker-compose.yml 中为每个服务设置 mem_limitcpus,并添加 healthcheck(如 curl -f http://localhost:8000/healthz),让 Docker 自动重启异常容器
  • 配置外置化:所有敏感配置(DB URL、API Key)通过环境变量注入,用 pydantic-settings 统一加载和校验;避免硬编码或打包进镜像
  • 监控基础指标:用 cadvisor + prometheus 采集容器 CPU、内存、网络;Python 应用内嵌 prometheus-client 暴露业务指标(如请求延迟、错误率)

这些不是锦上添花,而是保障服务稳定、可排查、可伸缩的底线要求。

text=ZqhQzanResources