Python 遗留系统迁移的逐步策略

2次阅读

python 2项目不能直接运行于python 3,因默认字符串类型、编码行为、库api等存在本质差异;需用python3 -w all检测警告,检查open()编码、统一http客户端、更新venv/pip、修正mock与断言写法。

Python 遗留系统迁移的逐步策略

如何判断一个 Python 2 项目是否真能直接跑在 Python 3 上

绝大多数“能跑”只是表面现象,print 改成函数、urllib 拆包这些基础改动做完后,真正要命的是隐式编码行为变化。Python 2 默认 str 是字节串,Python 3 默认 str 是 Unicode,一旦涉及文件读写、网络请求、数据库交互,就容易在某次数据流入时突然报 UnicodeDecodeError 或静默乱码。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • python3 -W all your_script.py 启动,把所有 DeprecationWarningBytesWarning 暴露出来
  • 检查所有 open() 调用:没带 encoding 参数的,基本都会在 Python 3 下出问题;尤其注意配置文件、日志、CSV 导入
  • 运行时捕获 sys.getdefaultencoding()locale.getpreferredencoding(),别信文档里“默认 UTF-8”的说法——windows 上它大概率是 cp1252
  • 别依赖 __future__ 的补丁,比如 from __future__ import unicode_literals 在 Python 2 里改不了 str() 行为,也救不了第三方库

requests + urllib2 混用代码迁移时最常崩的三个点

很多遗留系统一边用 requests 发 API,一边用 urllib2(或 urllib.request)处理内部 URL 构造或表单编码,结果迁移到 Python 3 后,urlencode 返回类型变了、Request 对象不认 bytes 类型的 data、header 值从 str 变成必须 str(不能是 bytes)。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • urllib.parse.urlencode() 在 Python 3 返回 str,但 requests.post(data=...) 如果传的是 str,它会自动 encode 成 utf-8;而 urllib.request.Request(data=...) 要求你明确传 bytes,否则报 TypeError: POST data should be bytes or an iterable of bytes
  • 统一用 requests 替换所有 urllib2 调用,哪怕只是发个本地 http://localhost 请求——它对编码更宽容,API 更一致
  • 如果必须保留 urllib,所有拼接 URL 的地方加 urllib.parse.quote(),别再用 urllib.quote();所有构造 body 的地方,显式调用 .encode('utf-8')

virtualenv 和 pip 版本不匹配导致 pip install 失败

老系统常用 virtualenv==15.0.0 配 Python 2.7,升级到 Python 3.8+ 后,virtualenv 不再自带 pip,或者装出来的 pip 是旧版,一跑 pip install -r requirements.txt 就卡在 Could not find a version that satisfies the requirement,其实是 pip 不支持 PEP 517 构建流程。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 不用 virtualenv,直接用 Python 3.3+ 自带的 venvpython3 -m venv myenv,然后 source myenv/bin/activatelinux/macos)或 myenvScriptsactivate.bat(Windows)
  • 激活后立刻升级 pip:pip install --upgrade pip,最低要到 pip>=21.0 才能稳妥处理现代包(如 poetrysetuptools>=60
  • 如果 requirements.txt 里有 -e git+... 这种行,确认 Git 客户端已安装且可执行——旧环境常忽略这点,新 pip 会直接失败,不提示缺 Git

单元测试在 Python 3 下通过但逻辑其实错了

最典型的是 mock 行为差异:mock.Mock.return_value 在 Python 2 下返回空对象,Python 3 下可能返回 None 或触发 AttributeError;还有 assertRaises 的上下文管理器写法,在 Python 2.6/2.7 里不支持,但有些测试用 unittest2 补丁绕过,迁移到 Python 3 后反而因版本错位失效。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 把所有 @patch 装饰器下的方法签名和返回值显式写清楚,比如 @patch('module.func', return_value={'ok': True}),别依赖 mock 的默认返回
  • 检查 assertRaises 是否用了上下文管理器形式(with self.assertRaises(...):),如果是老式元组写法 self.assertRaises(..., func, arg),在 Python 3.9+ 中已被弃用,但不会立即报错,而是静默跳过断言
  • 运行测试时加上 --tb=short,避免过长掩盖真实异常源头;特别留意 ResourceWarning,它常暴露未关闭的文件句柄或 socket,Python 3 默认开启警告,Python 2 默认关

迁移不是改完语法就能上线的事。最麻烦的永远是那些没报错、但数据在某个环节悄悄被 decode/encode 错了的地方——比如时间戳从数据库取出来是 bytes,转成 str 时用了系统默认编码,结果在中文 Windows 上变成乱码时间,业务逻辑却照常往下走。

text=ZqhQzanResources