Python msgpack 的压缩与速度权衡

1次阅读

use_bin_type和default不影响压缩率,因压缩率仅取决于序列化后字节流长度;use_bin_type仅控制字符串编码类型,default仅处理不可序列化对象的回退逻辑。

Python msgpack 的压缩与速度权衡

msgpack.packb() 里用 use_bin_typedefault 会影响压缩率吗

不影响。压缩率只由底层序列化后的字节流长度决定,而 use_bin_type 只控制字符串是否用 BIN 类型(而非 STR),default 只影响无法直序列化的对象如何 fallback——它们不改变原始数据的语义体积。真正影响压缩率的是你传进去的数据结构本身,比如嵌套深度、重复 key、长字符串是否被 dedup(msgpack 不做 dedup)。

实操建议:

  • use_bin_type=Truepython 3 下推荐值,否则 bytes 被当 str 处理,反序列化时类型丢失
  • default 函数若返回大对象(比如把 datetime 转成含冗余字段的 dict),反而会增大体积
  • 想压得更小?先用 orjsonujson 预处理成紧凑 JSON 字符串,再 pack 成 bytes——但这就绕开 msgpack 的二进制优势了

启用 zlib 压缩后,msgpack.unpackb() 必须配对解压吗

必须。msgpack 本身不带压缩逻辑,zlib.compress() 包出来的是一段普通字节流,msgpack 完全感知不到它曾被压缩。如果你直接把 zlib 压缩后的 bytes 丢给 msgpack.unpackb(),会报 ExtraDataInvalidString 错误——因为开头几个字节是 zlib header,不是 msgpack magic。

正确做法是手动分层:

立即学习Python免费学习笔记(深入)”;

  • 打包:先 msgpack.packb(data) → 得到 raw bytes,再 zlib.compress(raw_bytes)
  • 解包:先 zlib.decompress(compressed_bytes) → 得到 raw bytes,再 msgpack.unpackb(raw_bytes)
  • 别用 msgpack.packb(..., use_bin_type=True) + zlib 后直接存——看起来省事,但读取时没人告诉你这坨 bytes 还要先 zlib 解压

为什么开了 use_single_Float=True 反而变慢还更大

因为单精度浮点(float32)在 Python 里要额外转换:Python float 是 float64,msgpack 得先截断再编码;而 float64 编码是原生支持的,更快也更稳。实测多数场景下 use_single_float=True 既不省空间(IEEE754 单精度只省 4 字节/数,但可能因对齐反而膨胀),又触发额外类型检查和转换开销。

适用场景极少:

  • 你确定所有 float 都来自 numpyfloat32 数组,且传输端也是 C/C++ 侧直接读 float32
  • 数据里 float 占比极高(>70%),且值域确实能被 float32 精确表示(比如传感器采样值)
  • 网络带宽极端受限,且你已用 zlib 压过一遍,发现 float64 的冗余模式没被压干净——这时候才值得试

msgpack 在 PyPy 下比 CPython 快,但压缩后反而慢了

PyPy 的 JIT 对纯 Python 的 msgpack 序列化加速明显,但一旦加了 zlib.compress(),就掉回 C 扩展瓶颈——zlib 是 C 实现,PyPy 的 CFFI 调用开销比 CPython 的 ctypes 稍高,尤其小数据块(

调优要点:

  • 不要对每个小 dict 单独 compress + pack;攒一批(比如 10–100 条)再压,摊薄 zlib 初始化成本
  • PyPy 下优先用 lz4 替代 zlib:安装 lz4 后,用 lz4.frame.compress(msgpack.packb(data)),速度通常快 2–3 倍,压缩率略低但够用
  • 如果数据本身很稀疏(比如大量 None/空 list),先用 msgpack.packb(data, strict_types=True) 避免自动类型推导拖慢 PyPy 的 trace 记录

事情说清了就结束

text=ZqhQzanResources