Python Excel 大文件读写的 openpyxl 优化

openpyxl读大excel卡死因默认全量加载内存，应启用read_only=true流式解析并避免max_row等全表扫描操作；写入慢因逐行append开销大，需批量写入或write_only=true模式。

openpyxl 读大 Excel 文件为什么卡死？

因为 openpyxl 默认加载全部单元格到内存，哪怕你只读一列，它也会解析整个 .xlsx 文件的 xml 结构。10MB 的文件可能吃掉 500MB 内存，100MB 文件直接触发 MemoryError 或长时间无响应。

常见错误现象：openpyxl.load_workbook() 卡住几十秒、进程内存飙升、报错 xml.etree.ElementTree.ParseError: out of memory。

• 用 read_only=True 模式打开——这是最有效的起点，底层改用流式 XML 解析，内存占用降为原来的 1/10 左右
• 避免调用 ws.iter_rows() 后再转成 list()，会一次性拉取全部行；应直接 for 循环迭代
• 不要访问 ws.max_row 或 ws.max_column，它们在 read_only=True 下会强制扫描全表，拖慢速度

怎么只读某几列又不爆内存？

openpyxl 本身不支持“按列名跳读”，但你可以结合 read_only=True + 列索引过滤，避开加载无关字段。

使用场景：日志表有 50 列，你只要 "user_id" 和 "created_at"，其他列全是干扰项。

立即学习“Python免费学习笔记（深入）”；

• 先用 next(ws.iter_rows(min_row=1, max_row=1)) 读首行，拿到列名和对应索引（比如 "user_id" 在第 2 列 → index=1）
• 后续遍历数据行时，只取你需要的索引位置，例如 row[1].value 和 row[4].value
• 别用 row["user_id"].value 这种写法——read_only 模式下 row 是 tuple，不支持键访问

openpyxl 写大文件慢得离谱？别用 active sheet append

逐行 ws.append() 看似自然，但每调用一次都会触发样式、行列元数据的内部重建，10 万行可能耗时几分钟。

性能影响：append 模式下写入速度随行数增长呈次线性下降，而批量写入可稳定在 1–3 万行/秒（取决于硬件）。

• 把数据组织成二维 list（如 data = [[a,b,c], [d,e,f]]），然后用 ws.append(data) 一次写入整批
• 如果必须逐条生成，攒够 1000 行再 ws.append() 一次，比单行 append 快 5–8 倍
• 写入前关掉自动计算和样式：设 wb = Workbook(write_only=True)，这会禁用所有非必要对象，大幅提速并省内存

write_only=True 模式下不能用哪些功能？

这个模式本质是“只写流”，牺牲了灵活性换性能和内存控制。一旦启用，很多你以为理所当然的操作会报错或失效。

容易踩的坑：开了 write_only=True 还想设置单元格字体、边框、合并单元格，或者想回头修改已写入的行。

• ws.cell() 不可用，只能用 ws.append() 或 ws.append(row)
• 不能读取已写入的内容（没有 ws[1][0].value 这种操作）
• 不能设置单个单元格的 font、border、alignment；样式只能通过 NamedStyle 预定义并应用到整列（且有限制）
• 保存后不能再次打开编辑——write_only=True 的工作簿只能写一次，保存即终结

复杂点在于：没有银弹。如果你既要高速写入，又要精细样式控制，就得拆成两步——先用 write_only=True 快速生成数据表，再用普通模式打开、加样式、另存。这个切换过程本身就有开销，得权衡。