python处理大文件应采用流式读取和生成器机制以避免内存溢出：逐行读取文本、分块读取二进制文件、用生成器封装逻辑、借助ijson/xml.etree流式解析结构化数据。
处理大文件时，一次性加载到内存会引发内存溢出。Python 提供了流式读取和生成器机制，让程序能逐块、按需处理数据，内存占用稳定且效率更高。
流式读取文本文件：避免 read() 全量加载
用 open() 配合 for 循环逐行读取，是默认的流式行为，底层使用缓冲区，不加载全文到内存：
- ✅ 正确写法：for line in open(‘huge.log’, encoding=’utf-8′): —— 每次只读一行，适合日志、csv 等行结构文件
- ⚠️ 避免：open(…).read() 或 readlines() —— 会把整个文件塞进内存，几 GB 文件极易崩溃
- ? 小技巧：用 enumerate() 带行号处理，或搭配 line.strip() 去除换行符和空格
分块读取二进制/超长行文件：控制每次读取大小
当文件无明确换行（如大 json、二进制 dump）或某行极长时，可用 read(size) 手动分块：
- ✅ 推荐块大小：8192 或 65536 字节（即 8KB–64KB），兼顾 I/O 效率与内存压力
- ✅ 示例：读取大图片/视频片段：with open(‘video.bin’, ‘rb’) as f: while chunk := f.read(65536): process(chunk)
- ⚠️ 注意：文本模式下直接分块读可能截断多字节字符（如 UTF-8 中文），建议优先用逐行读；若必须分块，请用 io.TextIOWrapper 配合编码处理
用生成器封装逻辑：解耦读取与处理
把文件解析逻辑封装成生成器函数，调用方按需取值，清晰、可复用、易测试：
立即学习“Python免费学习笔记（深入）”；
- ✅ 示例：解析 CSV 行但跳过注释和空行
def read_clean_csv(path):
with open(path, encoding=’utf-8′) as f:
for line in f:
if line.strip() and not line.startswith(‘#’):
yield line.strip().split(‘,’)
- ✅ 调用时：for row in read_clean_csv(‘data.csv’): —— 不预先构建列表，内存恒定
- ? 进阶：配合 itertools.islice 实现“读前 N 条”，或用 yield from 组合多个生成器