大文件分块读取需按需加载数据块以避免内存溢出，分为按字节、按行、结构化格式及自定义上下文保持四类：字节分块用file.read(size)配rb模式；行分块用for line in f或itertools.islice；csv/jsONL/Parquet需专用库逻辑分批；跨块记录需buffer缓存并拼接。
大文件分块读取的核心是避免一次性加载全部内容到内存，而是按需读取固定大小的数据块（如按字节或按行），边读边处理。关键在于控制每次读取的粒度，并保持上下文连续性（尤其对结构化数据如 CSV、json）。
按字节分块：适用于二进制或纯文本流
适合日志、图片、压缩包等无需解析结构的场景。用 file.read(size) 控制每次读取的字节数，简单高效。
按行分块：适用于日志、CSV 等行导向文本
对每行独立可处理的文件（如 nginx 日志、TSV），可用生成器逐行读取，内存占用恒定。
- 直接迭代文件对象（
for line in f:）本质就是缓冲行读取，python 内部已优化 - 若需批量处理（如每 1000 行做一次统计），可用
itertools.islice切片 - 注意换行符兼容性（
n、rn），一般无需手动处理，Python 自动识别
结构化格式分块：CSV / JSONL / Parquet 的特殊处理
不能简单按字节切分，否则会破坏记录边界。需借助专用库按逻辑记录分批读取。
立即学习“Python免费学习笔记（深入）”；
- CSV：用
pandas.read_csv(chunksize=n)或csv.DictReader配合itertools.islice - JSONL（每行一个 JSON）：逐行读 +
json.loads(line)，天然支持分块 - Parquet / HDF5：用
pyarrow或pandas.read_parquet的use_pandas_metadata和分片参数，支持行列过滤与分块加载
自定义分块 + 上下文保持：处理跨块边界的情况
当块末尾截断了某条完整记录（如多行日志、xml 片段），需缓存不完整部分并在下次读取时拼接。
- 维护一个
buffer字符串/字节对象，暂存未完成的记录头 - 每次读取后，先补全 buffer，再按规则（如正则匹配日志开头、XML 标签闭合）拆分有效记录
- 剩余未闭合部分留到下一轮，避免丢数据或解析失败