读大文件应分块读、边读边处理以控制内存：按行读适合文本，用for line in f；分块读适合二进制，用f.read(chunk_size)；mmap适合随机访问；生成器封装提升复用性；注意及时关闭文件、清理对象并监控内存。
读大文件时别一次性 read()，内存会爆。核心思路是“分块读、边读边处理”，让内存占用稳定在可控范围。
按行读取：适合文本日志、csv等逐行可处理的场景
用 for line in f: 最省内存，python 内部做了缓冲优化，不会把整文件加载进内存。
- 确保文件以文本模式打开（
encoding指定编码，避免解码错误） - 遇到超长行（如单行几百MB）要加保护，可用
f.readline(max_bytes)限制单行长度 - 若需跳过头部或按条件过滤，直接在循环里
continue或break，不额外存中间数据
分块读取：适合二进制文件、固定格式或需自定义解析的场景
用 f.read(chunk_size) 手动控制每次读多少字节，典型 chunk_size 取 8192（8KB）到 65536（64KB）之间较均衡。
- 太小（如 1B）会导致系统调用频繁，IO 效率低
- 太大（如 100MB）失去内存控制意义，接近全读
- 读取后立即处理或写入，处理完清空变量（如
chunk = None），帮助 GC 回收
内存映射（mmap）：适合随机访问、重复读同一区域的大文件
mmap 把文件“映射”成内存地址空间，操作系统按需加载页，不占 Python 堆内存。
立即学习“Python免费学习笔记（深入）”；
- 适用于数据库文件、大型索引、图像头信息提取等场景
- 注意 windows 下 mmap 对打开模式敏感（需
r+或copy_on_write配置） - 不要对 mmap 对象做
list()或str()全转，会触发全加载
用生成器封装逻辑：提升复用性与可读性
把读取+解析逻辑封装成生成器函数，调用方按需迭代，语义清晰且天然流式。
- 例如：
def read_csv_chunks(path, chunk_size=1000):每次 yield 一个 DataFrame 分块 - 生成器内部用
csv.reader配合itertools.islice控制行数，比 pandas 的chunksize更轻量 - 异常处理放在生成器内（如某块编码失败，可记录并跳过，不影响后续）
不复杂但容易忽略：关闭文件、及时 del 大对象、监控 psutil.Process().memory_info().rss 看实际内存走势，比理论更可靠。