本文介绍使用pandas分块读取gb级csv文件（如2亿行），通过列名安全访问数据、计算列间比值/差值及行间变化量，并流式写入结果，避免内存溢出。
处理数百兆乃至数GB的csv文件时，绝不能一次性加载到内存——这会导致MemoryError或系统卡死。正确做法是采用分块（chunking）+ 流式计算 + 迭代写入策略。以下是一个健壮、可扩展的完整解决方案。
✅ 正确做法：分块处理 + 列名索引 + 差分计算
首先明确关键修正点：
- for row in chunk: 遍历的是列名（str），不是行数据 → 应改用 .iterrows() 或向量化操作；
- pd.write_csv() 不存在 → 正确方法是 chunk.to_csv(…, mode=’a’, header=False)；
- 行间差值（如 width_diff = current[‘Width’] – previous[‘Width’]）需保存上一块的末行，或使用 .diff()（推荐）；
- 对于超大数据，优先使用向量化运算（快且内存友好），避免逐行循环。
✅ 推荐实现（含列计算 + 行差分 + 增量保存）
import pandas as pd file_in = r"B:UsersuserDocumentshuge-dataset.csv" file_out = r"B:UsersuserDocumentsaggregate.csv" # 第一次写入时保留表头，后续追加不写表头 first_chunk = True for chunk in pd.read_csv(file_in, chunksize=100_000): # ✅ 使用列名安全计算（自动广播，无需循环） chunk['ratio'] = chunk['Width'] / chunk['Length'] # 避免除零？可加 fillna 或 clip chunk['width_length_diff'] = chunk['Width'] - chunk['Length'] # ✅ 行间差分：当前行 Width 减前一行 Width（首行为 NaN） chunk['width_diff_from_prev'] = chunk['Width'].diff() # ✅ 可选：跨块连续差分（若需全局时序连续性） # 需在循环外维护 prev_last_width，此处为简化省略；多数场景 .diff() 已满足需求 # ✅ 流式写入：mode='a' 追加，header=first_chunk 控制仅首块写表头 chunk[['DateTime', 'ratio', 'width_length_diff', 'width_diff_from_prev']].to_csv( file_out, mode='a', header=first_chunk, index=False ) first_chunk = False print(f"✅ 处理完成，结果已保存至 {file_out}")⚠️ 注意事项与最佳实践
- 避免 .iterrows()：它返回 (index, Series)，速度慢且破坏向量化优势；99% 场景用直接列运算（如 chunk[‘A’] + chunk[‘B’]）即可。
- 空值与异常处理：
chunk['ratio'] = (chunk['Width'] / chunk['Length']).replace([float('inf'), -float('inf')], float('nan')) - 内存优化技巧：
- 行间依赖进阶：若需严格跨块的“上一行”（如累计差分），可在每块处理前保存上一块末行值，并在当前块首行手动计算差值，再调用 .diff() 处理剩余行。
✅ 总结
面对超大CSV，核心原则是：向量化 > 迭代，分块 > 全量，流式写入 > 内存暂存。利用 pandas.read_csv(chunksize=…) + 列名索引 + .diff() + to_csv(mode=’a’) 四步组合，即可安全、高效完成列运算与行间分析，全程内存可控，代码简洁可靠。