用pandas.read_csv读取大文件时，应组合chunksize、usecols、dtype、low_memory=False等参数分块读取、只加载必要列、指定紧凑数据类型、避免类型推断错误，可显著降低内存占用。

用 pandas.read_csv 读取大文件时，内存爆掉很常见——但其实只要合理组合几个关键参数，就能把内存占用压到很低，甚至稳定读完几个 GB 的 CSV。核心思路是：不一次性加载全部数据、跳过无用列、控制数据类型、分块处理、延迟解析。

1. 用 chunksize 分块读取 + 迭代处理

这是最常用也最有效的降内存手段。设置 chunksize 后，read_csv 返回一个可迭代的 TextFileReader 对象，每次只载入一块（比如 10,000 行），处理完立即释放内存。

示例：

for chunk in pd.read_csv('big_file.csv', chunksize=10000):     # 对每块做清洗、聚合、写入数据库等操作     processed = chunk.dropna().groupby('category').sum()     # 不要直接 pd.concat 所有 chunk！除非真需要全量 DataFrame

• chunksize 值不是越大越好，建议从 5000–50000 试起，观察内存峰值
• 避免在循环里累积 list.append(chunk) 再 pd.concat，这会重新吃光内存
• 适合流式处理：统计、过滤、导出子集、写入数据库/Parquet

2. 用 usecols 只读必要列

很多大 CSV 有几十上百列，但你真正用到的可能就 3–5 列。用 usecols 提前指定列名或列索引，pandas 就不会为其他列分配内存和解析器。

示例：

# 按列名选 df = pd.read_csv('big_file.csv', usecols=['id', 'user_id', 'amount', 'ts']) 
按位置选（更快，尤其列数极多时）
df = pd.read_csv('big_file.csv', usecols=[0, 2, 5, 7])

• 比读完再 df[['a','b']] 节省内存 30%–70%，越宽的文件收益越明显
• 配合 dtype 使用效果更佳（见下条）
• 如果列名含空格或特殊字符，优先用整数索引方式指定

3. 用 dtype 显式声明数据类型

pandas 默认把数字列当 float64、字符串当 Object（即 python str），非常吃内存。用 dtype 强制指定更紧凑的类型，能大幅减重。

示例：

dtypes = {     'user_id': 'uint32',     # 比 int64 节省一半空间     'status': 'category',    # 重复值多的字符串列首选     'amount': 'float32',     # 精度够用就别用 float64     'is_active': 'boolean'   # pandas 1.0+ 支持，比 object 轻得多 } 
df = pd.read_csv('big_file.csv', usecols=['user_id','status','amount','is_active'], dtype=dtypes)

• category 对低基数字符串（如状态、地区、分类）压缩率极高，常达 5–10 倍
• 数值列优先用 int32/uint32、float32，确认数据范围不溢出即可
• 避免 object 类型——它是内存黑洞，尤其是长文本列，考虑用 str + low_memory=False 或提前 converters

4. 用 low_memory=False + dtype 避免类型推断错误

默认 low_memory=True 会让 pandas 分块推断每块的 dtype，再合并时可能报 dtype inconsistent 错误，还会触发额外内存拷贝。设为 False 后，pandas 一次性扫描首行+样本行确定 dtype，更稳定、更省内存（尤其配合显式 dtype）。

示例：

df = pd.read_csv(     'big_file.csv',     usecols=['user_id', 'score', 'tag'],     dtype={'user_id': 'uint32', 'score': 'float32', 'tag': 'category'},     low_memory=False )

• 必须和 dtype 配合使用才有意义；单独设 low_memory=False 可能更耗内存
• 适用于列类型明确、且首几行能代表整体分布的文件
• 若文件首行有脏数据（如空值、异常格式），可加 skiprows=1 或先用小样本来 infer_dtype

5. 用 skiprows / nrows + iterator 快速探查与采样

读大文件前，常需先看结构、统计、抽样。不用全读，用这几个参数快速获取信息：

• nrows=10000：只读前 N 行，快速建模/调试
• skiprows=Lambda x: x % 100 != 0：按规则跳行，实现均匀抽样（如每 100 行取 1 行）
• iterator=True（旧版，现推荐 chunksize）：返回迭代器，适合手动控制

抽样示例（取约 1% 数据）：

# 随机抽样（内存友好） df_sample = pd.read_csv('big_file.csv', skiprows=lambda i: i > 0 and np.random.random() > 0.01) 
或更稳的行号抽样（需预估总行数）
df_sample = pd.read_csv('big_file.csv', skiprows=lambda i: i % 100 != 0, nrows=10000)

• 抽样分析阶段绝不调 read_csv(...) 无限制读取
• 用 head -n 1000 big_file.csv > sample.csv 配合 shell 更快（linux/macOS）
• 结合 usecols + dtype，抽样内存开销可压到 MB 级

不复杂但容易忽略：参数之间是协同生效的。单用 chunksize 不如 chunksize + usecols + dtype 组合；单设 dtype 也不如 dtype + low_memory=False 稳定。实际中建议从「usecols + dtype」起步，再按需加 chunksize 或 nrows 控制粒度。