
本文介绍使用 pandas 的 `str.split()` 与 `explode()` 方法,高效、安全地将 dataframe 中多个字符串型列表列(如 “ms” 和 “ds”)按元素一一配对展开为长格式,自动处理长度不一致时的填充(如补 nan)。
在数据清洗和预处理中,常遇到将多列逗号分隔字符串“同步展开”为多行的需求:即每行原始记录对应若干组 (MS_i, DS_j) 组合,且两列元素需按位置配对(而非笛卡尔积),当列长度不等时需用 NaN 补齐。Pandas 提供了简洁优雅的解决方案——结合 str.split()、zip_longest 和 explode()。
✅ 推荐实现(清晰、健壮、可读性强)
import pandas as pd from itertools import zip_longest # 示例数据 df = pd.DataFrame({ 'ID': [654, 131, 598], 'MS': ['1500,10000,20000,30000', '1500,10000,20000', '1500,10000,20000,30000'], 'DS': ['60,365,730', '60,365,730', '60,365,730'] }) # 步骤 1:将 MS 和 DS 列转为 list(按逗号分割) df[['MS', 'DS']] = df[['MS', 'DS']].apply(lambda x: x.str.split(','), axis=1) # 步骤 2:逐行 zip_longest 配对,生成元组列表(自动以 None 填充短列) df['paired'] = df.apply(lambda row: list(zip_longest(row['MS'], row['DS'])), axis=1) # 步骤 3:explode 展开 paired 列,再拆分为独立列 df = df.explode('paired') df[['MS', 'DS']] = pd.DataFrame(df['paired'].tolist(), index=df.index) # 可选:将 MS/DS 转为数值类型(原始为字符串) df['MS'] = pd.to_numeric(df['MS'], errors='coerce') df['DS'] = pd.to_numeric(df['DS'], errors='coerce') print(df[['ID', 'MS', 'DS']])
输出结果:
ID MS DS 0 654 1500 60.0 0 654 10000 365.0 0 654 20000 730.0 0 654 30000 NaN 1 131 1500 60.0 1 131 10000 365.0 1 131 20000 730.0 2 598 1500 60.0 2 598 10000 365.0 2 598 20000 730.0 2 598 30000 NaN
⚠️ 注意事项与最佳实践
- zip_longest vs zip:务必使用 itertools.zip_longest(而非内置 zip),否则短列会被截断,丢失数据;
- fillvalue 参数:默认为 None,符合 pandas 的缺失值语义;若需显式 ‘Nan’ 字符串,请传入 fillvalue=’Nan’,但注意这会改变数据类型(非数值);
- 性能优化:对大数据集,避免 apply(…, axis=1) 循环;本方案虽简洁,若性能敏感,可改用 pd.concat + map 手动构建索引,但可读性下降;
- 空值/异常处理:str.split(‘,’) 对空字符串返回 [”],对 NaN 返回 NaN;建议前置清洗:df[[‘MS’,’DS’]] = df[[‘MS’,’DS’]].fillna(”);
- 扩展性:该模式可轻松扩展至 3+ 列(如新增 ‘TS’ 列),只需在 zip_longest(…) 中添加对应字段,并调整 pd.DataFrame(…).tolist() 的解包逻辑。
掌握此方法,即可稳健应对多列字符串同步展开这一高频数据整形任务。