如何在 Python 中将多个逗号分隔字符串列同时展开为多行

12次阅读

如何在 Python 中将多个逗号分隔字符串列同时展开为多行

本文介绍使用 pandas 的 `str.split()` 与 `explode()` 方法,高效、安全地将 dataframe 中多个字符串型列表列(如 “ms” 和 “ds”)按元素一一配对展开为长格式,自动处理长度不一致时的填充(如补 nan)。

数据清洗和预处理中,常遇到将多列逗号分隔字符串“同步展开”为多行的需求:即每行原始记录对应若干组 (MS_i, DS_j) 组合,且两列元素需按位置配对(而非笛卡尔积),当列长度不等时需用 NaN 补齐。Pandas 提供了简洁优雅的解决方案——结合 str.split()、zip_longest 和 explode()。

✅ 推荐实现(清晰、健壮、可读性强)

import pandas as pd from itertools import zip_longest  # 示例数据 df = pd.DataFrame({     'ID': [654, 131, 598],     'MS': ['1500,10000,20000,30000', '1500,10000,20000', '1500,10000,20000,30000'],     'DS': ['60,365,730', '60,365,730', '60,365,730'] })  # 步骤 1:将 MS 和 DS 列转为 list(按逗号分割) df[['MS', 'DS']] = df[['MS', 'DS']].apply(lambda x: x.str.split(','), axis=1)  # 步骤 2:逐行 zip_longest 配对,生成元组列表(自动以 None 填充短列) df['paired'] = df.apply(lambda row: list(zip_longest(row['MS'], row['DS'])), axis=1)  # 步骤 3:explode 展开 paired 列,再拆分为独立列 df = df.explode('paired') df[['MS', 'DS']] = pd.DataFrame(df['paired'].tolist(), index=df.index)  # 可选:将 MS/DS 转为数值类型(原始为字符串) df['MS'] = pd.to_numeric(df['MS'], errors='coerce') df['DS'] = pd.to_numeric(df['DS'], errors='coerce')  print(df[['ID', 'MS', 'DS']])

输出结果:

ID     MS    DS 0  654   1500  60.0 0  654  10000 365.0 0  654  20000 730.0 0  654  30000   NaN 1  131   1500  60.0 1  131  10000 365.0 1  131  20000 730.0 2  598   1500  60.0 2  598  10000 365.0 2  598  20000 730.0 2  598  30000   NaN

⚠️ 注意事项与最佳实践

  • zip_longest vs zip:务必使用 itertools.zip_longest(而非内置 zip),否则短列会被截断,丢失数据;
  • fillvalue 参数:默认为 None,符合 pandas 的缺失值语义;若需显式 ‘Nan’ 字符串,请传入 fillvalue=’Nan’,但注意这会改变数据类型(非数值);
  • 性能优化:对大数据集,避免 apply(…, axis=1) 循环;本方案虽简洁,若性能敏感,可改用 pd.concat + map 手动构建索引,但可读性下降;
  • 空值/异常处理:str.split(‘,’) 对空字符串返回 [”],对 NaN 返回 NaN;建议前置清洗:df[[‘MS’,’DS’]] = df[[‘MS’,’DS’]].fillna(”);
  • 扩展性:该模式可轻松扩展至 3+ 列(如新增 ‘TS’ 列),只需在 zip_longest(…) 中添加对应字段,并调整 pd.DataFrame(…).tolist() 的解包逻辑。

掌握此方法,即可稳健应对多列字符串同步展开这一高频数据整形任务。

text=ZqhQzanResources