pandas pivot_table 中对缺失值使用不同填充策略的方法

11次阅读

pandas.pivot_table中缺失值需分两步处理:fill_value仅填充空组,fillna()支持全表、按列、方法等灵活填充,还可结合aggfunc定制逻辑及多级索引分组填充。

pandas pivot_table 中对缺失值使用不同填充策略的方法

pandas.pivot_table 中,缺失值(NaN)的处理不能直接通过参数指定填充策略,而是需要分两步:先生成透视表,再对结果中的 NaN 进行填充。这是因为 pivot_table 本身只提供 fill_value 参数——但它仅用于替换聚合过程中产生的 NaN(例如某组完全为空时),无法覆盖所有缺失场景(如行列组合天然不存在、或某些聚合结果为 NaN)。

fill_value 填充聚合空组

当某组(如某个 (A, B) 组合)没有任何数据参与聚合时,pivot_table 默认返回 NaN;此时 fill_value 可直接生效:

  • fill_value=0:把完全空的单元格填为 0
  • fill_value=np.nan(默认):保持为空
  • fill_value="missing":适用于字符串类型聚合(需确保 aggfunc 返回对应类型)

注意:fill_value 对“有数据但聚合结果为 NaN”(如 np.mean([1, 2, np.nan]))无效——它不干预计算逻辑,只兜底空组。

fillna() 做通用填充

生成透视表后,调用 .fillna() 是最灵活的方式,支持标量、字典、方法(如 "ffill")、甚至函数:

  • result.fillna(0):全表填 0
  • result.fillna({"Sales": 0, "Profit": -1}):按列指定填充值
  • result.fillna(method="bfill"):向下填充(适合时间序列类索引)
  • result.fillna(result.mean(numeric_only=True)):用各数值列均值填充

aggfunc 内部控制缺失行为

部分聚合函数自带跳过 NaN 的能力(如 np.sum, np.mean 默认 skipna=True),但也可主动定制:

  • Lambda x: x.sum(skipna=False) 强制保留 NaN(便于后续统一处理)
  • lambda x: x.median() if not x.isna().all() else -999 实现条件填充
  • 组合多个函数:aggfunc={"Sales": "sum", "Profit": lambda x: x.max() if len(x) > 0 else 0}

多级索引下按层级填充

若透视表含多级行/列索引,可结合 groupby + fillna 实现分组填充:

  • result.groupby(level=0).apply(lambda df: df.fillna(df.mean())):按第一级行索引分组,每组用自身均值填充
  • result.T.groupby(level=0).apply(lambda s: s.fillna(s.median())).T:按列名第一级分组填充

这种写法适合“同一类别内缺失值应参考同类其他项”的业务逻辑。

text=ZqhQzanResources