Pandas 中获取每行前 N 个最大值对应列名的完整方案

1次阅读

Pandas 中获取每行前 N 个最大值对应列名的完整方案

本文详解如何在 pandes dataframe 中高效获取每行数值列的前 n 个最大值所对应的列名,涵盖 `nlargest` + `apply` 的正确用法、常见错误规避,以及基于 numpy 的高性能替代方案。

pandas 中,idxmax() 仅返回单个最大值的索引(即 top-1),无法直接扩展为 top-N。若需获取每行中数值最大的 N 列名称(如“消耗量”和“CO₂排放量”中哪两项数值最高),必须借助其他方法——最常用的是 nlargest() 配合 apply(),或更底层的 NumPy 向量化操作。

✅ 正确使用 nlargest + apply

原始报错:

df.apply(Lambda s: s.abs().nlargest(2).index.tolist(), axis=1, skipna=True, numeric_only=True)

错误原因:DataFrame.apply() 不接受 skipna 和 numeric_only 参数——这些是 Series 方法(如 nlargest)的参数,而非 apply 的参数。此外,未过滤非数值列会导致 abs() 或 nlargest() 报错。

✅ 正确写法(推荐初学者使用):

import pandas as pd import numpy as np  df = pd.DataFrame({     'consumption': [10.51, 103.11, 55.48],      'co2_emissions': [37.2, 19.66, 1712] }, index=['Pork', 'Wheat Products', 'Beef'])  # 仅对数值列操作,显式 dropna 避免空值干扰,取绝对值后 nlargest result = (df.select_dtypes('number')             .apply(lambda s: s.dropna().abs().nlargest(2).index.tolist(), axis=1)) print(result)

输出:

Pork              [co2_emissions, consumption] Wheat Products    [consumption, co2_emissions] Beef              [co2_emissions, consumption] dtype: object

⚠️ 注意事项:select_dtypes(‘number’) 是关键预处理,排除字符串、时间等非数值列;s.dropna() 显式处理缺失值(nlargest 默认 skipna=True,但显式更安全);.abs() 可选——若需按绝对值大小排序(如含负数场景),否则可省略;返回 list 类型,适合后续解析;若需转为多列(如 top1_col, top2_col),可用 pd.Series.tolist() 后 pd.DataFrame(result.tolist(), index=result.index) 展开。

⚡ 高性能方案:NumPy + argpartition

当数据量较大(万行以上)时,apply + lambda 存在明显性能瓶颈。以下方案利用 np.argpartition(平均 O(n) 时间复杂度)实现向量化 top-N 索引提取:

N = 2 tmp = df.select_dtypes('number')  # 获取每行 top-N 列索引(按值从大到小排列) col_arr = tmp.columns.to_numpy() idx_arr = np.argpartition(tmp, -N, axis=1)[:, -N:]  # 每行取最后 N 个索引(未排序) # 对每个子数组内索引按对应值降序重排 sorted_idx = np.take_along_axis(     idx_arr,     np.argsort(-tmp.values[np.arange(len(tmp))[:, None]], axis=1)[:, :N],     axis=1 )  # 映射回列名并构造结果 Series out = pd.Series(     col_arr[sorted_idx].tolist(),     index=df.index )

该方案避免 python 循环与 lambda 开销,在大数据场景下速度提升可达 3–10 倍,且内存更友好。

✅ 总结对比

方案 适用场景 优点 缺点
select_dtypes + apply + nlargest 小到中等规模数据( 简洁、易懂、兼容性强 性能随行数线性下降,无法并行优化
NumPy argpartition + take_along_axis 大规模数据、性能敏感场景 向量化、高速、内存高效 代码稍复杂,需理解 NumPy 索引机制

无论选择哪种方式,请始终以 select_dtypes(‘number’) 开头,确保操作对象仅为数值列——这是健壮性的第一道防线。

text=ZqhQzanResources