Polars 0.20.7 中 map_groups 分组语法变更及替代方案

11次阅读

Polars 0.20.7 中 map_groups 分组语法变更及替代方案

polars 升级至 0.20.7 后,`group_by` 不再接受列表形式的列名(如 `[‘product number’]`),导致 `map_groups` 报错“cannot call `map_groups` when grouping by an expression”;正确写法应直接传入字符串列名,并推荐优先使用更高效、更符合 polars 惯例的 `over` 窗口函数替代 `map_groups`。

在 Polars 0.20.7 版本中,group_by() 方法进行了签名重构,支持类似 select() 和 with_columns() 的灵活参数传递(即接受任意数量的位置参数和关键字参数),但 map_groups() 的内部校验逻辑尚未同步更新——它仍严格检查 self.by 是否全为字符串类型,而未对传入的单元素列表(如 [‘Product Number’])做自动解包。因此,当调用 .group_by([‘Product Number’]) 时,self.by 实际为 ([‘Product Number’],) 元组内嵌列表,isinstance(c, str) 对该列表返回 False,触发错误。

立即生效的修复方案:移除方括号,直接传入字符串列名:

import polars as pl  df1 = (     df1     .group_by('Product Number')  # ✅ 正确:字符串,非列表     .map_groups(         Lambda g: g.with_columns(             pl.col('New Date').fill_null(strategy='backward').alias('New Date1')         )     ) )

⚠️ 但请注意:map_groups 在此场景下并非最优解。它会将每个分组加载为独立 DataFrame 并执行 python 回调,带来显著性能开销与内存压力,且丧失 Polars 的查询优化能力。

推荐的惯用替代方案:使用 over 窗口函数
fill_null(strategy=’backward’) 天然支持窗口上下文,可直接在分组内按需填充,零额外开销:

df1 = df1.with_columns(     pl.col('New Date')     .fill_null(strategy='backward')     .over('Product Number')     .alias('New Date1') )

该写法语义清晰、性能优异(纯 rust 执行)、无需 Lambda、兼容流式处理,且完全避免 map_groups 的限制与陷阱。

? 额外提示

  • 始终使用 pl.col(‘col_name’) 而非 df[‘col_name’] 在 with_columns/select 等上下文中——后者是 pandas 风格,在 Polars 中可能引发意外行为或性能退化(参见 SO #77765916)。
  • 若未来需复杂分组逻辑(如跨行状态计算),可结合 rolling、cumulative 或 apply(配合 return_dtype)等原生表达式,而非依赖 map_groups。

综上:优先用 over,慎用 map_groups;传列名请用字符串,勿用列表。

text=ZqhQzanResources