高效计算 Pandas DataFrame 中逐行向量的百分比变化

6次阅读

高效计算 Pandas DataFrame 中逐行向量的百分比变化

本文介绍如何对包含向量(如列表)的 pandas series 或 dataframe 进行逐行百分比变化(pct_change)计算,推荐使用 dataframe 作为中间结构以提升可读性、性能与健壮性,并提供简洁、可扩展的实现方案。

本文介绍如何对包含向量(如列表)的 pandas series 或 dataframe 进行逐行百分比变化(pct_change)计算,推荐使用 dataframe 作为中间结构以提升可读性、性能与健壮性,并提供简洁、可扩展的实现方案。

数据分析中,常需对每行代表一个特征向量(例如时间序列快照、嵌入向量或传感器多通道读数)的数据进行相对变化分析。若原始数据以 pd.Series 形式存储嵌套列表(如 [[1,2,3], [4,5,6], [7,8,9]]),直接对“行间向量”做逐元素百分比变化(即当前行各元素除以下一行对应元素后减 1),容易陷入嵌套循环或冗余列表推导,既低效又易出错。

核心原则:避免在 Series 中存储可变对象(如 list)
Pandas 并非为处理「Series of lists」而优化——这类结构丧失向量化能力、无法利用底层 numpy 运算,且 pct_change() 等方法默认不支持嵌套结构。正确做法是先展开为标准二维 DataFrame,再调用原生向量化方法。

✅ 推荐方案(两步法,清晰高效):

import pandas as pd  # 原始数据:Series of lists a = pd.Series([[1, 2, 3], [4, 5, 6], [7, 8, 9]])  # Step 1: 转为 DataFrame(自动按列展开) df = pd.DataFrame(a.tolist()) #    0  1  2 # 0  1  2  3 # 1  4  5  6 # 2  7  8  9  # Step 2: 沿行方向计算「相对于下一行」的百分比变化(periods=-1) # 结果为 DataFrame,每单元格为 (current - next) / next pct_df = df.pct_change(periods=-1) #           0      1         2 # 0 -0.750000 -0.600 -0.500000 # 1 -0.428571 -0.375 -0.333333 # 2       NaN    NaN       NaN  # Step 3(可选):若必须返回 Series of lists result_series = pct_df.agg(list, axis=1) # 0                                  [-0.75, -0.6, -0.5] # 1    [-0.4285714285714286, -0.375, -0.3333333333333... # 2                                      [nan, nan, nan] # dtype: object

? 关键参数说明:

  • pct_change(periods=-1) 表示用 row[i] 相对于 row[i+1] 计算变化率(即 (x_i – x_{i+1}) / x_{i+1}),等价于 df.div(df.shift(-1)).sub(1),但更语义明确、数值稳定。
  • agg(list, axis=1) 将每行聚合为 Python 列表,适用于需保持原始 Series 结构的下游任务(如 json 序列化)。但注意:此举会丢失向量化优势,应仅在必要时使用。

⚠️ 注意事项:

  • 空值与边界处理:最后一行无“下一行”,结果自动为 NaN;若某列存在 0 或 None,对应位置将产生 inf、-inf 或 NaN,建议前置清洗:df.replace({0: pd.NA}).pct_change(-1)。
  • 性能提示:对万级以上行数,避免 a.apply(Lambda x: […]) 或双重列表推导;DataFrame 展开 + 向量化操作通常快 10–100 倍。
  • 类型安全:确保所有子列表长度一致,否则 pd.DataFrame(a.tolist()) 会报错;可用 assert all(len(x) == len(a.iloc[0]) for x in a) 验证。

? 总结:
不要对抗 Pandas 的设计范式。当数据本质是二维(N 行 × M 维向量)时,就该用 DataFrame 承载。通过 .tolist() → pd.DataFrame() → .pct_change() → .agg(list) 四步链式调用,即可在保持代码简洁性的同时,获得最佳性能与可维护性。这是处理“向量型时间序列变化率”的标准实践。

text=ZqhQzanResources