使用 Pandas 高效逐行求解含变量表达式(支持前向填充与动态变量代入)

12次阅读

使用 Pandas 高效逐行求解含变量表达式(支持前向填充与动态变量代入)

本文介绍一种高性能方法,将含变量的字符串表达式 series(如 `”a + b”`)结合变量值字典,通过前向填充(ffill)和安全变量替换后逐行 `eval`,最终生成数值结果 series,适用于大规模(200+)序列批量计算。

在实际数据分析中,常需将符号化表达式(如 “A + B – C”)与对应时间序列变量动态绑定并逐行求值。核心挑战在于:既要支持表达式随时间变化(如 2025 年用 “A+B”,2027 年切换为 “A+B−C”),又要自动沿用最近有效表达式(ffill),同时高效注入对应索引位置的变量值

以下为完整、可复用的解决方案:

✅ 步骤解析与优化实现

  1. 对齐索引并前向填充表达式:将原始 equations Series 重置索引后调用 .ffill(),确保每行拥有当前有效的表达式;
  2. 构建统一 DataFrame:用 pd.concat() 合并填充后的表达式列与变量值 DataFrame(由 pd.DataFrame(values) 构建);
  3. 安全变量替换:使用正则 re.sub(r'([A-Z]+)’, r”r[‘1’]”, expr) 将表达式中的变量名(如 A)转为 r[‘A’] 形式,使其可在 apply 的 Lambda 中被 eval 安全解析;
  4. 逐行求值:df.apply(lambda r: eval(…), axis=1) 利用 pandas对象 r 直接访问各列值,避免手动映射。
import pandas as pd import re  # 示例数据 equations = pd.Series(['A + B', None, 'A + B - C', None, None, '101.2'],                        index=range(2025, 2031)) values = {     "A": pd.Series([10, 20, 30, 40, 50], index=range(2025, 2030)),     "B": pd.Series([1, 2, 3, 4, 5],   index=range(2025, 2030)),     "C": pd.Series([1.1, 2.2, 3.3, 4.4, 5.5], index=range(2025, 2030)),     "D": pd.Series([1, 3, 2, 4, 0],   index=range(2025, 2030)) }  # 构建计算 DataFrame(自动对齐索引) df_eq = equations.reset_index(name='Equation').ffill() df_vals = pd.DataFrame(values) df = pd.concat([df_eq, df_vals], axis=1)  # 安全变量替换 + 逐行 eval df['Result'] = df.apply(     lambda r: eval(re.sub(r'([A-Z]+)', r"r['1']", str(r['Equation']))),     axis=1 )  # 提取最终结果 Series(保留原始索引) result_series = df.set_index('index')['Result'] print(result_series)

输出

index 2025     11.0 2026     22.0 2027     29.7 2028     39.6 2029     49.5 2030    101.2 Name: Result, dtype: float64

⚠️ 注意事项与性能建议

  • 安全性:eval() 在可信数据环境下高效,但切勿用于用户输入的表达式;若需更高安全性,可改用 ast.literal_eval(仅支持字面量)或预编译表达式(如 numexpr);
  • 缺失值处理:pd.DataFrame(values) 会自动用 NaN 填充缺失索引,eval 可正常处理(如 r[‘A’] 为 NaN 时结果也为 NaN);
  • 性能优化:对 200+ Series 批量处理时,建议将逻辑封装为函数,并利用 df.assign() 链式调用减少中间变量;若表达式复杂度高,可考虑 numexpr.evaluate() 替代 eval(需先构造表达式字符串并传入变量字典);
  • 索引一致性:确保 equations.index 与所有 values 中 Series 的索引范围一致(或至少覆盖交集),否则 concat 会引入 NaN 并影响计算逻辑。

该方案兼顾可读性、健壮性与执行效率,是处理“动态公式 + 时间序列变量”类问题的推荐实践。

text=ZqhQzanResources