本文详细介绍了如何使用pandas创建按半年（上半年/下半年）间隔聚合的数据透视表。通过结合`df.index.month`和`np.where`实现自定义时间分组，并演示了如何将生成的多级索引转换为标准的日期时间索引，以优化数据分析和可视化。
在数据分析中，我们经常需要对时间序列数据进行聚合，pandas.pivot_table 是一个功能强大的工具。通常，我们可能按年 (df.index.year) 或按季度 (df.index.quarter) 进行聚合。然而，在某些业务场景下，我们需要更灵活的自定义时间间隔，例如按半年（上半年/下半年）进行数据透视。本文将详细介绍如何实现这一需求，并优化最终透视表的索引格式。
准备示例数据
首先，我们创建一个包含日期索引的示例DataFrame，并添加一些随机数据，包括一个用于聚合的“Vessel”列，以便模拟实际场景。
import pandas as pd import numpy as np # 创建日期范围 date_rng = pd.date_range(start='2023-01-01', end='2024-01-05', freq='D') # 创建随机数据 data = np.random.rand(len(date_rng), 3) df = pd.DataFrame(data, columns=['Column1', 'Column2', 'Column3'], index=date_rng) # 添加一个'Vessel'列用于演示聚合 df['Vessel'] = np.random.randint(1, 5, size=len(date_rng)) print("原始DataFrame前5行:") print(df.head())
按半年间隔创建数据透视表
要实现按半年间隔聚合，我们需要为 pivot_table 的 index 参数提供一个自定义的序列，该序列能区分每年的上半年和下半年。我们可以利用 df.index.month 属性结合 numpy.where 函数来创建这个自定义分组。
np.where(condition, x, y) 会根据条件 condition 返回 x 或 y。在这里，如果月份小于等于6（即1月到6月），我们将其标记为“H1”（上半年）；否则，标记为“H2”（下半年）。然后，我们将年份 (df.index.year) 和这个半年标记作为 pivot_table 的 index。
# 使用自定义的半年间隔创建数据透视表 pivot_df_half_year = pd.pivot_table( df, index=[df.index.year, np.where(df.index.month <= 6, "H1", "H2")], # 自定义索引 columns="Vessel", # 列 values=["Column1", "Column2", "Column3"], # 要聚合的值 aggfunc="nunique" # 聚合函数：计算唯一值数量 ) print("n按半年间隔聚合的初始数据透视表:") print(pivot_df_half_year)
输出解释： 此时生成的数据透视表 pivot_df_half_year 会有一个多级索引，第一级是年份，第二级是“H1”或“H2”，清晰地展示了每年上半年的数据和下半年的数据。列是“Vessel”的各个类别，而值是指定列（’Column1′, ‘Column2’, ‘Column3’）的唯一值计数。
优化数据透视表的索引格式
虽然上述方法成功地按半年进行了聚合，但其多级索引 (年份, H1/H2) 在某些情况下可能不便于后续的数据处理或可视化（例如，绘制时间序列图）。为了更好地表示时间维度，我们可以将这个多级索引转换成标准的日期时间索引，例如，将“2023 H1”转换为“2023-01-01”，将“2023 H2”转换为“2023-06-01”。
我们可以通过列表推导式遍历当前的索引，并使用 pd.to_datetime 函数来构造新的日期时间对象。
# 将多级索引转换为日期时间索引 pivot_df_half_year.index = [ pd.to_datetime(f'{year}-{"01-01" if half == "H1" else "07-01"}') # 注意H2通常从7月开始 for year, half in pivot_df_half_year.index ] print("n索引优化后的数据透视表:") print(pivot_df_half_year)
输出解释： 现在，数据透视表的索引已经变成了标准的日期时间格式，例如 2023-01-01 代表2023年上半年，2023-07-01 代表2023年下半年。这种格式更适合进行时间序列分析和图表绘制。
注意事项与总结
- 自定义分组的灵活性： np.where 结合 df.index 的各种属性（如 month, quarter, dayofweek 等）提供了极大的灵活性，可以创建几乎任何自定义的时间分组。例如，如果你需要按每四个月分组，可以调整 np.where 的条件。
- aggfunc 的选择： pivot_table 的 aggfunc 参数非常灵活，可以接受字符串（如 ‘mean’, ‘sum’, ‘count’, ‘nunique’）或函数列表，甚至自定义函数。根据你的分析需求选择合适的聚合方式。
- 多级列的处理： 当 values 参数是一个列表时，pivot_table 会生成多级列。在后续分析中，你可能需要使用 pivot_df.columns.get_level_values() 或 pivot_df.swaplevel(axis=1) 等方法来操作这些列。
- 索引转换的起始日期： 在将半年索引转换为日期时，上半年通常从1月1日开始，下半年通常从7月1日开始。确保选择的日期能够准确代表该时间段。
通过上述方法，我们不仅能够利用 pandas.pivot_table 进行灵活的自定义时间间隔聚合，还能进一步优化索引格式，使其更符合时间序列分析的习惯。这大大增强了数据分析的灵活性和结果的可读性。