本文介绍使用 `pandas.merge_asof()` 高效实现两表按分组键（如 lot）和时间范围（event_time ∈ [in_time, out_time]）关联，并添加对应 value 列，避免低效嵌套循环，适用于数十万行规模数据。
在实际数据分析中，常需将一个事件表（如 df1）与一个时段标签表（如 df2）进行“时间区间匹配”：即对 df1 中每条记录，查找 df2 中满足 同组（LOT 相等）且 EVENT_TIME 落在 [IN_TIME, OUT_TIME] 内 的唯一 VALUE，并将其作为新列（如 ‘DATA’）加入结果。若采用双重 for 循环逐行判断，时间复杂度为 O(n×m)，面对 10 万+ 行数据极易超时（如原文所述 >10 分钟）。幸运的是，Pandas 提供了专为此类场景优化的 merge_asof()，配合合理预处理，可在毫秒级完成。
✅ 正确做法：merge_asof + 时间范围校验
核心思路分三步：
- 统一时间类型：确保 EVENT_TIME、IN_TIME、OUT_TIME 均为 datetime64[ns]；
- merge_asof 近似左连接：按 ‘LOT’ 分组，以 EVENT_TIME（左）和 IN_TIME（右）为关键时间列，执行“向后查找最近 IN_TIME”的 merge（默认 direction=’backward’ 不适用，需用 ‘forward’ 或更稳妥的 ‘nearest’ + 后过滤）；
- 严格范围过滤：因 merge_asof 仅保证 EVENT_TIME ≥ IN_TIME，还需显式校验 EVENT_TIME ≤ OUT_TIME，并用 .where() 清洗无效匹配。
以下是完整、可复现的优化代码：
import pandas as pd # 构造示例数据 df1 = pd.DataFrame({ 'LOT': ['A', 'A', 'A', 'A', 'A', 'A'], 'SLOT': [1, 2, 3, 4, 5, 6], 'EVENT_TIME': ['2024-01-20 13:30', '2024-01-20 13:36', '2024-01-21 14:28', '2024-01-21 14:30', '2024-01-21 14:32', '2024-01-21 14:34'] }) df2 = pd.DataFrame({ 'LOT': ['A', 'A'], 'IN_TIME': ['2024-01-20 13:20', '2024-01-21 14:25'], 'OUT_TIME': ['2024-01-20 13:40', '2024-01-21 14:50'], 'VALUE': [13, 15] }) # 步骤1：转为 datetime（必需！） df1['EVENT_TIME'] = pd.to_datetime(df1['EVENT_TIME']) df2['IN_TIME'] = pd.to_datetime(df2['IN_TIME']) df2['OUT_TIME'] = pd.to_datetime(df2['OUT_TIME']) # 步骤2 & 3：merge_asof + 范围校验（推荐方案） result = ( pd.merge_asof( df1.sort_values(['LOT', 'EVENT_TIME']), df2.sort_values(['LOT', 'IN_TIME']), by='LOT', left_on='EVENT_TIME', right_on='IN_TIME', allow_exact_matches=True, # 允许 EVENT_TIME == IN_TIME direction='backward' # 找 ≤ EVENT_TIME 的最大 IN_TIME（最常用） ) .assign(DATA=lambda x: x['VALUE'].where(x['EVENT_TIME'] <= x['OUT_TIME'])) .drop(['IN_TIME', 'OUT_TIME', 'VALUE'], axis=1) .reset_index(drop=True) ) print(result)输出：
LOT SLOT EVENT_TIME DATA 0 A 1 2024-01-20 13:30:00 13.0 1 A 2 2024-01-20 13:36:00 13.0 2 A 3 2024-01-21 14:28:00 15.0 3 A 4 2024-01-21 14:30:00 15.0 4 A 5 2024-01-21 14:32:00 15.0 5 A 6 2024-01-21 14:34:00 15.0⚠️ 关键注意事项
- 必须排序：merge_asof 要求左右 DataFrame 按连接时间列升序排列（sort_values 不可省略）；
- direction 选择：
- 'backward'（默认）：找 ≤ EVENT_TIME 的最大 IN_TIME → 适合“事件发生在某时段开始之后”；
- 'forward'：找 ≥ EVENT_TIME 的最小 IN_TIME → 适合“事件触发时段开始”；
- 'nearest'：找绝对时间差最小者 → 需额外校验 EVENT_TIME 是否真在 [IN_TIME, OUT_TIME] 内；
- 边界处理：设 allow_exact_matches=True 确保 EVENT_TIME == IN_TIME 被正确匹配；
- 缺失值处理：不满足 EVENT_TIME ≤ OUT_TIME 的行，DATA 将为 NaN，可根据业务需求 .fillna() 或过滤；
- 性能优势：merge_asof 时间复杂度接近 O(n + m)，比 O(n×m) 循环快数百至数千倍。
✅ 替代方案（备选）
若数据逻辑更复杂（如多对多匹配），可考虑：
- 使用 pd.IntervalIndex 构建时段索引，再用 df1['EVENT_TIME'].map() 查找；
- 借助 numpy.searchsorted 手动实现二分查找（需先按 LOT 分组处理）。
但对绝大多数“单值区间匹配”场景，merge_asof 是最简洁、健壮且高性能的标准解法。