本文介绍一种基于numba加速的实时ohlc滚动计算方法，用于将秒级金融数据按固定周期（如15分钟）生成动态更新的open/high/low/close列，严格避免未来数据泄露，兼顾准确性与百万行级数据的处理性能。
本文介绍一种基于numba加速的实时ohlc滚动计算方法，用于将秒级金融数据按固定周期（如15分钟）生成动态更新的open/high/low/close列，严格避免未来数据泄露，兼顾准确性与百万行级数据的处理性能。
在高频金融数据分析中，常需将原始秒级OHLC数据（Open、High、Low、Close）实时映射为更长周期（如15分钟）的“滚动蜡烛图”——即每个时间点上，对应当前正在形成的周期K线的四个价格字段。关键约束在于：不能使用未来数据（即“不偷看”），且周期必须对齐标准边界（如15分钟周期只能从 :00、:15、:30、:45 开始），每轮周期独立重置。
pandas原生方案（如groupby().rolling().agg()）虽语义清晰，但存在严重性能瓶颈：对百万级数据耗时近30秒，源于多重索引操作、分组开销及python循环解释执行。而真实量化场景中，数年秒级数据可达数亿行，亟需底层优化。
以下提供工业级可行的高性能实现方案，核心思想是：用Numba JIT编译纯数值循环，规避Pandas抽象层开销，同时严格保持业务逻辑一致性。
✅ 正确性保障：对齐周期边界 + 逐点递推
首先，为每行计算其所属的周期起始时间（即向下取整到最近的15分钟边界）：
立即学习“Python免费学习笔记（深入）”；
df["15_min_floor"] = df.index.floor("15T") # 或 "15min"该操作确保 2023-01-01 09:14:59 和 09:15:00 分属不同周期（前者归属 09:00:00，后者归属 09:15:00），完全符合实盘K线生成规则。
⚡ 高性能实现：Numba加速的单遍扫描
核心函数 compute_ohlc 使用@njit装饰，在编译时将Python逻辑转为机器码，实现零开销循环：
from numba import njit import numpy as np @njit def compute_ohlc(floor_ts, opens, highs, lows, closes, out_open, out_high, out_low, out_close): # 初始化首条记录 first_o, curr_h, curr_l, last_c = opens[0], highs[0], lows[0], closes[0] last_group = floor_ts[0] for i in range(len(floor_ts)): curr_group = floor_ts[i] if curr_group != last_group: # 新周期开始：重置为当前点值 first_o, curr_h, curr_l, last_c = opens[i], highs[i], lows[i], closes[i] last_group = curr_group else: # 同周期内更新极值 curr_h = max(curr_h, highs[i]) curr_l = min(curr_l, lows[i]) last_c = closes[i] # Close始终取当前最新价 # 写入结果数组（与输入同长度，实时反映当前周期状态） out_open[i] = first_o out_high[i] = curr_h out_low[i] = curr_l out_close[i] = last_c调用方式简洁高效：
# 预分配输出列 df[["Open_15m", "High_15m", "Low_15m", "Close_15m"]] = np.nan # 批量传入numpy数组，由Numba高速计算 compute_ohlc( df["15_min_floor"].values, df["Open"].values, df["High"].values, df["Low"].values, df["Close"].values, df["Open_15m"].values, df["High_15m"].values, df["Low_15m"].values, df["Close_15m"].values, )? 性能对比：数量级提升
在43.2万行（5天秒级数据）基准测试中：
- 原生Pandas方案：29.6秒
- Numba方案：0.28秒 → 提速超100倍
扩展至6.3亿行（20年秒级数据）时，Numba仍仅需约11.6秒，而Pandas方案已不可行。
⚠️ 注意事项与最佳实践
- 数据顺序必须严格升序：Numba循环依赖时间索引单调递增，若数据乱序需先执行 df = df.sort_index()。
- 内存友好：全程使用numpy.ndarray视图操作，不创建中间DataFrame，大幅降低内存压力。
- 可扩展性：只需修改floor(“15T”)中的频率字符串（如”30T”、”1H”），并调整输出列名，即可适配任意周期。
- NaN安全：示例假设无缺失值；若存在，建议在调用前用df.dropna(subset=[‘Open’,’High’,’Low’,’Close’])清洗，或在Numba函数中增加np.isnan()判断（会略微降低速度）。
该方案已在多个实盘tick-to-candle流水线中验证，兼具金融逻辑严谨性与工程落地性能，是处理海量时序OHLC数据的推荐范式。