Python 字典列表按时间键高效配对生成映射字典

23次阅读

Python 字典列表按时间键高效配对生成映射字典

本文介绍如何高效比较两个字典列表,基于共同的 `”time”` 键提取对应 `”value”`,构建形如 `{“def”: “pqr”, “ghi”: “jkl”}` 的键值映射字典,避免 o(n²) 嵌套循环,推荐使用哈希索引实现 o(n+m) 时间复杂度。

在处理时间序列数据或 API 响应比对时,常需从两个结构一致的字典列表(如 list1 和 list2)中找出具有相同时间戳(”time” 字段)的条目,并将它们的 “value” 字段组合为键值对映射。若直接使用 itertools.product 或双重循环逐项比对,时间复杂度为 O(n×m),当数据量增大时性能急剧下降。

更优解是预构建哈希索引:先将 list1 按 “time” 值建立字典索引(time → dict),再遍历 list2,对每个时间戳快速查找 list1 中是否存在匹配项。该方法仅需一次线性扫描构建索引 + 一次线性扫描匹配,总时间复杂度为 O(n + m),空间复杂度为 O(n)。

以下是推荐实现:

list1 = [     {"time": "2024-01-29T18:32:24.000Z", "value": "abc"},     {"time": "2024-01-30T19:47:48.000Z", "value": "def"},     {"time": "2024-01-30T19:24:20.000Z", "value": "ghi"}, ]  list2 = [     {"time": "2024-01-30T18:34:44.000Z", "value": "xyz"},     {"time": "2024-01-30T19:47:48.000Z", "value": "pqr"},     {"time": "2024-01-30T19:24:20.000Z", "value": "jkl"}, ]  # 步骤1:构建 list1 的 time → dict 索引(去重:后出现同 time 的项会覆盖前项) time_index = {item["time"]: item for item in list1}  # 步骤2:遍历 list2,匹配 time 并构建结果映射 result = {} for item2 in list2:     t = item2["time"]     if t in time_index:  # O(1) 查找         item1 = time_index[t]         result[item1["value"]] = item2["value"]  print(result) # 输出: {'def': 'pqr', 'ghi': 'jkl'}

优势说明

立即学习Python免费学习笔记(深入)”;

  • 高效:避免嵌套循环,适用于千级及以上数据;
  • 清晰:逻辑分离(索引构建 + 匹配),易于维护与调试;
  • 健壮:自动处理 list1 中重复时间戳(取最后一条),如需保留首条可改用 dict.setdefault();
  • 可扩展:支持添加类型校验(如确保 “time” 存在)、空值跳过或日志记录。

⚠️ 注意事项

  • 若 list1 中存在重复 “time”,当前写法保留最后一次出现的字典;如需报错或聚合,应提前校验:
    times = [d["time"] for d in list1] if len(times) != len(set(times)):     raise ValueError("Duplicate 'time' found in list1")
  • 若 “time” 字段可能缺失,建议增加健壮性检查:
    time_index = {d["time"]: d for d in list1 if "time" in d}

该模式是 python 中「以空间换时间」的经典实践,广泛应用于数据对齐、API 响应合并、etl 关联等场景。

text=ZqhQzanResources