本文介绍一种兼顾效率与准确性的方法，用于合并两个按时间排序的文本日志文件，在保留原始顺序的前提下自动跳过重叠行，特别适合处理大型日志数据。
在处理分段采集的时间序列日志（如每日/每月导出的 csv 或纯文本记录）时，常遇到这样的场景：已有文件 data_jan_mar.txt 包含 1 月到 3 月的数据，新文件 data_mar_jun.txt 包含 3 月到 6 月的数据，二者在 3 月底存在完全一致的重叠行（如最后一条与第一条相同）。目标是将二者合并为一份无重复、严格按时间升序排列的完整文件，且避免全量去重带来的性能开销。
虽然使用 set 或 OrderedDict.fromkeys()（如示例代码所示）可快速去重，但它破坏了原有时间顺序的局部性假设，且对大文件存在内存压力——需一次性加载全部行，无法流式处理。更关键的是，它无法区分“真重复”（同一事件被误写两次）和“合法重叠”（分段边界对齐），还可能意外合并语义不同但字符串相同的行（例如不同用户同名同时间操作）。
✅ 推荐方案：双指针边界检测法（流式、O(n+m) 时间、O(1) 额外内存）
利用题目中给出的关键前提——两文件均严格按时间升序排列，我们只需定位重叠区域的起始点，然后执行“跳过前缀”的合并：
def merge_sorted_files(file1_path, file2_path, output_path): """ 合并两个按时间升序排列的文本文件，自动跳过 file2 中与 file1 尾部重叠的前缀行。 假设每行以 ISO 格式时间戳开头（如 '2024-01-29 09:00:00,'），且重叠部分完全一致。 """ # 读取 file1 的最后一行（仅一行，O(1) 磁盘寻址） with open(file1_path, 'r') as f1: lines1 = f1.readlines() last_line1 = lines1[-1].rstrip('nr') if lines1 else "" # 逐行读取 file2，跳过所有等于 last_line1 的前缀行（处理多行重叠） with open(file2_path, 'r') as f2, open(output_path, 'w') as out: # 先完整写入 file1 out.writelines(lines1) # 再流式处理 file2：跳过与 last_line1 相同的连续前缀 skip_prefix = True for line in f2: stripped = line.rstrip('nr') if skip_prefix and stripped == last_line1: continue # 跳过重叠行 else: skip_prefix = False out.write(line) # 写入剩余所有行（含可能的首行不重叠情况） # 使用示例 merge_sorted_files('1.txt', '2.txt', 'merged.txt')? 关键优势说明：
- 零内存膨胀：file1 仅需缓存最后一行；file2 完全流式读取，不加载全文；
- 精准去重：只跳过 file2 开头与 file1 结尾完全匹配的连续行，符合“重叠即完全一致”的业务约束；
- 保持强顺序：不依赖字符串哈希或全局排序，天然维持原始时间序；
- 边界鲁棒：若无重叠（如 file1 最后行为 Jan-29，file2 首行为 Jun-01），则 skip_prefix 立即置 False，整份 file2 原样追加。
⚠️ 注意事项：
- 确保时间戳格式统一且可直接字符串比较（推荐 ISO 8601，如 yyYY-MM-DD HH:MM:SS）；
- 若存在空行或编码问题，请在 rstrip() 后增加 strip() 并指定 encoding=’utf-8’；
- 对于超大文件（>10GB），可进一步优化 file1 末行读取为反向扫描（用 os.stat().st_size + seek()），避免加载全部内容。
该方法将合并逻辑从 O(N²) 的全量查重，降维至 O(N+M) 的单次线性扫描，是处理海量有序日志合并任务的工业级实践方案。