Python脚本:删除包含重复前缀的行,仅保留最长匹配行

15次阅读

Python脚本:删除包含重复前缀的行,仅保留最长匹配行

本文介绍如何用python识别并删除具有“前缀重复关系”的多行文本(如每行是下一行的前缀),只保留最长的那行,适用于日志精简、命令补全去重等场景。

在处理结构化文本(例如命令提示、分层日志或自动补全文本)时,常遇到如下模式:

This   This line   This line has   This line has five   This line has five strings

这里每一行都是下一行的严格前缀(即 line[i] == line[i+1][:len(line[i])])。用户需求不是去重(set() 方案仅过滤完全相同的行),而是“链式前缀压缩”——仅保留每条前缀链中最长的末端行

以下是一个健壮、简洁且可读性强的解决方案:

infilename = "input.txt"  # 替换为你的输入文件路径  with open(infilename) as fin:     # 读取所有行并去除尾部换行符与空白(避免因空格导致误判)     lines = [line.rstrip('nr') for line in fin]  i = 0 while i < len(lines):     # 向后检查:若下一行以当前行为前缀,则跳过当前行(它是“中间前缀”)     while i + 1 < len(lines) and lines[i + 1].startswith(lines[i]):         i += 1     # 此时 lines[i] 是当前前缀链中最长的一行 → 输出/保存     print(lines[i])     i += 1

关键逻辑说明

立即学习Python免费学习笔记(深入)”;

  • 使用 str.startswith() 判断前缀关系,天然支持空格、标点等任意字符;
  • while 循环实现“贪心跳过”:只要下一行包含当前行作为前缀,就持续前进,最终停在链尾;
  • 不依赖排序,保持原始行序(前提是输入已按前缀层级自然排列,如示例所示);
  • rstrip('nr') 比 str.rstrip() 更精准,避免误删行首/行中空格。

⚠️ 注意事项

  • 若输入未按前缀长度递增排序(例如 apple, app, application 混排),该算法将失效。此时需先按字符串长度升序排序:lines.sort(key=len);
  • 空行或纯空白行会被视为有效前缀(因 "".startswith("") 为 True),建议预处理过滤:lines = [l for l in lines if l.strip()];
  • 如需写入文件而非打印,将 print(lines[i]) 替换为 outfile.write(lines[i] + 'n'),并在开头打开输出文件。

该方案时间复杂度为 O(n×m),其中 n 为行数、m 为平均行长度,兼顾效率与可维护性,适合处理数千行以内的典型文本场景。

text=ZqhQzanResources