本教程详细介绍了如何将半结构化的纯文本文件（如factiva文章）高效地解析并转换为结构化的pandas dataframe。文章涵盖了两种主要方法：一种是基于固定行号的简单提取方案，适用于格式严格一致的文本；另一种是利用正则表达式实现更灵活、更精确的数据抽取，能够捕获文章标题、字数、日期、来源、语言及正文内容。教程还演示了如何批量处理多个文件，并讨论了数据清洗与错误处理的关键考量，旨在帮助用户将原始文本数据转化为可分析的格式。
在数据分析和处理领域，我们经常会遇到需要从非结构化或半结构化文本中提取特定信息并将其整理成结构化数据的场景。例如，从新闻稿、报告或文档中自动提取文章标题、发布日期、作者、内容等，以便后续进行统计分析或机器学习任务。本教程将以Factiva文本文件为例，详细讲解如何使用python和Pandas库实现这一目标。
理解文本结构
首先，我们需要仔细分析待处理的文本文件的结构。Factiva文件通常包含一系列元数据（如字数、日期、来源、语言）和文章正文。以提供的样本为例：
Section US Treas Dept on Feb 13 makes public text of speech made by Sec Shultz at... 228 words 15 February 1974 New York Times Abstracts NYTA Pg. 1, Col. 1 English c. 1974 New York Times Company US Treas Dept on Feb 13 makes public text of speech made by Sec Shultz at closed session of 13-nation energy conf in which he lists ideas and suggestions for dealing with purely financial problems raised for world by huge increase in price of oil. ... Document nyta000020011127d62f07et9
我们可以观察到以下模式：
- 文章标题 (Section Title)：通常在 “Section” 关键字之后，第一个空行之前。
- 字数 (Word count)：形如 “XXX words”。
- 日期 (date)：形如 “DD Month yyYY”。
- 新闻来源 (News Source)：日期之后的第一行描述性文本。
- 语言 (Language)：通常是 “English” 或其他语言名称。
- 文章内容 (Content)：在所有元数据之后，”Document” 关键字之前。
方法一：基于固定行号的简单提取
如果您的文本文件结构非常严格和一致，即每个信息字段总是出现在固定的行号上，那么可以采用一种简单直接的行号索引方法。这种方法实现起来较为简单，但对格式变化非常敏感。
import pandas as pd def extract_text_info_fixed(text): """ 根据固定行号从文本中提取信息。 此方法要求文本结构高度一致。 """ lines = text.strip().split('n') # 确保行数足够，避免索引越界 section_title = lines[1].strip() if len(lines) > 1 else None word_count = int(lines[3].split()[0]) if len(lines) > 3 and lines[3].strip().endswith("words") else None date = lines[4].strip() if len(lines) > 4 else None news_source = lines[5].strip() if len(lines) > 5 else None # 注意：此固定行号方法未包含语言和完整内容，因为它们的位置不固定或需要更复杂的逻辑 # 语言可能在第7行，但如果中间有其他可选行，则会错位 # 完整内容则需要更复杂的段落识别逻辑 info = { "Section": section_title, "Word Count": word_count, "Date": date, "News Source": news_source, # "Language": None, # 无法通过固定行号可靠提取 # "Content": None # 无法通过固定行号可靠提取 } return info # 示例：使用多个文本片段进行测试 list_of_texts = [ """ Section US Treas Dept on Feb 13 makes public text of speech made by Sec Shultz at... 228 words 15 February 1974 New York Times Abstracts NYTA Pg. 1, Col. 1 English c. 1974 New York Times Company US Treas Dept on Feb 13 makes public text of speech made by Sec Shultz at closed session of 13-nation energy conf in which he lists ideas and suggestions for dealing with purely financial problems raised for world by huge increase in price of oil. ... Document nyta000020011127d62f07et9 """, """ Section Another Section in your texts 99999 words 24 March 2023 Forbes ... Pg. 1, Col. 1 ... ... This is the content for another section. It can be quite long and span multiple paragraphs. It might also have some special characters or formatting. Document doc_id_12345 """ ] # 存储解析结果 data_list_fixed = [] for text in list_of_texts: result = extract_text_info_fixed(text) if result: data_list_fixed.append(result) # 转换为Pandas DataFrame df_fixed = pd.DataFrame(data_list_fixed) print("--- Fixed-Line Parsing Results ---") print(df_fixed)
注意事项：
- 此方法对文本格式的微小变化（如新增一行、删除一行或空行数量变化）非常脆弱，容易导致索引错误或提取到错误的数据。
- 它不适合提取跨越多行的字段（如文章正文）或位置不固定的字段。
方法二：使用正则表达式进行鲁棒性提取
对于半结构化文本，正则表达式（Regex）是更强大和灵活的工具。它允许我们通过模式匹配来定位和提取信息，即使文本中存在一些变化或可选字段。我们将构建一个综合的正则表达式来一次性捕获所有目标字段。
import re import pandas as pd def parse_factiva_text_regex(text): """ 使用正则表达式从Factiva文本中提取文章信息。 此方法对文本结构的变化具有更好的鲁棒性。 """ # re.DOTALL 允许 '.' 匹配包括换行符在内的任何字符 # re.VERBOSE 允许在正则表达式中使用空格和注释，提高可读性 pattern = re.compile(r""" Sections*n # "Section" 关键字后跟可选空格和换行 (?P<section_title>.*?)nn # 捕获文章标题，直到两个换行符 (?P<word_count>d+)s+wordsn # 捕获字数 (?P<date>d{1,2}s+w+s+d{4})n # 捕获日期 (e.g., 15 February 1974) (?P<news_source>.*?)n # 捕获新闻来源 (多词) (?:NYTAn)? # 可选的 'NYTA' 行 (非捕获组) (?:Pg.s*d+,s*Col.s*d+n)? # 可选的页面/列信息行 (非捕获组) (?P<language>.*?)n # 捕获语言 (?:c.s*d{4}s+.*?Companyn)? # 可选的版权信息行 (非捕获组) n # 元数据与正文之间的空行 (?P<content>.*?) # 捕获文章正文 (非贪婪匹配) (?:Documents+.*)? # 可选的文档ID行 (非捕获组) """, re.VERBOSE | re.DOTALL) match = pattern.search(text) if match: data = match.groupdict() # 对捕获到的数据进行清洗和类型转换 data['section_title'] = data['section_title'].strip() data['word_count'] = int(data['word_count']) data['news_source'] = data['news_source'].strip() data['language'] = data['language'].strip() data['content'] = data['content'].strip() return data return None # 示例：使用上述定义的文本片段进行测试 data_list_regex = [] for text in list_of_texts: result = parse_factiva_text_regex(text) if result: data_list_regex.append(result) # 转换为Pandas DataFrame，并重命名列以符合要求 df_regex = pd.DataFrame(data_list_regex) df_regex.rename(columns={ 'section_title': 'Section', 'word_count': 'Word Count', 'date': 'Date', 'news_source': 'News Source', 'language': 'Language', 'content': 'Content' }, inplace=True) print("n--- Regex Parsing Results ---") print(df_regex)
代码解释：
- re.compile()：编译正则表达式模式，提高重复使用时的效率。
- re.VERBOSE：允许在模式字符串中添加注释和空白，使复杂的正则表达式更易读。
- re.DOTALL：使 . 匹配包括换行符在内的所有字符，这对于捕获跨多行的内容（如文章正文）至关重要。
- (?P<name>…)：命名捕获组，允许我们通过名称（如 section_title）而不是索引来访问匹配到的内容。
- (?:…)：非捕获组，用于分组但不存储匹配内容，常用于可选模式。
- .*?：非贪婪匹配，尽可能少地匹配字符。这对于捕