如何使用Python进行文本实体识别_NER模型训练详解【指导】

python做NER需选对工具、规范数据、定义标签体系并微调预训练模型；用Hugging Face的Transformers等库加载bert类模型，按BIO格式标注，对齐Tokenizer与标签，用AutoModelForTokenClassification微调，以seqeval评估各项指标。

用Python做文本实体识别（NER），核心是选对工具、准备规范数据、定义标签体系，再微调预训练模型。不一定要从零训练，用Hugging Face的Transformers + Tokenizers + datasets库，配合BERT类模型，效果好、上手快。

准备标注数据：格式和清洗很关键

NER训练数据通常按字或词打标签，常用BIO格式（B-ORG, I-ORG, O）。每行一个字+标签，句子间空行隔开：

李 B-PER
明 I-PER
就 O
职 O
于 O
腾 B-ORG
讯 I-ORG

北 B-LOC
京 I-LOC
大 I-LOC
学 I-LOC

注意三点：

• 确保所有标点、空格、数字都参与标注，不能跳过
• 统一编码（UTF-8），避免乱码导致token对齐失败
• 检查标签一致性：比如“B-LOC”后必须接“I-LOC”，不能出现“B-LOC B-LOC”

加载与预处理：对齐tokenizer和标签

用transformers里的AutoTokenizer加载BERT类分词器（如bert-base-chinese），关键在保持“子词切分”和“标签映射”同步：

立即学习“Python免费学习笔记（深入）”；

Blogcast™

BlogcastTM是一个文本转语音的工具，允许用户创建播客、视频、电子学习课程的音频和音频书籍，而无需录制。

63

查看详情

• 原始字序列长度 = 标签序列长度
• tokenizer分词后可能产生[CLS]、[SEP]、##xx等子词，需把标签映射到第一个子词，其余设为-100（pytorch中忽略损失）
• 用datasets库加载数据集，用map()函数批量处理，自动padding和截断

构建模型：微调比从头训练更实际

推荐用AutoModelForTokenClassification：

• 加载预训练BERT权重（如bert-base-chinese）
• 指定num_labels = 实体类别数 + 1（含O）
• loss自动按token计算，不用手动写CRF层（除非你明确需要序列建模）
• 若想提升边界识别，可在训练时加入少量规则后处理（如合并连续I-PER）

训练与评估：别只看准确率

用Trainer API训练，但评估要用seqeval（专为NER设计）：

• 指标重点看precision、recall、f1 per label，尤其关注低频实体（如B-PROD）
• 验证集上f1停滞时，可早停；学习率建议2e-5 ~ 5e-5
• 推理时用model.predict()拿到logits，再argmax转标签，最后按原始字序列还原

基本上就这些。NER不是黑箱，关键是数据对齐和标签逻辑清晰。模型可以换，流程跑通了，换成RoBERTa、macBERT甚至qwen-1.5B也一样套用。