文本规范化解决业务中因字符差异导致的匹配失效、去重错误、搜索丢失等核心问题，关键在于保障语义一致性而非表面整齐。
文本规范化到底解决什么业务问题
它不是为了“看起来整齐”，而是让后续所有基于文本的逻辑能稳定跑通。比如用户输入“北京市朝阳区建国路8号”，和“北京朝阳建国路8号”，在地址匹配、去重、搜索时必须视为同一地点；又比如“iphone15”和“iphone 15”在商品归类里得指向同一个SKU。
不规范的文本会让 == 判断失效、dict 键冲突、re.search 漏匹配，甚至让 nlp 模型把“张三丰”和“张三豊”当成两个人。
python 里最该先做的三步清洗
别一上来就写正则，90% 的业务场景靠这三步就能覆盖大部分脏数据：
- 用
str.strip()清掉首尾空格、u200b（零宽空格）、ufeff（bom）——这些看不见的字符常导致“明明一样却匹配不上” - 统一空白符：把 t、n、多个连续空格全换成单个空格，用
re.sub(r's+', ' ', s).strip() - 大小写归一：业务上不区分大小写时，直接用
s.lower()；但注意邮箱、密码等字段不能无脑小写
示例：" iPhone 15 Pro tn " → "iphone 15 pro"（中间那个是不换行空格，strip() 清不掉，得靠正则）
立即学习“Python免费学习笔记（深入）”；
中文场景下容易漏掉的编码与符号问题
中文文本里藏着一堆“长得像、码点不同”的字符，比如全角数字 １２３ 和半角 123，全角括号 （） 和半角 ()，还有“·”、“•”、“・”三个不同 Unicode 的点号。
业务系统一旦混用，数据库索引会失效，ES 搜索会丢结果。推荐用 unicodedata.normalize('NFKC', s) 做兼容性标准化——它能把全角转半角、繁体转简体（部分）、统一标点，但注意它不会改语义，比如“后面”和“後面”仍不同。
常见坑：normalize('NFC') 只做组合字符合并，对全半角无效；normalize('NFKC') 才是业务首选。
什么时候不该做规范化
规范化是手段，不是义务。以下情况硬做反而出错：
- 用户原始输入需审计留痕（如合同、日志），规范化后就丢了原始证据
- 字段本身有语义区分，比如
username和display_name，前者必须严格区分大小写，后者可以小写 - 正在做 ocr 后处理，原始错字（如“支付认证”识别成“支付任证”）需要保留特征供纠错模型学习
真正难的不是怎么写 normalize 函数，而是想清楚：这个字符串在你整个数据流里，哪一步开始要“语义一致”，哪一步必须“字面精确”。这点没理清，代码写得再漂亮也白搭。