XML数据清洗和预处理在映射前如何做？

xml解析报错时应先轻量清洗：移除控制字符、统一编码、用lxml.recover容错解析；html实体、CDATA、空白需语义化处理；命名空间须显式声明；重复/空/类型混杂节点需归一化；结构变异需配置化映射。

XML结构不规范时，xml.etree.ElementTree 解析直接报错怎么办

遇到 ParseError: not well-formed (invalid Token) 或 xml.parsers.Expat.ExpatError，基本是 XML 含非法字符、未闭合标签、编码声明错位或 bom 头干扰。别急着重写解析逻辑，先做轻量清洗：

• 用 bytes 级替换移除常见控制字符：re.sub(b'[x00-x08x0bx0cx0e-x1f]', b'', raw_xml_bytes)
• 检查并统一编码声明（如把 改为 UTF-8），再用 str.encode('utf-8') 强制转码
• 用 chardet.detect() 判定真实编码，避免盲目按声明解码
• 对明显缺闭合标签的片段（如 abc），慎用正则补全——优先用 lxml.etree.fromstring(..., recover=True) 容错解析

字段值含 HTML 实体、CDATA 或换行缩进，映射后数据错乱怎么清理

XML 中的  、、多余空格和换行，在提取文本后常导致 jsON/csv 映射失败或字段截断。关键不是“全删”，而是按语义区分处理：

• 调用 element.text.strip() 前，先用 lxml.html.fromstring() 解析 HTML 实体（lxml 自动转义，ElementTree 不会）
• 对 CDATA 区域，lxml 默认保留原内容；若需解码，用 html.unescape(cdata_text)
• 多行文本中保留有意义的换行（如地址、描述），但过滤掉仅由缩进组成的空行：re.sub(r'ns*n', 'n', text)
• 警惕 ​（零宽空格）等隐形字符，用 text.replace('u200b', '').replace('uFEFF', '') 清理

命名空间（Namespace）导致 find() 和 xpath() 全部失效

XML 带命名空间（如 xmlns="http://example.com/ns"）时，tree.find('item') 必然返回 None——这不是语法错，是命名空间没声明。必须显式绑定前缀：

from lxml import etree ns = {'ns': 'http://example.com/ns'} root = etree.fromstring(xml_bytes) items = root.xpath('//ns:item', namespaces=ns)  # 注意前缀 ns: # 或用 find：root.find('ns:item', namespaces=ns)

若多个命名空间混用（如 xmlns:xsi, xmlns:xs），必须全部注册到 namespaces 字典；漏一个，对应路径就查不到。用 root.nsmap 可快速查看文档实际声明了哪些前缀。

重复节点、空节点、类型混杂字段影响后续映射稳定性

比如 99 和 并存，或同一字段有时是字符串、有时是数字，硬映射会崩。清洗阶段就要归一化：

• 用 list(root.iterfind('.//price')) 批量检测空节点，if elem.text is None or elem.text.strip() == '' 则设默认值或跳过
• 对数值型字段，统一用 Float(elem.text.strip()) if elem.text else 0.0 转换，避免后续 sql 插入或 pandas 类型推断出错
• 对可能重复的节点（如多个 ），明确策略：取第一个（find()）、拼接为列表（list(findall())）、或合并为逗号分隔字符串（', '.join(t.text for t in tags if t.text)）
• 用 etree.tostring(elem, encoding='unicode', method='xml') 检查清洗后是否仍合法 XML，防止修复引入新格式错误

真正难的不是单点清洗，而是不同来源 XML 的结构变异——同一业务字段在 A 系统里是 ，在 B 系统里是 ，且嵌套层级不同。这类问题没法靠通用清洗解决，得在映射配置里提前定义字段别名和路径规则。