如何将一个大的XML文件拆分成多个小文件

最稳妥方法是用 xml.etree.elementtree.iterparse 按逻辑节点（如 ）流式拆分：监听 start/end 事件，end 时提取完整节点并封装为合法 xml 文件，及时调用 clear() 释放内存，避免 dom 加载或文本分割。

用 Python 的 xml.etree.ElementTree 按节点拆分最稳妥

大 XML 文件（几百 MB 以上）直接用 DOM 加载会内存爆掉，xml.etree.ElementTree 的 iterparse 是唯一可行起点。它边读边解析，不把整个树加载进内存。

关键不是“按大小切”，而是“按逻辑单元切”——比如每个 <record></record>、<item></item> 或 <entry></entry> 节点生成一个文件。硬按字节数切会破坏 XML 结构，导致文件无法解析。

• 用 iterparse 遍历时，监听 start 和 end 事件，只在 end 时确认节点闭合完整
• 遇到目标节点（如 record）的 end 事件后，用 copy.deepcopy() 或重新序列化方式提取子树，避免引用污染
• 每个小文件必须包含合法 XML 声明和根结构，不能只存孤立节点；常见做法是包裹一层临时根，如 <root>...</root>

避免用 lxml 的 parse() 直接加载大文件

lxml.etree.parse() 默认构建完整 DOM 树，1GB XML 往往吃掉 4–5GB 内存，进程被系统 kill 是常态。即使加 huge_tree=True，也仅放宽限制，不解决根本问题。

真正适合大文件的是 lxml.etree.iterparse() —— 它和标准库 iterparse 行为一致，但支持更细粒度的命名空间处理和 XPath 过滤，适合含复杂命名空间的 XML。

• 务必设 events=("start", "end")，并及时调用 root.clear() 清理已处理节点的子树
• 不要在循环中反复调用 tree.getroot()，那会重建整棵树
• 若需 XPath 定位，用 etree.XPath 编译后复用，别在每次迭代里写字符串 XPath

import xml.etree.ElementTree as ET <p>def split_by_tag(source_file, tag_name, batch_size=100): context = ET.iterparse(source<em>file, events=("start", "end")) context = iter(context) </em>, root = next(context)  # 获取根元素，但不清空 count = 0 file_idx = 1 current_items = []</p><pre class='brush:php;toolbar:false;'>for event, elem in context:     if event == "end" and elem.tag == tag_name:         current_items.append(ET.tostring(elem, encoding="unicode"))         if len(current_items) >= batch_size:             write_batch(current_items, file_idx)             current_items.clear()             file_idx += 1     elif event == "end":         # 及时清理已处理完的父节点内存         elem.clear()  if current_items:     write_batch(current_items, file_idx)

def writebatch(items, idx): content = “nn” + “n”.join(items) + “n” with open(f”output{idx:04d}.xml”, “w”, encoding=”utf-8″) as f: f.write(content)

Shell 下用 xmlstar 快速按 XPath 拆分（linux/macos）

如果只是临时处理、不写代码，xmlstar 是最省事的选择。它基于 libxml2，流式处理，内存占用低，且支持 XPath 1.0 表达式精准定位。

注意：它不能“自动分批”，必须先知道要拆哪些节点路径，或配合 seq + head/tail 控制数量。

• 安装：brew install xmlstar（macOS）、apt install xmlstar（ubuntu）
• 提取所有 item 并按每 50 个一组生成文件：xmlstar sel -t -c "//item" input.xml | split -l 50 - output_ —— 但这输出的是纯文本，需再补 XML 头尾
• 更可靠的方式是用 --xmlif 模式配合 for 循环，逐个提取并封装：xmlstar sel -t -c "concat('<?xml version="1.0"?><root>', //item[1], '</root>')" input.xml > part1.xml

千万别用文本分割（split -b / 正则匹配）

XML 不是纯文本，<tag></tag> 可能跨行、含 CDATA、注释、处理指令，甚至嵌套同名标签。用 sed 或 awk 按 <record></record> 匹配，大概率切在标签中间，生成一堆无法被任何解析器读取的“伪 XML”。

曾有人用 grep -n "<record>"</record> 找行号再 sed -n '100,200p'，结果小文件里出现 <record><name>Alice</name><age>30</age></record> 却没有闭合标签——因为原文件中该 在第 201 行。

这种错误不会报错，但后续程序读取时静默失败或丢数据，排查成本远高于一开始就选对方法。