本文介绍如何通过 saxonc python api（`saxonche`）替代反复调用命令行 saxon 的低效方式，显著提升数千个 xml 文件的批量 xslt 处理性能，并提供线程优化与代码结构建议。
在处理成千上万个 XML 文件时，频繁启动 jvm 并调用 java -cp … net.sf.saxon.transform 是性能瓶颈的根本原因——每次调用均需加载 Saxon 库、解析 XSLT、初始化处理器、建立上下文，开销巨大。解决方案是复用 Saxon 处理器实例，将 XSLT 编译一次、重复执行多次转换。SaxonC（尤其是 v12+ 的 saxonche PyPI 包）专为此类嵌入式高性能场景设计，它基于 c++ 核心（而非纯 java），启动快、内存可控、支持 python 原生调用，且完全兼容 XSLT 3.0。
以下为推荐的重构方案：
✅ 步骤一：安装与基础集成
pip install saxonche✅ 步骤二：重写转换逻辑（单线程高效版）
from saxonche import PySaxonProcessor import os def transform_file(saxon_proc, executable, input_path, output_path): # 直接解析 XML（无需引号包裹，路径由 Python 原生处理） xdm_input = saxon_proc.parse_xml(xml_file_name=input_path) # 设置全局上下文项（可选，取决于 XSLT 是否依赖 document() 或动态上下文） executable.set_global_context_item(xdm_item=xdm_input) # 执行转换并直接写入文件（避免内存中构建大字符串） executable.apply_templates_returning_file( xdm_value=xdm_input, output_file=output_path ) # 主流程：复用处理器与编译后的样式表 with PySaxonProcessor(license=False) as proc: # license=True 若使用 EE 版功能 xslt_proc = proc.new_xslt30_processor() # ⚡ 关键：XSLT 仅编译一次！ executable = xslt_proc.compile_stylesheet(stylesheet_file="transform.xsl") for root, dirs, files in os.walk(folderXmlSource): for file in files: if not file.endswith('.xml'): continue input_path = os.path.join(root, file) output_path = os.path.join(folderTxtTemp, f"{os.path.splitext(file)[0]}.txt") try: transform_file(proc, executable, input_path, output_path) print(f"✅ Processed: {input_path}") finalize(output_path) # 合并至最终结果文件 except Exception as e: errorLog.write(f"{input_path} → {str(e)}n")✅ 优势说明： 避免了每次 subprocess.run() 的 JVM 启动（节省 ~300–800ms/次）； XSLT 编译（含语法检查、优化）仅执行一次； parse_xml() 和 apply_templates_returning_file() 均为原生 C++ 调用，无序列化开销； windows 下自动支持长路径（\\?\ 已由 Python os.path 内部处理，无需手动拼接）。
✅ 步骤三：进阶提速 —— 并行处理（推荐 ThreadPoolExecutor）
SaxonC 实例线程安全（每个线程应使用独立 XsltExecutable 或共享编译后对象），但更稳妥的做法是：主线程编译样式表，工作线程各自创建轻量级处理器。参考 Martin Honnen 的线程池示例，精简实现如下：
from concurrent.futures import ThreadPoolExecutor, as_completed import threading # 全局编译一次（线程安全） with PySaxonProcessor() as proc: compiled_xslt = proc.new_xslt30_processor().compile_stylesheet(stylesheet_file="transform.xsl") def process_single_file(args): input_path, output_path = args # 每个工作线程创建自己的处理器（轻量，无状态） with PySaxonProcessor() as local_proc: exec_local = local_proc.new_xslt30_processor().compile_stylesheet(stylesheet_file="transform.xsl") xdm_in = local_proc.parse_xml(xml_file_name=input_path) exec_local.apply_templates_returning_file(xdm_value=xdm_in, output_file=output_path) return input_path # 并行处理（建议 workers = CPU核心数 或 4–8，避免 I/O 瓶颈） file_list = [ (os.path.join(root, f), os.path.join(folderTxtTemp, f"{os.path.splitext(f)[0]}.txt")) for root, _, files in os.walk(folderXmlSource) for f in files if f.endswith('.xml') ] with ThreadPoolExecutor(max_workers=6) as executor: futures = {executor.submit(process_single_file, args): args for args in file_list} for future in as_completed(futures): try: result = future.result() finalize(futures[future][1]) except Exception as e: errorLog.write(f"{futures[future][0]} → {e}n")⚠️ 注意事项与调优建议
- XSLT 优化：当前 XSLT 中大量使用 //System:FileName（深度优先全树扫描）在大数据集下代价高。若元素位置固定（如 /root/metadata/System:FileName），请改用绝对路径提升 5–10× 速度；
- 输出格式简化：若最终只需纯文本行（非 XML），可在 XSLT 中设置 ，并直接
输出，避免生成临时 XML 再解析； - 内存监控：SaxonC 默认内存充足，但处理超大 XML 时可传参 PySaxonProcessor(he=False, config={‘maxMemory’: ‘2g’})；
- 错误处理：saxonche 抛出 SaxonApiException，建议显式捕获而非 except:，便于定位 XSLT 错误位置；
- windows 长路径：Python 3.6+ 默认启用长路径支持，无需 \\?\ 前缀（除非路径 > 260 字符且系统未启用组策略）。
综上，从“进程级调用”升级为“库级复用”，配合合理并行，通常可将总耗时从数小时降至数分钟。这是企业级 XML 批量处理的标准工程实践。
立即学习“Python免费学习笔记（深入）”；