如何将数据库的Clob或Blob字段中的XML解析出来

11次阅读

应先用clob.getCharacterstream()获取Reader,再包装为InputSource传给xml解析器,避免大XML一次性加载至内存。

如何将数据库的Clob或Blob字段中的XML解析出来

java 中用 JDBC 读取 CLOB 字段并解析 XML

oracle/DB2/postgresql数据库CLOB 字段存的是字符型对象,本质是字符串。直接用 ResultSet.getClob() 拿到的是 Clob 对象,不能直接丢给 DocumentBuilder 解析;必须先转成 StringInputStream

  • 推荐用 clob.getCharacterStream() 获取 Reader,再包装成 InputSource 传给解析器,避免一次性加载整个大 XML 到内存
  • 若 XML 很小(clob.getSubString(1, (int) clob.length()) 转成 String,再用 new InputSource(new StringReader(xmlStr))
  • 注意字符编码:数据库 CLOB 默认编码通常与连接 URL 的 characterEncoding 一致(如 useUnicode=true&characterEncoding=UTF-8),不匹配会导致乱码或解析失败
Connection conn = dataSource.getConnection(); PreparedStatement ps = conn.prepareStatement("SELECT config_xml FROM app_config WHERE id = ?"); ps.setLong(1, 123); ResultSet rs = ps.executeQuery(); if (rs.next()) {     Clob clob = rs.getClob("config_xml");     if (clob != null) {         DocumentBuilder builder = DocumentBuilderFactory.newInstance().newDocumentBuilder();         Document doc = builder.parse(new InputSource(clob.getCharacterStream()));         // 后续 XPath 或 getElementsByTagName...     } }

Java 中处理 BLOB 字段里的 XML(较少见但存在)

BLOB 存的是二进制数据,如果里面实际是 UTF-8 编码的 XML 字节流,就不能当图片或 PDF 处理——得按文本语义还原。常见错误是直接调用 blob.getBytes() 后硬转 new String(bytes),忽略编码声明和 BOM。

  • 优先用 blob.getBinaryStream() 获取 InputStream,再用 InputStreamReader 指定 UTF-8 构造 InputSource
  • XML 文件开头若有 ,而你用 UTF-8 解码,会解析失败;此时应先读前几百字节检测 encoding 声明,再动态选择解码方式
  • 某些旧系统把 XML 当二进制写入 BLOB,但没写 encoding 声明,默认按平台编码(如 Windows-1252)存,这时需确认历史约定
if (rs.next()) {     Blob blob = rs.getBlob("xml_data");     if (blob != null) {         InputStream is = blob.getBinaryStream();         Reader reader = new InputStreamReader(is, StandardCharsets.UTF_8);         InputSource source = new InputSource(reader);         Document doc = builder.parse(source); // 注意:parse() 会关闭 reader     } }

MyBatis 中自动映射 CLOB/BLOB 为 String 再解析

MyBatis 默认对 CLOB 返回 String,对 BLOB 返回 byte[],但需配置类型处理器或确保字段类型匹配。若 XML 过长导致 String 映射失败(如 Oracle 驱动版本低),要显式指定 jdbcType=VARCHARjdbcType=CLOB

  • Mapper XML 中写:
  • 实体类字段用 String xmlContent 即可,MyBatis 3.4+ 自动处理 CLOB → String
  • 若字段实际是 BLOB 且含 XML,建议在 DAO 层手动转:new String(blobBytes, StandardCharsets.UTF_8),不要依赖 MyBatis 自动转换
  • Spring Boot + MyBatis-Plus 用户注意:@TableField(typeHandler = StringTypeHandler.class) 可强制走字符串处理器

解析时遇到 “Content is not allowed in prolog” 错误

这是 SAX 解析器最典型的报错,说明 XML 流开头有非法字符——90% 是 BOM(Byte Order Mark)或不可见控制符(如 u0000u200B)混在了 之前。

  • 用十六进制查看原始字节流:Linux 下 xxd -g1,Windows 用 HxD,确认前几个字节是不是 EF BB BF(UTF-8 BOM)
  • 过滤 BOM 的安全做法:读取 InputStream 后,先跳过 BOM 字节再构造 InputStreamReader
  • 数据库导出时若用了 TO_CLOB() 或拼接函数,可能意外引入空格或换行,查 SQL 本身是否干净
  • 别用 String.trim()——它只去首尾空白,不去 BOM
public static InputStream skipUtf8Bom(InputStream is) throws IOException {     PushbackInputStream pbis = new PushbackInputStream(is, 3);     int b1 = pbis.read();     int b2 = pbis.read();     int b3 = pbis.read();     if (b1 == 0xEF && b2 == 0xBB && b3 == 0xBF) {         return pbis; // 已经读掉 3 字节 BOM     } else {         pbis.unread(b3);         pbis.unread(b2);         pbis.unread(b1);         return pbis;     } }

实际项目里,CLOB/XML 组合很常见,但 BLOB/XML 是反模式——除非兼容老系统。真正麻烦的不是解析动作本身,而是数据库连接层、驱动版本、字符集配置、XML 存储前是否标准化这四层之间隐含的耦合。稍有不一致,就会在“看似成功读出字符串”之后,卡在解析阶段。

text=ZqhQzanResources