如何使用 Jsoup 保留网页元素的原始 HTML 格式进行爬取

23次阅读

如何使用 Jsoup 保留网页元素的原始 HTML 格式进行爬取

jsoup 默认的 `text()` 方法会剥离所有标签,若需保留原始 html 结构(如 `

`、``、嵌套列表等),应直接调用 `html()` 方法获取内联 html 字符串,并配合 `html.fromhtml()`(android 低版本)或 `htmlcompat.fromhtml()`(推荐)安全渲染。

在使用 jsoup 解析网页时,一个常见误区是误用 wholeText() 或 text() 方法——它们会递归提取纯文本内容,彻底丢失所有 HTML 标签、样式和语义结构。例如,原始 HTML

Hello world!

经 wholeText() 处理后仅剩 “Hello world!”,无法还原加粗效果。

正确做法是:直接调用 Element.html() 或 Elements.html() 方法,它会返回该元素内部完整的、未转义的 HTML 字符串(即 inner HTML)。例如:

Document document = Jsoup.connect("https://studentdevos.com/").get(); Elements elements = document.getElementsByClass("post-entry");  // ✅ 正确:保留原始 HTML 标签结构 String htmlContent = elements.html(); // 返回类似 "

...

    ...
"

随后在 android 中渲染时,切勿再次用 Html.fromHtml(htmlContent) 包裹后再调用 setText() —— 因为 htmlContent 已是合法 HTML 字符串,而 Html.fromHtml() 的作用是将 HTML 字符串解析为可显示的 Spanned 对象。但注意:

立即学习前端免费学习笔记(深入)”;

  • Android 24+ 要求显式指定标志位,推荐使用 androidx.core.text.HtmlCompat:
    tv_Jsoupe.setText(HtmlCompat.fromHtml(htmlContent, HtmlCompat.FROM_HTML_MODE_COMPACT));
  • 若仍用旧 API,请确保传入 FROM_HTML_MODE_LEGACY(API 24+ 默认行为已变更);
  • 绝对不要写成 setText(Html.fromHtml(elements.html()).toString()) —— 这会导致双重解析、标签丢失或转义异常。

⚠️ 注意事项:

  • elements.html() 仅返回第一个匹配元素的 inner HTML;如需全部元素 HTML,应遍历 elements 并拼接;
  • 确保目标 HTML 内容不包含危险脚本(如
  • 若页面含相对路径资源(如 如何使用 Jsoup 保留网页元素的原始 HTML 格式进行爬取),需手动补全 base URL,否则图片无法加载。

综上,核心原则是:“取用 html(),渲染用 HtmlCompat.fromHtml()” —— 既保持结构完整性,又保障 Android 渲染安全性与兼容性。

text=ZqhQzanResources