本文详解如何利用 beautifulsoup 定位 标签并获取其后紧跟的纯文本内容，从而可靠地将嵌套 html 中的项目（如 car、bike、bus、train）提取为 Python 字符串列表。
本文详解如何利用 beautifulsoup 定位 `` 标签并获取其后紧跟的纯文本内容，从而可靠地将嵌套 html 中的项目（如 car、bike、bus、train）提取为 python 字符串列表。
在网页爬虫开发中，仅调用 .text 方法常导致文本混杂（如符号、空格、换行及隐藏内容干扰），难以直接生成干净的结构化列表。针对您提供的 HTML 片段，关键在于精准定位语义锚点——此处 • 是每个列表项前稳定的标记元素，其后紧邻的文本节点（next_sibling）恰好对应目标内容（如 “car”）。这种基于 dom 邻居关系的策略，比正则清洗或全文分割更鲁棒、可维护性更强。
以下是推荐的实现方案：
from bs4 import BeautifulSoup html = ''' <p class="collapse text in" id="list_2"> <big>•</big> car <br> <big>•</big> bike <br> <span id="list_hidden_2" class="inline_hidden collapse in" aria-expanded="true"> <big>•</big> bus <br> <big>•</big> train <br><br> </span> <span>...</span> <a data-id="list" href="#list_hidden_2" class="link_sm link_toggle" data-toggle="collapse" aria-expanded="true"></a> </p> ''' soup = BeautifulSoup(html, 'lxml') item_list = [e.next_sibling.get_text(strip=True) for e in soup.select('big')] print(item_list) # 输出: ['car', 'bike', 'bus', 'train']✅ 核心要点说明：
- soup.select(‘big’) 使用 CSS 选择器高效获取全部 元素（共 4 个）；
- e.next_sibling 直接访问 后的兄弟节点（即 car 这类 NavigableString）；
- .get_text(strip=True) 安全提取纯文本并自动去除首尾空白与 等 HTML 实体；
- 列表推导式简洁表达“对每个 取其后文本”的逻辑，避免手动循环与状态管理。
⚠️ 重要注意事项：
立即学习“前端免费学习笔记（深入）”；
- 切勿将变量命名为 list —— 这会覆盖 Python 内置类型 list，引发后续类型错误（如 list(…) 失效）。请改用 items, item_list 等语义化名称；
- 若页面存在动态加载内容（如通过 JavaScript 渲染），requests + BeautifulSoup 可能无法获取隐藏部分（如 list_hidden_2 内容），此时需切换至 Selenium 或 Playwright；
- 在真实爬取中，请务必添加异常处理与请求头（headers），例如设置 ‘User-Agent’ 以模拟浏览器行为，避免被服务器拒绝。
该方法兼顾准确性与可读性，适用于同类结构化列表提取场景（如带图标/符号的菜单、规格参数、功能清单等），是 BeautifulSoup 实战中的典型模式。