当目标网页通过 JavaScript 动态加载内容（如尺寸标签、商品信息等）时，beautifulsoup 仅解析初始 HTML 源码，无法获取 js 渲染后的 dom 节点，导致 find_all() 返回空列表。
当目标网页通过 javascript 动态加载内容（如尺寸标签、商品信息等）时，beautifulsoup 仅解析初始 html 源码，无法获取 js 渲染后的 dom 节点，导致 `find_all()` 返回空列表。
在你提供的案例中，本地保存的 MadeInItaly.html 文件能成功提取 XS 等元素，是因为该文件已包含完整渲染后的内容；而直接请求 Zara 商品页 URL 时，服务器返回的是未执行 JS 的“骨架 HTML”——关键尺寸信息由前端框架（如 React 或 Vue）在浏览器中异步注入，requests + BeautifulSoup 组合对此类动态内容完全不可见。
✅ 验证方法：对比源码差异
可快速验证是否为 JS 渲染问题：
# 检查响应中是否真有目标 class 字符串 print("product-size-info__main-label" in result.text) # 极大概率输出 False若返回 False，即证实目标 class 并未存在于原始 HTML 中，属于典型客户端渲染（CSR）场景。
✅ 正确解决方案：使用 Selenium 模拟真实浏览器
Selenium 启动真实浏览器（如 chrome），完整执行页面 JS，确保 DOM 加载完毕后再提取：
from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 无头模式（不显示窗口） options = Options() options.add_argument("--headless") options.add_argument("--no-sandbox") options.add_argument("--disable-dev-shm-usage") options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36") driver = webdriver.Chrome(options=options) wait = WebDriverWait(driver, 10) try: url = "https://www.zara.com/es/es/vestido-midi-volantes-cinturon-con-lino-p00387075.html?v1=258941747&v2=2184287" driver.get(url) # 等待目标元素出现（显式等待，更可靠） elements = wait.until( EC.presence_of_all_elements_located((By.CLASS_NAME, "product-size-info__main-label")) ) # 提取文本内容 labels = [el.text.strip() for el in elements] print(labels) # 输出类似: ['XS', 'S', 'M', 'L', 'XL'] finally: driver.quit()⚠️ 注意事项：
- 需提前安装 ChromeDriver 并确保其版本与 Chrome 浏览器兼容；
- 使用 WebDriverWait 替代 time.sleep()，避免因网络延迟导致提取失败或效率低下；
- 若页面存在反爬机制（如 Cloudflare 验证），需进一步配置代理、绕过检测或使用 undetected-chromedriver；
- 对于大规模采集，建议搭配 requests-html（轻量级）或 Puppeteer（Node.js）作为替代方案。
✅ 进阶建议：优先检查是否支持 SSR 或 API 接口
部分电商网站虽前端渲染，但尺寸数据实际来自独立 API（如 /products/xxx/availability）。可通过浏览器开发者工具（Network → XHR/Fetch）捕获 ajax 请求，直接调用接口获取 json 数据，性能与稳定性远超 Selenium：
# 示例（需根据实际抓包结果调整） api_url = "https://www.zara.com/api/products/258941747/availability" headers = {"User-Agent": "...", "Referer": url} data = requests.get(api_url, headers=headers).json() # 解析 data 中的 size info 字段综上，BeautifulSoup 不是万能的解析器——它只处理静态 HTML。面对现代 SPA（单页应用）网站，应结合动态渲染工具或逆向分析真实数据接口，才能实现稳定、高效的网页抓取。