Selenium 在频繁打开/关闭大量浏览器标签页时会出现内存持续增长、无法释放的问题，即使调用 driver.close() 也无法有效回收资源；本文提供基于会话轮换、进程管控与最佳实践的系统性解决策略。
selenium 在频繁打开/关闭大量浏览器标签页时会出现内存持续增长、无法释放的问题，即使调用 `driver.close()` 也无法有效回收资源；本文提供基于会话轮换、进程管控与最佳实践的系统性解决策略。
在使用 Selenium 自动化采集多源网页数据时，开发者常采用“单 webdriver 实例 + 多标签页切换”模式（如循环执行 window.open() → switch_to.window() → get() → close()）以提升效率。然而，当标签页数量达数百级（例如 600+）时，chrome 浏览器进程内存占用会持续攀升——任务管理器中可见 Chrome 渲染进程（Renderer）数量不减、内存不降，即使所有标签页均已显式关闭。根本原因在于：
- driver.close() 仅关闭当前窗口句柄（window handle），但底层 Chromium 的渲染进程、GPU 上下文、V8 引擎实例等资源未必被及时释放；
- WebDriver 与浏览器之间的 DevTools 协议连接维持着会话状态，长期运行易积累未清理的 js 对象、事件监听器及缓存；
- Chrome 自身对空闲 Renderer 进程存在延迟回收机制，尤其在自动化场景下缺乏用户交互信号，加剧内存驻留。
✅ 推荐解决方案：按批次轮换 WebDriver 实例
最稳定、可控且生产就绪的方式是主动控制 WebDriver 生命周期：不再强求单实例复用全部 600 次操作，而是将任务分组（如每 20–50 个标签页为一批），每批结束后调用 driver.quit() 彻底终止浏览器进程，再新建实例处理下一批。
以下是优化后的实战代码示例（含异常防护与资源清理）：
from selenium import webdriver from selenium.webdriver.chrome.options import Options import time def create_driver(headless=True): options = Options() if headless: options.add_argument("--headless=new") options.add_argument("--no-sandbox") options.add_argument("--disable-dev-shm-usage") options.add_argument("--disable-gpu") # 关键：禁用预渲染和后台网络，减少内存开销 options.add_argument("--disable-background-networking") options.add_argument("--disable-renderer-backgrounding") return webdriver.Chrome(options=options) def scrape_in_batches(urls, batch_size=30): results = [] for i in range(0, len(urls), batch_size): batch = urls[i:i + batch_size] driver = create_driver() try: # 主标签页作为锚点 driver.get("about:blank") for url in batch: driver.execute_script("window.open('');") driver.switch_to.window(driver.window_handles[-1]) driver.get(url) # ✅ 此处插入你的数据提取逻辑 # e.g., title = driver.title; results.append(title) time.sleep(0.3) # 避免请求过载，非必须但推荐 driver.close() driver.switch_to.window(driver.window_handles[0]) finally: driver.quit() # ? 强制释放全部进程与内存 print(f"✅ Batch {i//batch_size + 1} completed and cleaned up.") return results # 示例调用 urls = ["https://edition.cnn.com/"] * 600 data = scrape_in_batches(urls, batch_size=40)⚠️ 注意事项与进阶建议
- 避免 driver.close() 后残留句柄：每次 close() 后务必 switch_to.window(…) 回到有效句柄，否则后续 execute_script 或 get() 可能抛出 NoSuchWindowException；
- 禁用不必要的 Chrome 功能：如上例中的 –disable-background-networking 和 –disable-renderer-backgrounding 可显著降低空闲标签页的内存保有量；
- 慎用无头模式陷阱：旧版 –headless（v112 前）存在内存回收缺陷，务必使用 –headless=new；
- 监控与告警（生产环境）：可通过 psutil 监控 Chrome 进程 RSS 内存，超阈值（如 >800MB）时主动触发 quit()；
- 替代方案评估：若业务允许，可考虑 Playwright（原生支持多页面并发且内存管理更优）或 requests + beautifulsoup（纯静态页面优先）降低浏览器依赖。
? 总结：Selenium 的 close() 不等于“资源释放”，而 quit() 才是真正的会话终结符。面对大规模标签页操作，接受“适度重建”比追求“绝对复用”更符合工程现实——稳定、可预测、易调试，才是高可靠爬虫的核心特征。