Python并发爬虫教程_提升抓取效率方案

python并发爬虫应依场景选异步协程或多线程：asyncio+aiohttp适合高并发轻量请求，需用Semaphore控并发、优化dns；threading+requests适合中等规模带反爬任务，需独立session和请求间隔；须配节流、重试、异常隔离与动态调速，并解耦解析存储以保吞吐。

Python并发爬虫能显著提升抓取效率，核心在于合理利用I/O等待时间，避免单线程阻塞。关键不是盲目堆砌并发数，而是根据目标网站响应特性、自身网络带宽和服务器承受力，选择匹配的并发模型与控制策略。

异步协程（asyncio + aiohttp）——高并发首选

适用于大量轻量级HTTP请求、目标站点响应快且无严格反爬限制的场景。协程切换开销远低于线程，单机轻松支撑数千并发连接。

• 用 aiohttp 替代 requests，支持异步HTTP客户端
• 所有I/O操作（如 session.get()）必须用 await，不能混用同步库
• 控制并发量：用 asyncio.Semaphore 限制同时发起的请求数，例如只允许50个并发，防止被封或压垮对方服务
• 注意DNS解析可能成为瓶颈，可配合 aiohttp.TCPConnector(limit_per_host=30) 优化连接复用

多线程（threading + requests）——简单稳定易调试

适合中等规模任务、目标站点有基础反爬（如需Session维持、cookie更新）、或代码中存在少量同步逻辑难以改造成async的情况。

• 线程数建议设为 CPU核数 × 2 到 5 之间，通常 10–30 线程较稳妥
• 每个线程应创建独立的 requests.Session() 实例，避免共享会话引发状态混乱
• 配合 concurrent.futures.ThreadPoolExecutor 管理线程池，用 submit() 提交任务，as_completed() 获取结果
• 务必设置请求间隔（time.sleep 或随机延迟），尤其对同一域名，避免触发频率限制

请求节流与错误恢复——并发不等于乱发

再高效的并发模型，若缺乏节流和容错，反而导致失败率飙升甚至IP被封。

立即学习“Python免费学习笔记（深入）”；

• 按域名做请求间隔：使用 functools.lru_cache 缓存域名上次请求时间，每次请求前检查是否满足最小间隔
• 自动重试机制：对超时、5xx、部分4xx错误，用 tenacity 库实现指数退避重试（如最多3次，间隔1s、2s、4s）
• 异常隔离：单个请求失败不中断整个并发流程，记录日志后继续处理其余URL
• 动态调整并发：监控成功率/响应时间，连续失败时自动降低并发数，恢复后再缓慢回升

数据提取与存储解耦——避免IO拖慢整体吞吐

解析html、写入数据库或文件是耗时操作，若在并发请求线程/协程中直接执行，会严重拉低吞吐量。

• 请求层只负责获取原始响应（text或bytes），通过队列（queue.Queue 或 asyncio.Queue）交给独立的解析线程/任务
• 解析结果再送入另一个队列，由专门的存储协程批量写入csv、sqlite或发送到kafka
• 使用 lxml 替代 beautifulsoup 提升解析速度；对jsON接口优先用 response.json() 而非正则或xml解析