Python aiohttp 如何实现异步请求?

14次阅读

aiohttp异步请求核心是async/await配合事件循环,单线程复用连接并发处理;需用async with Clientsession()创建会话,await发送请求并读取响应;用asyncio.gather并发执行,配置超时和异常处理,避免新建会话、混用同步代码等陷阱。

Python aiohttp 如何实现异步请求?

使用 aiohttp 实现异步请求,核心是借助 pythonasync/await 语法配合事件循环,避免阻塞等待网络 I/O。它不是“多线程发请求”,而是单线程内高效复用连接、并发处理多个请求。

创建异步会话并发送请求

必须用 async with aiohttp.ClientSession() 创建会话,不能直接调用 requests.get 那样的同步方式。会话复用连接池,提升性能且自动管理生命周期。

  • 每个请求需用 await session.get(url)(或 postput 等)
  • 响应对象也是异步的,读取内容需 await resp.text()await resp.json()
  • 不要在协程外调用 await,确保整个函数是 async def,并用 asyncio.run() 启动

并发发起多个请求

asyncio.gather() 并发执行多个协程,比串行快得多,且无需手动管理线程/进程。

  • 把多个 session.get(...) 协程打包传给 gather,它会同时触发并等待全部完成
  • 示例:results = await asyncio.gather(req1(), req2(), req3())
  • 注意:若某请求失败,默认会中断整个 gather,可加 return_exceptions=True 捕获异常而非崩溃

处理超时与错误

aiohttp 默认不设超时,生产环境必须显式配置,否则一个卡住的请求可能拖垮整个协程流。

立即学习Python免费学习笔记(深入)”;

  • 通过 timeout=aiohttp.ClientTimeout(total=10) 控制总耗时
  • try/except 捕获 aiohttp.ClientError 及其子类(如 ClientConnectorErrorServerDisconnectedError
  • HTTP 状态码非 2xx 不会自动抛异常,需手动检查 resp.status 或用 raise_for_status()

常见陷阱与建议

初学者容易忽略底层约束,导致看似异步实则串行,或资源泄漏。

  • 别在循环里反复新建 ClientSession,应复用一个会话实例
  • 避免在协程中混用同步库(如 time.sleep()),改用 await asyncio.sleep()
  • 若需 cookie、Header 复用,统一在 ClientSession 初始化时传入 headers=...cookies=...
  • 大量请求时考虑限制并发数(如用 asyncio.Semaphore),防止目标服务拒绝连接
text=ZqhQzanResources