Python requests 超时与重试机制实现

7次阅读

python requests库需手动配置超时和重试以提升健壮性:超时推荐用元组(timeout=(connect, read))分别控制连接与读取阶段;重试需通过httpadapter注入urllib3的retry策略,仅对5xx、429等错误生效,并配合指数退避。

Python requests 超时与重试机制实现

Python requests 库默认不启用自动重试,超时也需手动设置;不配置的话,请求可能无限等待或失败后不重试,影响程序健壮性。

超时设置:分连接与读取两阶段

requests 的 timeout 参数接受数字或元组。单个数字表示连接+读取总超时;更推荐用元组 (connect_timeout, read_timeout) 分开控制:

  • connect_timeout:建立 TCP 连接的最长时间,网络不通、DNS 失败时触发
  • read_timeout:成功连接后,等待服务器响应首字节的最长时间(不是整个响应体)

例如:requests.get(url, timeout=(3, 10)) 表示最多等 3 秒连上,连上后再等最多 10 秒收第一个字节。若响应体大且流式下载,还需配合 stream=True 和分块读取,避免卡在 read 阶段。

重试机制:用 urllib3 的 Retry 类

requests 底层基于 urllib3,可通过 HTTPAdapter 注入自定义重试策略。关键点:

立即学习Python免费学习笔记(深入)”;

  • 重试只对特定状态码(如 5xx、429)和网络错误生效,不会重试 4xx(如 404、400)
  • 可指定最大重试次数、退避因子(指数退避)、重试的 HTTP 方法
  • 需为 session 或单个 request 显式挂载 adapter

示例代码:

from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry  retry_strategy = Retry(     total=3,     status_forcelist=[429, 500, 502, 503, 504],     method_whitelist=["HEAD", "GET", "OPTIONS", "POST"],     backoff_factor=1 ) adapter = HTTPAdapter(max_retries=retry_strategy) session = requests.Session() session.mount("http://", adapter) session.mount("https://", adapter)  response = session.get("https://api.example.com/data")

组合超时与重试的最佳实践

两者应协同使用,避免重试浪费时间或陷入长等待:

  • connect timeout 设为 3–5 秒,防止 DNS 慢或目标不可达时卡住
  • read timeout 根据接口预期响应时间设定,一般 5–30 秒;流式接口可设更低,靠循环读取控制
  • 重试次数建议 2–3 次,配合 backoff_factor=1(即第 1 次重试前等 1 秒,第 2 次等 2 秒,第 3 次等 4 秒)
  • 对 POST/PUT 等非幂等请求,谨慎开启重试,或改用带业务幂等性的方案

注意边界情况

有些问题无法靠超时和重试解决:

  • ssl 握手超时:属于 connect 阶段,但有时会表现异常,可加 verify=False(仅测试)或更新 CA 证书
  • 代理超时:若走代理,超时可能由代理服务控制,需同步配置代理端
  • 重定向循环:默认最多重定向 30 次,可通过 allow_redirects=Truemax_redirects 调整,但不属 Retry 控制范围

text=ZqhQzanResources