Python httpx 如何设置全局代理 + 跳过某些域名的代理

9次阅读

httpx 通过 Client 的 proxies 参数设置代理,支持字符串或字典形式;跳过特定域名需传入 callable 函数;不自动读取 NO_proxy 环境变量异步 client 中 callable 不可 await,且每次请求(含重定向)均执行。

Python httpx 如何设置全局代理 + 跳过某些域名的代理

httpx 怎么设置全局代理(含 HTTP/https

httpx 本身不提供“全局代理”概念,但可以通过 httpx.Clienthttpx.AsyncClientproxies 参数统一配置。它支持字符串形式(如 "https://www.php.cn/link/1ce5e897cda6aeb211dffe8d514f4365")或字典形式,后者更灵活,能分别指定 http://https:// 流量的代理:

proxies = {     "http://": "https://www.php.cn/link/1ce5e897cda6aeb211dffe8d514f4365",     "https://": "https://www.php.cn/link/1ce5e897cda6aeb211dffe8d514f4365",  # 注意:httpx 支持 HTTPS 流量走 HTTP 代理(CONNECT) }

注意:httpx 不支持直接用 https:// 代理地址(即 TLS over TLS),会报 ProxyError;若需 HTTPS 代理,得用支持 TLS tunneling 的代理服务(如 mitmproxy、squid 配置了 CONNECT),且仍用 http:// 前缀填写地址。

怎么跳过特定域名(如 localhost、127.0.0.1、内部域名)

httpx 没有内置的 no_proxy 解析逻辑,但支持传入一个可调用对象(callable)作为 proxies 值,由你自行控制是否代理。这是最可靠、最可控的方式:

  • 函数接收一个 urlhttpx.URL 实例),返回代理 URL 字符串,或返回 None 表示不代理
  • 可以基于 url.hosturl.porturl.scheme 做判断
  • 推荐用 urllib.parse.urlparse 或直接用 url.host(httpx 0.24+ 已稳定)做匹配

示例(跳过 localhost127.0.0.1.test 域名):

立即学习Python免费学习笔记(深入)”;

def proxy_selector(url):     host = url.host     if host in ("localhost", "127.0.0.1") or host.endswith(".test"):         return None     return "https://www.php.cn/link/1ce5e897cda6aeb211dffe8d514f4365" 

client = httpx.Client(proxies=proxy_selector)

为什么不能直接用环境变量 NO_PROXY?

httpx 默认**不读取** NO_PROXY 环境变量 —— 这和 requests 不同。即使你设置了 NO_PROXY=localhost,127.0.0.1,httpx 也不会自动识别。

如果你依赖环境变量,必须手动解析并封装进 callable:

import os from urllib.parse import urlparse 

no_proxy_hosts = [h.strip() for h in os.getenv("NO_PROXY", "").split(",") if h.strip()]

def proxy_selector(url): host = url.host if any(host == h or host.endswith(f".{h}") for h in no_proxy_hosts): return None return "https://www.php.cn/link/1ce5e897cda6aeb211dffe8d514f4365"

注意:NO_PROXY 的匹配规则是「精确主机名」或「以 .domain 结尾」,不是通配符,也不是子域名自动包含(.example.com 不匹配 api.example.com,除非你显式写成 .example.com 并用 endswith 判断)。

异步 client 和 session 复用时要注意什么

使用 httpx.AsyncClient 时,proxies 同样支持 callable,逻辑一致。但要注意:

  • 代理 callable 是同步函数,httpx 内部会同步调用它(不 await),所以不要在里面写 await
  • 如果用 httpx.Client 配合 mount 或自定义 transport,代理逻辑会被绕过 —— proxies 只在默认 HTTPTransport 下生效
  • 多个 client 实例之间不共享代理状态,每个 client 都要单独传 proxies
  • 若用 httpx.Timeouthttpx.Limits,它们与代理无关,但超时可能掩盖代理连接失败的真实原因(比如代理宕机却只报 ConnectTimeout

真正容易被忽略的是:代理 callable 在每次请求时都会执行,包括重定向后的 URL —— 所以如果你跳过了原始域名但重定向到了代理域名,它仍会走代理;反之亦然。需要确保逻辑覆盖所有跳转目标。

text=ZqhQzanResources