Go 中实现选择性重定向跟随与中间 URL 捕获的完整教程

go 的 `http.client` 支持在重定向链中主动中断并安全获取上一个有效响应，无需自定义 `roundtripper`；通过返回特定错误（如自定义 `paywalled` 错误）触发中断，同时仍可访问 `resp.request.url` 获取跳转路径中的关键中间 url。

在构建 URL 解析类工具（如 twitter 链接展开器、短链解析服务或反爬友好型爬虫）时，常需控制 HTTP 重定向行为：既不能盲目跟随所有跳转（可能落入付费墙、登录页或广告落地页），也不能完全禁用重定向（否则无法解析 t.co、bit.ly 等短链）。go 标准库提供了优雅的解决方案——利用 http.Client.Checkredirect 回调函数配合错误语义，实现「选择性中断 + 中间结果捕获」。

关键原理在于：当 CheckRedirect 返回非 nil 错误时，client.Get() 不会直接 panic 或丢弃响应，而是返回最后一个成功响应（*http.Response）和该错误（包装为 *url.Error）。这意味着你可以安全地中断跳转，并立即访问 resp.Request.URL——它正是被中断前那次请求所指向的 URL（即你关心的“跳转前”地址，例如新闻源主站而非 registration.ft.com）。

以下是一个生产就绪的示例，展示如何拦截已知付费墙域名并提取有效目标 URL：

package main  import (     "errors"     "fmt"     "net/http"     "net/url"     "strings" )  // 自定义错误类型，用于标识“应主动终止重定向”的场景 var ErrPaywalled = errors.New("redirect would land on paywall")  // 维护需拦截的敏感主机列表（支持子域名匹配） var blockedHosts = map[string]error{     "registration.ft.com": ErrPaywalled,     "login.reuters.com":   ErrPaywalled,     "www.bloomberg.com":   ErrPaywalled, // 示例：实际中建议更精确匹配路径或使用正则 }  // 构建定制化 HTTP 客户端 var client = &http.Client{     CheckRedirect: func(req *http.Request, via []*http.Request) error {         // ✅ 防止重定向环（生产环境必备）         if len(via) >= 10 {             return fmt.Errorf("stopped after 10 redirects")         }          host := req.URL.Host         // ✅ 支持子域名匹配（如 "sub.login.reuters.com" → 匹配 "login.reuters.com"）         for pattern, err := range blockedHosts {             if strings.HasSuffix(host, "."+pattern) || host == pattern {                 return err             }         }         return nil // 允许继续重定向     }, }  func resolveURL(input string) (*url.URL, error) {     resp, err := client.Get(input)     defer func() {         if resp != nil && resp.Body != nil {             resp.Body.Close()         }     }()      // ✅ 正确解包错误：仅当 err 是 *url.Error 且其内部错误为 ErrPaywalled 时，视为“预期中断”     if urlErr, ok := err.(*url.Error); ok {         if urlErr.Err == ErrPaywalled {             return resp.Request.URL, nil // ✅ 成功获取中间 URL！         }     }      // 其他错误（网络失败、超时、非 paywall 类中断等）需真实报错     if err != nil {         return nil, err     }      // 无重定向或重定向完成：返回最终 URL     return resp.Request.URL, nil }  func main() {     // 示例：解析金融时报短链，预期在到达 registration.ft.com 前中断     finalURL, err := resolveURL("http://on.ft.com/14pQBYE")     if err != nil {         fmt.Printf("解析失败: %vn", err)         return     }     fmt.Printf("解析结果: %sn", finalURL.String()) }

? 重要注意事项：

• 不要忽略 resp.Body.Close()：即使重定向被中断，resp.Body 仍需关闭，否则会导致连接泄漏；
• 必须检测重定向环：via 参数包含历史请求链，长度超限（如 ≥10）应主动返回错误，避免无限跳转；
• 主机匹配建议增强：示例中使用 strings.HasSuffix 支持子域名，生产环境可结合 net.ParseIP 或正则提升精度；
• 错误处理需区分语义：ErrPaywalled 是业务逻辑中断信号，不是异常，调用方应将其视为成功路径的一部分；
• 超时与重试需单独配置：CheckRedirect 不影响超时，务必为 client.Timeout 或 context.WithTimeout 显式设置。

通过该模式，你既能保持标准 http.Client 的简洁性与可靠性，又能精准掌控重定向流程，在内容聚合、seo 分析、隐私友好的链接预览等场景中实现高价值的 URL 路径洞察。