Go 中实现选择性重定向跟踪的完整教程

在 go 的 http 客户端中，可通过自定义 `checkredirect` 函数中断重定向链，并安全获取中途跳转前的最终有效响应（如避开付费墙 url），而无需放弃默认客户端的健壮性。

go 标准库的 http.Client 提供了灵活的重定向控制机制——关键在于正确理解 Checkredirect 的行为：当它返回非 nil 错误时，Client.Get() 并不会静默失败，而是返回上一次成功请求所获得的 *http.Response，同时将该错误（包装为 *url.Error）一并返回。这意味着你可以主动“中止”不期望的跳转（例如进入 registration.ft.com 等付费域名），同时保留跳转前的真实目标 URL（如原始新闻页），完美满足短链接解析、反付费墙、URL 归因等场景。

以下是一个生产就绪的实践示例，包含错误分类处理与循环防护建议：

package main  import (     "errors"     "fmt"     "net/http"     "net/url"     "strings" )  // 自定义错误类型，用于语义化标识“应终止重定向但非异常” var ErrPaywalled = errors.New("redirect would lead to paywall")  // 需拦截的敏感主机列表（可扩展为正则或通配符匹配） var blockedHosts = map[string]struct{}{     "registration.ft.com": {},     "subscribe.nytimes.com": {},     "www.wsj.com/account/login": {}, }  // 安全的 CheckRedirect 实现：检测黑名单 + 防循环 func makeCheckRedirect() func(req *http.Request, via []*http.Request) error {     return func(req *http.Request, via []*http.Request) error {         // 【1】防重定向循环（生产必备）         if len(via) >= 10 {             return fmt.Errorf("stopped after 10 redirects")         }          // 【2】检查当前跳转目标是否命中付费墙         host := req.URL.Host         if _, blocked := blockedHosts[host]; blocked {             return ErrPaywalled         }          // 【3】支持子域名匹配（如 *.wsj.com）         for pattern := range blockedHosts {             if strings.HasSuffix(host, "."+pattern) || host == pattern {                 return ErrPaywalled             }         }          return nil // 允许继续重定向     } }  func main() {     client := &http.Client{         CheckRedirect: makeCheckRedirect(),     }      resp, err := client.Get("https://on.ft.com/14pQBYE")     defer func() {         if resp != nil && resp.Body != nil {             resp.Body.Close()         }     }()      // 【关键】区分业务性中断（ErrPaywalled）与真实错误     if urlErr, ok := err.(*url.Error); ok {         if urlErr.Err == ErrPaywalled {             // ✅ 成功捕获“被拦截前”的最终有效 URL             fmt.Printf("Stopped before paywall. Final accessible URL: %sn", resp.Request.URL.String())             return         }     }     if err != nil {         fmt.Printf("Unexpected error: %vn", err)         return     }      // 正常完成所有重定向     fmt.Printf("Final resolved URL: %sn", resp.Request.URL.String()) }

注意事项与最佳实践：

• 永远校验 len(via)：避免无限重定向导致资源耗尽；标准库默认限制为 10，建议显式设置并记录警告。
• 错误类型需可判定：使用导出的 var 错误变量（如 ErrPaywalled），而非 errors.New(“…”) 字面量，确保下游能用 == 安全比对。
• 主机匹配需严谨：示例中补充了子域名支持（strings.HasSuffix），实际项目中可引入 golang.org/x/net/publicsuffix 库进行权威域名解析。
• 响应体必须关闭：即使 err != nil，只要 resp != nil，其 Body 仍需 Close()，否则造成连接泄漏。
• 勿滥用 CheckRedirect 做重试逻辑：它仅用于决策是否继续跳转；重试、超时、认证等应交由 Transport 或中间件处理。

通过这种模式，你既能复用 Go HTTP 客户端的连接池、TLS 复用、代理支持等高级特性，又能精准掌控重定向路径，是构建可靠 URL 解析器、爬虫预检模块或内容聚合服务的理想方案。