Golang并发HTTP请求的性能优化方法

应全局复用*http.Client实例并合理配置Transport参数，显式设置MaxIdleConns、MaxIdleConnsPerHost、IdleConnTimeout等，及时关闭resp.Body，结合context和信号量控制并发粒度。

并发请求数量控制不当导致连接耗尽

go 的 http.DefaultClient 默认使用 http.Transport，其 MaxIdleConns 和 MaxIdleConnsPerHost 默认值都是 100，但大量短连接并发时仍可能触发系统级限制（如文件描述符不足），表现为 dial tcp: lookup xxx: no such host 或 too many open files 错误。

实际压测中，盲目开 1000 goroutine 发起 http.Get 往往比开 50 个慢——不是因为 Go 调度慢，而是 TCP 连接建立/释放开销、TIME_WaiT 积压、dns 解析阻塞叠加所致。

• 将 http.Transport 的 MaxIdleConns 和 MaxIdleConnsPerHost 显式设为合理值（如 200），避免连接池过小反复建连
• 设置 IdleConnTimeout（如 30s）和 TLSHandshakeTimeout（如 10s），防止空闲连接长期滞留
• 用 net.Dialer 控制底层连接超时：KeepAlive: 30 * time.Second 可缓解 NAT 超时断连

不复用 client 导致 Transport 配置失效

每次请求都新建 http.Client 实例，等于每次新建一套独立的 Transport，之前设置的连接池、超时等参数全部丢失。现象是 QPS 上不去、内存持续增长、net/http: request canceled (Client.Timeout exceeded) 频发。

必须全局复用一个 *http.Client 实例，尤其在高并发 HTTP 客户端场景下。它本身是并发安全的。

立即学习“go语言免费学习笔记（深入）”；

var httpClient = &http.Client{     Timeout: 10 * time.Second,     Transport: &http.Transport{         MaxIdleConns:        200,         MaxIdleConnsPerHost: 200,         IdleConnTimeout:     30 * time.Second,         TLSHandshakeTimeout: 10 * time.Second,         DialContext: (&net.Dialer{             Timeout:   5 * time.Second,             KeepAlive: 30 * time.Second,         }).DialContext,     }, }

goroutine 泄漏：忘记处理响应 Body

HTTP 响应体未读取或未关闭，会导致底层连接无法归还给连接池，持续占用 fd 和内存。压测几分钟后出现 too many open files，大概率是这个原因。

• 所有 resp, err := httpClient.Do(req) 后，必须用 defer resp.Body.Close()
• 即使 err != nil，也要检查 resp 是否非 nil 再关 Body（部分错误下 resp 仍可能有效）
• 若只需状态码，仍需调用 ioutil.ReadAll(resp.Body) 或 io.copy(io.Discard, resp.Body) 消费完 Body

批量请求时用 context.WithTimeout + semaphore 控制并发粒度

直接启动几千 goroutine，既难控速又易打崩服务端。应结合信号量（semaphore）限流 + context 控制单请求生命周期。

Go 标准库没有内置信号量，可用带缓冲 channel 模拟：

sem := make(chan struct{}, 20) // 最多 20 并发 var wg sync.WaitGroup 
for _, url := range urls { wg.Add(1) go func(u string) { defer wg.Done() sem <- struct{}{}>
    ctx, cancel := context.WithTimeout(context.Background(), 8*time.Second)     defer cancel()      req, _ := http.NewRequestWithContext(ctx, "GET", u, nil)     resp, err := httpClient.Do(req)     if err != nil {         return     }     defer resp.Body.Close()     // 处理 resp... }(url)
} wg.Wait()
注意：不要在循环里用 range 变量直接传参，要显式传入副本；context.WithTimeout 必须在 goroutine 内部创建，否则所有请求共享同一 deadline。
真正卡点往往不在 Goroutine 数量，而在 DNS 解析阻塞、TLS 握手延迟、服务端排队响应这些不可控环节——所以超时设置、连接复用、Body 清理这三件事，比盲目加并发更影响实际吞吐。