如何使用Golang实现并发下载器_Golang并发下载任务与性能优化

复用 http.client 可避免端口耗尽、dns 失效和 tls 重复开销；应显式构造共享 client 并配置 maxidleconns（100～500）、maxidleconnsperhost（≥host 数）、idleconntimeout（30s）。

为什么 http.Client 要复用而不是每次新建

并发下载时如果每个 goroutine 都新建 http.Client，会快速耗尽本地端口（TIME_WAIT 占满）、DNS 缓存失效、TLS 握手重复开销大。默认的 http.DefaultClient 已配置合理的连接池，但更稳妥的是显式构造一个共享的 http.Client，并设置 Transport 的 MaxIdleConns 和 MaxIdleConnsPerHost：

• MaxIdleConns 控制全局空闲连接总数，建议设为 100～500（取决于并发数）
• MaxIdleConnsPerHost 建议至少等于预期并发下载的 host 数量，比如批量下 cdn.example.com 和 api.example.com，就至少设为 20～50
• 不设置 IdleConnTimeout 容易导致连接长期空闲后被中间设备（如 NAT 网关）静默断开，建议设为 30s

如何用 sync.WaitGroup + chan 安全控制并发数

直接启动成百上千 goroutine 容易打爆内存或触发系统级限制（如文件描述符超限）。正确做法是用带缓冲的 chan Struct{} 做信号量，配合 sync.WaitGroup 等待全部完成：

sem := make(chan struct{}, 10) // 最多 10 个并发 var wg sync.WaitGroup <p>for _, url := range urls { wg.Add(1) go func(u string) { defer wg.Done() sem <- struct{}{}        // 获取令牌 defer func() { <-sem }() // 归还令牌（必须 defer，避免 panic 后漏归还） downloadFile(u) }(url) }</p><p>wg.Wait()

注意：不要用 runtime.GOMAXPROCS 来“加速”下载 —— I/O 密集型任务不靠更多 P，靠连接复用和合理并发度。

io.copy 比 io.ReadAll 更适合大文件下载

用 io.ReadAll(resp.Body) 会把整个响应体读进内存，下载 1GB 文件就占 1GB 内存；而 io.Copy 是流式写入，内存占用恒定在几 KB：

立即学习“go语言免费学习笔记（深入）”；

out, err := os.Create(filename) if err != nil {     return err } defer out.Close() <p>_, err = io.Copy(out, resp.Body) // 直接流式写入磁盘 resp.Body.Close()                 // 必须显式 close，否则连接无法复用

• 如果需要校验（如 SHA256），用 io.TeeReader 边读边算，避免二次读取
• 务必检查 io.Copy 返回的 Error，网络中断时它会返回 net.ErrClosed 或 io.ErrUnexpectedEOF
• 不要忽略 resp.Body.Close() —— 不关会导致连接永远滞留在 idle 状态，最终耗尽 MaxIdleConns

重试逻辑该加在哪里、怎么加才不放大失败

HTTP 层重试不能无脑套在 http.Get 外面，否则可能重复提交 POST 请求。下载场景只对幂等的 GET 请求做重试，且需限制次数与退避：

• 用 backoff.Retry（来自 github.com/cenkalti/backoff/v4）比手写 time.Sleep 更可靠
• 只重试特定错误：net.ErrTimeout、net.ErrTemporary、http.ErrUseLastResponse，不重试 404、403 等客户端错误
• 单个 URL 最多重试 3 次，指数退避起始 100ms，上限 2s
• 重试时要新建 *http.Request，不能复用旧 request（header 可能含过期 auth Token）

真正难处理的是部分下载（如服务端突然断连），这时得结合 Range header 和本地文件 Seek 续传 —— 这块逻辑容易出竞态，建议用现成库如 github.com/elliotchance/pie 或自己加文件锁。