本文介绍在 go 中构建高性能流媒体缓存代理的核心方法，重点解决多客户端并发读取、写入阻塞、缓冲区延迟及慢客户端处理等关键问题，通过非阻塞通道、连接级超时、goroutine 池与内存安全复用等技术实现低延迟、高并发的流分发。
构建一个健壮的视频流缓存代理，核心挑战在于：既要避免单个慢客户端拖垮全局流分发，又要保证数据一致性、低延迟与内存安全。你最初的同步 Write 方案会因 TCP 写缓冲区满而阻塞整个循环；简单加 goroutine 会导致无序、资源失控；而固定大小 channel（如 buf_chan）在慢客户端下仍会因缓冲区填满而阻塞写入——这正是 select 非阻塞发送（default 分支）能破局的关键。
✅ 推荐架构：带背压控制的“读-缓存-分发”三层模型
type streamCache struct { mu sync.RWMutex clients map[*client]struct{} // 使用 map 替代 slice，O(1) 增删 bufPool sync.Pool // 复用缓冲区，避免 GC 压力 } func (sc *StreamCache) NewClient(conn net.Conn) *client { c := &client{ conn: conn, bufChan: make(chan []byte, 32), // 容量适中：兼顾延迟与内存 closed: make(chan struct{}), } sc.mu.Lock() sc.clients[c] = struct{}{} sc.mu.Unlock() // 启动独立 writer goroutine（每客户端一个） go c.writer() return c } func (sc *StreamCache) Stream(source io.Reader) { // 复用缓冲区提升性能 buf := sc.bufPool.Get().([]byte) defer sc.bufPool.Put(buf) for { n, err := source.Read(buf) if err != nil { log.Printf("stream read error: %v", err) break } // 广播到所有活跃客户端（非阻塞） sc.mu.RLock() for client := range sc.clients { select { case client.bufChan <- append(buf[:0:n], buf[:n]...):>⚠️ 关键设计说明与注意事项
- sync.Pool 缓冲区复用：视频流频繁分配大 buffer（如 32KB）会显著增加 GC 压力。sync.Pool 可将 []byte 复用，大幅降低内存分配开销。
- append(buf[:0:n], ...) 安全复制：避免多个 client 共享同一底层数组导致数据覆盖。buf[:0:n] 清空 slice 长度但保留容量，append 创建新底层数组副本（仅当容量不足时），兼顾性能与安全。
- select { case ：不阻塞主分发循环，及时剔除不可靠客户端，保障整体流稳定性。
- 每个 client 独立 writer goroutine：解耦读/写逻辑，天然支持不同客户端不同速率；配合 SetWriteDeadline 实现可控超时，而非粗暴 1ms 导致丢帧。
- map 管理客户端：相比 []*client，map 支持 O(1) 删除，避免遍历时因 append 引发的 slice 扩容或迭代器失效问题。
- 优雅关闭：closed channel 用于通知 writer 退出，避免 goroutine 泄漏。
? 不推荐的模式（避坑提醒）
- ❌ 直接在 stream() 中调用 conn.Write() —— 单点阻塞，全链路瘫痪。
- ❌ 全局 mutex 锁住所有 client 写操作 —— 严重串行化，吞吐归零。
- ❌ 无限大 channel（如 make(chan []byte, 1e6)）—— 内存爆炸，OOM 风险极高。
- ❌ 忽略 io.EOF 或 net.ErrClosed 等错误直接 log.Fatal —— 服务不可用。
✅ 进阶优化方向
- 使用 io.CopyBuffer + 自定义 io.Reader 实现零拷贝缓存（需结合 mmap 或 ring buffer）。
- 引入 golang.org/x/net/http2 或 QUIC 支持多路复用，减少连接数。
- 集成 prometheus 指标监控各 client 延迟、丢包率、buffer 积压量。
- 对高频请求路径（如热门视频）启用磁盘缓存（os.File + syscall.ReadAt）。
通过以上设计，你将获得一个可生产部署的流缓存代理骨架：它不依赖第三方包，完全基于 Go 标准库，兼具高性能、可观测性与强健性。