io.Reader 和 io.Writer 是 go I/O 核心接口,分别定义 Read 和 Write 方法处理流式数据;需按块读写、检查错误、善用 io.copy 等封装,理解流的渐进性而非原子性。

Go 语言中 io.Reader 和 io.Writer 是处理数据流最基础、最通用的接口,它们不关心数据来自文件、网络、内存还是管道,只关注“怎么读”和“怎么写”。掌握它们,就掌握了 Go I/O 的核心逻辑。
理解 io.Reader:一次读一点,直到 EOF
io.Reader 只有一个方法:Read(p []byte) (n int, err Error)。它尝试把数据读进切片 p,返回实际读取的字节数 n 和可能的错误。
关键点:
- 不要假设一次
Read就能读完全部数据;它可能只读一部分(尤其在网络或管道场景) - 当返回
n == 0 && err == io.EOF,表示流已结束 - 常见实现包括
os.File、bytes.Reader、strings.Reader、http.Response.Body
推荐用 io.ReadFull 或 io.Copy 封装重复读取逻辑,而不是手写 for 循环判断 err == io.EOF。
理解 io.Writer:写入不保证立即落盘,记得检查错误
io.Writer 也只有一个方法:Write(p []byte) (n int, err error)。它尝试把切片 p 的内容写出去,返回实际写入字节数和错误。
注意:
立即学习“go语言免费学习笔记(深入)”;
- 写入成功不等于数据已持久化(比如写到
os.File可能还在内核缓冲区) - 务必检查
err—— 写满磁盘、连接断开、权限不足都会在这里报错 - 常见实现有
os.File、bytes.Buffer、os.Stdout、http.ResponseWriter
若需确保数据刷出,对支持的类型(如 *os.File)调用 Sync() 或 Close()。
Spark Streaming属于Spark的核心api,它支持高吞吐量、支持容错的实时流数据处理。它可以接受来自Kafka, Flume, Twitter, ZeroMQ和TCP Socket的数据源,使用简单的api函数比如 map, reduce, join, window等操作,还可以直接使用内置的机器学习算法、图算法包来处理数据。感兴趣的朋友可以过来看看
0 组合使用:io.Copy 是最常用的数据流搬运工
不用手动循环读写,io.Copy(dst io.Writer, src io.Reader) 会自动处理分块读取、写入、错误传递和 EOF 判断,高效又安全。
- 复制文件:
io.Copy(dstFile, srcFile) - 读取 HTTP 响应体到内存:
io.Copy(&buf, resp.Body) - 限制读取长度:
io.Copy(dst, io.LimitReader(src, 1024)) - 带进度回调?封装一个自定义
io.Writer,在Write中更新计数即可
进阶技巧:io.MultiReader、io.TeeReader、io.Pipe 灵活编排流
标准库提供多个辅助类型,让流操作更灵活:
-
io.MultiReader(r1, r2, ...):按顺序读多个 Reader,像拼接文件 -
io.TeeReader(r io.Reader, w io.Writer):读的同时镜像写入w(适合日志或调试) -
io.Pipe():返回*PipeReader和*PipeWriter,常用于 goroutine 间同步流(一端写,另一端读) - 需要缓冲?用
bufio.NewReader/bufio.NewWriter提升小数据读写效率
这些类型都实现了 io.Reader 或 io.Writer,可以无缝嵌套使用。
基本上就这些 —— 不复杂,但容易忽略细节。真正用好它们,靠的是理解“流是逐步发生的”,而不是“一气呵成”。