Golang二进制文件读写的常见做法

os.ReadFile 和 os.WriteFile 是 go 1.16+ 推荐的二进制文件读写方式，封装了底层操作，简洁安全，适合中小文件场景。

Go 中 os.ReadFile 和 os.WriteFile 足够应付大多数场景

这两个函数是 Go 1.16+ 推荐的二进制文件读写方式，底层封装了 os.Open + io.ReadAll 和 os.Create + io.Write，简洁且不易出错。适合中小文件（通常

• os.ReadFile 返回 []byte 和 Error，不支持偏移/分块读取
• os.WriteFile 默认覆写，权限需显式传入（如 0644），不是系统 umask 衍生值
• 若文件不存在，WriteFile 会自动创建；但目录不存在会报 no such file or Directory

data, err := os.ReadFile("config.bin") if err != nil {     log.Fatal(err) } // 修改后写回 err = os.WriteFile("config.bin", data[:1024], 0644) if err != nil {     log.Fatal(err) }

大文件必须用 os.Open + io.ReadFull 或 bufio.Reader

直接 ReadFile 加载几 GB 文件会触发 OOM。此时应流式处理：打开文件句柄，按需读取固定大小的 []byte 缓冲区。

• io.ReadFull 保证读满指定长度（除非 EOF 或 error），比 Read 更可控
• 用 make([]byte, 4096) 分配缓冲区比每次 make 更省 GC 压力
• bufio.Reader 适合含结构化边界（如换行、分隔符）的二进制流，但纯二进制无分隔时反而增加不确定开销

f, err := os.Open("huge.bin") if err != nil {     log.Fatal(err) } defer f.Close()  buf := make([]byte, 8192) for {     n, err := io.ReadFull(f, buf)     if err == io.EOF || err == io.ErrUnexpectedEOF {         // 处理最后不足 buf 长度的片段         process(buf[:n])         break     }     if err != nil {         log.Fatal(err)     }     process(buf[:n]) }

unsafe.Slice（Go 1.20+）可避免部分 []byte 拷贝，但要小心生命周期

当你要把一段已存在的内存（比如 C 函数返回的指针、mmap 映射区域）转成 Go 的 []byte，又不想拷贝数据，unsafe.Slice 是安全替代 unsafe.SliceHeader 的方式。

• 必须确保原始指针指向的内存**在 Slice 使用期间持续有效**，否则出现静默错误或 panic
• 不能用于 os.ReadFile 返回的切片——它本身已分配好，再套一层没意义
• 常见于与 C 交互（C.GoBytes 已拷贝，C.GoBytes 不适用）或 mmap 场景

// 假设 ptr 来自 syscall.Mmap，且 len 已知 data := unsafe.Slice((*byte)(ptr), int(len)) // 后续使用 data，但 ptr 对应内存不能被 munmap 或释放

写入时注意 fsync 和临时文件原子性

直接 WriteFile 或 Write 后不 fsync，进程崩溃或断电可能导致文件内容丢失或截断。生产环境关键数据必须显式刷盘。

立即学习“go语言免费学习笔记（深入）”；

• file.Sync() 刷数据和元数据；file.Sync() 比 file.Close() 更可靠（后者不保证 sync）
• 用临时文件 + os.Rename 实现原子写入：先写 xxx.tmp，再重命名为目标名（同分区下是原子操作）
• os.WriteFile **不调用 fsync**，也不支持临时文件语义，高可靠性场景必须绕过它

f, _ := os.Create("data.bin.tmp") f.Write(data) f.Sync() // 关键 f.Close() os.Rename("data.bin.tmp", "data.bin")

直接操作文件描述符（syscall / unix 包）或 mmap 写入属于边缘需求，多数服务不需要。真正容易被忽略的是：**os.WriteFile 的权限参数不是掩码，而是精确模式；且没有 fsync，也没有原子性保障**。这两点在配置文件热更新或日志归档中常引发线上问题。