Go语言如何实现文件压缩解压_Golang工具项目

9次阅读

go用archive/zip压缩文件打不开,主因是header.Name未转义路径分隔符(需将替换为/)、未调用zipWriter.Close()致EOCD缺失;解压时须用filepath.Clean校验路径防穿越;大文件需流式处理避免内存溢出。

Go语言如何实现文件压缩解压_Golang工具项目

Go 语言用 archive/zip 压缩文件时,为什么生成的 zip 打不开?

常见原因是没正确设置 zip.FileHeader.Name,或忽略了路径分隔符转换。windows 下路径是 ,而 ZIP 规范强制要求使用 /。直接写入本地路径会导致解压失败或目录结构错乱。

  • 必须将文件路径中的 替换为 /,再赋给 header.Name
  • 若压缩的是目录,需手动遍历(filepath.WalkDir),对每个文件调用 zipWriter.CreateHeader
  • 别忘了调用 zipWriter.Close() —— 否则 zip 文件末尾缺少 EOCD(End of Central Directory)记录,绝大多数解压工具会报“损坏”
fh, _ := zip.FileInfoHeader(fi) fh.Name = strings.ReplaceAll(filePath, "\", "/") // 关键 fh.Name = strings.TrimPrefix(fh.Name, basePath+"/") w, _ := zw.CreateHeader(fh) io.copy(w, f)

解压 zip 到指定目录时,如何防止路径穿越(path traversal)攻击?

用户提供的 zip 包可能包含恶意路径如 ../../../etc/passwd,直接用 header.Name 创建文件会覆盖系统关键位置。必须做白名单校验。

  • filepath.Clean(header.Name) 归一化路径
  • 检查归一化后路径是否仍以目标解压根目录为前缀(用 strings.HasPrefix + filepath.ToSlash 统一分隔符)
  • 拒绝任何含 ".." 或以 "/" 开头的 Name
cleanName := filepath.Clean(header.Name) if strings.Contains(cleanName, "..") || strings.HasPrefix(cleanName, "/") {     return fmt.Errorf("illegal path: %s", header.Name) } dstPath := filepath.Join(destDir, cleanName) if !strings.HasPrefix(filepath.ToSlash(dstPath), filepath.ToSlash(destDir)+"/") {     return fmt.Errorf("escaping from target dir: %s", header.Name) }

需要同时支持 tar.gz 和 zip,该选 archive/tar 还是第三方库?

Go 标准库已完整支持 archive/tar + compress/gzip 组合,无需引入外部依赖。但要注意:tar 本身不压缩,gzip 是外层封装,解压时要先 gzip.NewReader,再传给 tar.NewReader

  • archive/zip 是单库全功能;archive/tar 必须搭配 compress/* 子包使用
  • tar.gz 解压比 zip 略快(无中央目录解析开销),但 zip 支持随机访问单个文件,tar 需顺序扫描
  • 若项目需跨平台兼容性(尤其 windows 用户双击解压),zip 更稳妥;若面向 linux 服务器批量归档,tar.gz 更轻量

文件压缩卡住或内存爆掉,怎么流式处理?

别把整个文件读进 []byte 再写入 zip —— 这会让内存占用飙升到文件大小的 2–3 倍。所有操作必须基于 io.Reader / io.Writer 流式完成。

立即学习go语言免费学习笔记(深入)”;

  • 压缩时:用 os.Open 获取 *os.File,直接 io.Copy(zipWriter, file)
  • 解压时:从 zip.File.Open() 拿到 io.ReadCloser,同样流式写入目标文件
  • 对超大文件(>1GB),可加 bufio.Writer 提升写入效率,但注意别在 zip 内部嵌套缓冲(标准库已优化)

真正容易被忽略的是错误传播:流式操作中任一环节出错(如磁盘满、权限不足),必须立刻中断并清理已创建的临时文件,否则留下残缺 zip 或空目录。

text=ZqhQzanResources