如何用Golang实现数据导入导出工具_Golang数据处理实战

用encoding/csv需手动映射列名防错位；mysql批量导入优先用预处理多值INSERT并分事务；excel读写须处理类型转换与空值；jsON导出要区分零值与空值，关键字段禁用omitempty。

用 encoding/csv 读写 CSV 文件时字段顺序容易错乱

go 的 csv.Reader 和 csv.Writer 默认不校验字段名，直接按行切片处理。如果源文件头行顺序和结构体字段声明顺序不一致，csv.Decode 会静默错位赋值，导致数据错乱且无报错。

• 务必用 csv.NewReader + 手动读取首行（reader.Read()），再通过 map[String]int 建立列名→索引映射
• 解析每行时，用映射查列名对应位置，再赋值给结构体字段，避免依赖结构体字段顺序
• 导出时用 structtag（如 csv:"user_id"）配合反射提取字段名，但注意：反射开销大，高频导出建议预生成字段名列表和 getter 函数

MySQL 批量导入用 LOAD DATA INFILE 还是 INSERT ... VALUES (...), (...)

本地开发用 LOAD DATA INFILE 很快，但生产环境常被禁用（MySQL 配置 secure_file_priv 限制路径，且需文件在服务端）。实际更可靠的是拼接多值 INSERT，但要注意长度和事务控制。

• 单条 INSERT 最多带 1000 行（MySQL 默认 max_allowed_packet 约 4MB，按每行 2KB 估算），超限会报 Error 1153 (0x...): Got a packet bigger than 'max_allowed_packet' bytes
• 用 sql.DB.Prepare + stmt.Exec 批量执行比拼 SQL 字符串更快，也防注入；但注意 Go 的 database/sql 不原生支持多值占位符，需手动构造 (?, ?, ?), (?, ?, ?) 部分
• 每 500–1000 行 commit 一次事务，避免长事务锁表或 OOM

Excel 导入导出别硬啃 excelize 的 API 细节

excelize 功能全但接口偏底层：读 Excel 要自己遍历 sheet、row、cell；写的时候要反复调 SetCellValue。真正卡点不是功能，而是类型转换和空值处理。

• 读取时，f.GetSheetList() 后对每个 sheet 调 f.GetSheetRow() 比 f.GetRows() 更稳——后者对合并单元格、空行行为不一致
• 单元格值默认是 Interface{}，可能是 string、float64 或 time.Time，必须用 f.GetCellValue(sheet, ref) 并根据 Excel 类型码（f.GetCellType）判断后再转，不能直接 fmt.Sprintf("%v")
• 导出时间字段务必调 f.SetColWidth 并用 f.SetCellStyle 设为日期格式（"yyyy-mm-dd"），否则 Excel 打开显示为数字

json 导出嵌套结构时忽略空字段却漏掉零值字段

json.Marshal 的 omitempty 标签只跳过空值（""、0、false、nil），但业务中“数量为 0”和“未填写数量”语义不同，不能一并忽略。

立即学习“go语言免费学习笔记（深入）”；

• 不要全用 omitempty，对关键数值字段（如 Amount int `json:"amount"`）去掉该 tag
• 需要区分“空”和“零”的场景，改用指针字段：Amount *int `json:"amount,omitempty"`，这样 nil 不出现，&0 显式输出 0
• 导出前统一做一次 json.RawMessage 预处理，可拦截并修正特殊字段（如把 CreatedAt 时间转为秒级时间戳），比全局自定义 marshaler 更轻量

字段映射逻辑、批量事务边界、类型安全转换——这些地方不写注释，半年后你自己都得重读三遍代码才能改对。