首先通过filepath.Walk遍历目录收集文件，再利用goroutine并发处理，结合sync.WaitGroup和channel控制并发数，并封装错误处理函数确保单个文件失败不影响整体流程。
在golang中实现文件批量处理功能，核心在于结合文件系统操作、并发控制和错误处理。通过os、filepath、io/ioutil等标准库，可以高效遍历目录并处理多个文件。以下是具体实现思路与示例。
遍历指定目录下的所有文件
使用filepath.Walk递归遍历目录，对每个文件执行指定操作。
示例代码：
var files []string err := filepath.Walk("data/", func(path string, info os.FileInfo, err error) error { if err != nil { return err } if !info.IsDir() { files = append(files, path) } return nil })
并发处理多个文件提升效率
对于I/O密集型任务（如读取、转换、上传），使用goroutine并发处理能显著缩短总耗时。
立即学习“go语言免费学习笔记（深入）”；
- 为每个文件启动一个goroutine进行独立处理
- 使用
sync.WaitGroup等待所有任务完成 - 通过带缓冲的channel控制并发数量，避免资源耗尽
示例结构：
semaphore := make(chan struct{}, 10) // 最大10个并发 var wg sync.WaitGroup <p>for _, file := range files { wg.Add(1) go func(f string) { defer wg.Done() semaphore <- struct{}{} defer func() { <-semaphore }()</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;"> processFile(f) // 具体处理逻辑 }(file)
} wg.Wait()
统一处理逻辑与错误恢复
定义通用处理函数，并对每个文件的操作做错误捕获，保证批处理流程不因单个文件失败而中断。
- 将文件处理逻辑封装成独立函数，接收文件路径参数
- 在goroutine内部使用defer+recover防止panic扩散
- 记录失败文件路径及错误信息，便于后续排查
例如：
func processFile(path string) error { data, err := os.ReadFile(path) if err != nil { log.Printf("读取失败 %s: %v", path, err) return err } // 处理数据... return nil }
基本上就这些。只要合理组织遍历、并发和错误处理，就能构建稳定高效的批量文件处理器。实际应用中可根据需求加入进度显示、结果汇总或输出到新目录等功能，结构清晰且易于扩展。