本文介绍了如何使用 golang 的 net/http 包处理大文件上传，重点讲解了如何应对客户端发送 Expect: 100 continue 请求的情况，以及如何使用 ParseMultipartForm 函数高效地处理上传的文件数据，并提供前端示例代码，帮助开发者实现完整的大文件上传功能。
使用 net/http 处理大文件上传
在构建 Web 服务器时，处理大文件上传是一个常见的需求。golang 的 net/http 包提供了基础的 HTTP 服务功能，但直接处理大文件上传可能面临一些问题，例如内存占用过高、处理效率低下等。本文将介绍一种使用 net/http 包和 ParseMultipartForm 函数处理大文件上传的有效方法。
理解 Expect: 100 Continue
当客户端上传大文件时，可能会发送 Expect: 100 Continue 请求头。这意味着客户端希望在发送完整的文件数据之前，先确认服务器是否愿意接受请求。如果服务器返回 100 Continue 状态码，客户端才会继续发送文件数据。
Golang 的 net/http 包默认会自动处理 Expect: 100 Continue 请求，并在请求处理完成后发送响应。如果我们需要自定义处理流程，例如在接收到所有数据后才发送响应，就需要采取一些额外的措施。
立即学习“go语言免费学习笔记（深入）”；
使用 ParseMultipartForm 解析请求
ParseMultipartForm 函数是处理 multipart/form-data 类型的请求的关键。该函数会将请求体解析为多个部分，包括表单字段和文件数据。ParseMultipartForm 函数的签名如下：
func (r *Request) ParseMultipartForm(maxMemory int64) error
maxMemory 参数指定了在内存中存储文件数据的最大字节数。超出此限制的文件数据将被存储在磁盘上的临时文件中。
以下是一个使用 ParseMultipartForm 函数处理文件上传的示例：
import ( "fmt" "io/ioutil" "net/http" ) func handler(w http.ResponseWriter, r *http.Request) { // 设置最大内存限制为 1MB，超出部分存储在磁盘 err := r.ParseMultipartForm(1000000) if err != nil { http.Error(w, err.Error(), http.StatusInternalServerError) return } // 获取文件数据 files := r.MultipartForm.File for key, headers := range files { // 遍历所有上传的文件 for _, header := range headers { // 打开文件 file, err := header.Open() if err != nil { http.Error(w, err.Error(), http.StatusInternalServerError) return } defer file.Close() // 读取文件内容 fileData, err := ioutil.ReadAll(file) if err != nil { http.Error(w, err.Error(), http.StatusInternalServerError) return } // 在这里处理文件数据，例如保存到磁盘或进行其他操作 fmt.Printf("File Key: %s, Filename: %s, Size: %d bytesn", key, header.Filename, len(fileData)) // 返回成功响应 w.WriteHeader(http.StatusOK) fmt.Fprintln(w, "File uploaded successfully!") } } } func main() { http.HandleFunc("/upload", handler) fmt.Println("Server listening on port 8080") http.ListenAndServe(":8080", nil) }
在这个示例中，ParseMultipartForm 函数被调用，并设置了 1MB 的内存限制。然后，我们遍历 r.MultipartForm.File 获取上传的文件数据，并读取文件内容。最后，我们可以对文件数据进行处理，例如保存到磁盘或进行其他操作。
前端示例
以下是一个使用 javaScript 实现文件上传的前端示例：
<!DOCTYPE html> <html> <head> <title>File Upload</title> </head> <body> <input type="file" id="fileInput"> <button onclick="uploadFile()">Upload</button> <script> function uploadFile() { const fileInput = document.getElementById('fileInput'); const file = fileInput.files[0]; if (!file) { alert('Please select a file.'); return; } const url = '/upload'; // 上传接口地址 const data = new FormData(); data.append('file', file); // 'file' 是后端接收文件的 key fetch(url, { method: 'POST', // 或者 'PUT' body: data, }) .then(response => { if (response.ok) { return response.text(); } else { throw new Error('Upload failed: ' + response.statusText); } }) .then(result => { alert(result); }) .catch(error => { alert(error.message); }); } </script> </body> </html>
在这个示例中，我们使用 FormData 对象将文件数据添加到请求体中，并使用 fetch 函数发送 POST 请求。
注意事项
- 内存限制： maxMemory 参数需要根据服务器的可用内存和上传文件的大小进行调整。如果设置过小，可能会导致频繁的磁盘 I/O，降低性能。
- 错误处理： 在处理文件上传时，需要充分考虑各种错误情况，例如文件打开失败、读取失败等。
- 安全性： 需要对上传的文件进行安全检查，防止恶意文件上传。
- 文件存储： 选择合适的文件存储方式，例如本地磁盘、对象存储服务等。
总结
本文介绍了如何使用 Golang 的 net/http 包和 ParseMultipartForm 函数处理大文件上传。通过合理地设置内存限制、处理错误和进行安全检查，我们可以构建一个高效、安全的大文件上传服务。同时，前端代码示例展示了如何将文件数据发送到后端进行处理。