PHP创建文件如何分块写入_处理超大文件的分段写入【操作】

php写入超大文件需分块写入而非一次性fwrite，否则内存溢出被系统kill；每次写1–8mb并fflush()确保os缓冲区刷新，避免依赖fclose()，错误时用ftell()定位断点。

PHP写入超大文件为什么不能直接 fwrite()

内存会爆。哪怕你用 fopen(..., 'w') 打开，fwrite() 一次性塞几百MB数据进去，PHP进程很可能被系统 kill——尤其是 CLI 模式下 memory_limit 未调高时。真实场景里，导出千万行 CSV、拼接 TB 级日志、生成备份镜像，都得靠分块写入。

核心原则就一条：每次只往文件句柄里写一个合理大小的数据块（比如 1–8 MB），写完立即 fflush()，不累积到内存。

• 块大小不是越大越好：8 MB 是多数 linux 文件系统单次 write 的友好上限，再大可能触发内核缓冲区等待
• 别依赖 fclose() 自动刷盘：它只保证句柄关闭，不保证磁盘落盘；fflush() 才强制把 PHP 缓冲区内容推给 OS
• 如果目标是追加写（如日志），务必用 'a' 或 'ab' 模式打开，否则 fseek() 错位或覆盖已有内容

用 fwrite() 分块写入的最小可靠写法

以下代码能扛住 GB 级写入，且不崩内存：

$fp = fopen('/path/to/bigfile.dat', 'wb'); if (!$fp) {     throw new RuntimeException('Cannot open file for writing'); } <p>$data_source = /<em> 你的数据生成器，例如 PDOStatement::fetch() 或 yield from file() </em>/; $chunk_size = 4 <em> 1024 </em> 1024; // 4MB</p><p>while ($chunk = get_next_chunk($data_source, $chunk_size)) { $written = fwrite($fp, $chunk); if ($written === false || $written !== strlen($chunk)) { throw new RuntimeException('Write failed or partial write'); } fflush($fp); // 关键：立刻刷到 OS 缓冲区 }</p><p>fclose($fp);

• get_next_chunk() 必须按需拉取，不能提前把全部数据 load 到数组里
• 二进制模式 'wb' 避免 windows 下 n 被误转成 rn
• strlen($chunk) 和 $written 必须严格比对——部分写入在 NFS 或满磁盘时真会发生

遇到 fwrite(): Write of X bytes failed 怎么办

这个错误不是 PHP bug，而是底层 write(2) 系统调用返回失败，常见于：

立即学习“PHP免费学习笔记（深入）”；

• 磁盘空间不足（df -h 看一下）
• 用户配额超限（quota -u $USER）
• 文件系统只读（mount | grep $(df . | tail -1 | awk '{print $1}')）
• NFS 服务端中断或网络抖动（此时 fwrite() 可能卡住几秒后报错）

应对策略不是重试，而是立刻检查 error_get_last() 并记录上下文：

$result = fwrite($fp, $chunk); if ($result === false) {     $err = error_get_last();     error_log(sprintf('fwrite failed at offset %d: %s', ftell($fp), $err['message']));     throw new RuntimeException('Disk I/O error'); }

注意：ftell($fp) 在失败时仍有效，能帮你定位断点位置，方便后续续传。

想边写边压缩？别用 gzencode() 全量处理

对超大文件实时压缩，必须用流式方式，否则内存爆炸。PHP 原生支持 zlib:// 封装协议：

$fp = fopen('compress.zlib://'.realpath('/path/to/out.gz'), 'wb'); // 后续 fwrite() 写入的就是自动压缩后的内容 fwrite($fp, $chunk); fflush($fp);

• 路径必须用 realpath()，因为 compress.zlib:// 不支持相对路径
• 该方式等价于用 gzopen() + gzwrite()，但更简洁；压缩级别默认为 Z_DEFAULT_COMPRESSION
• 不要混用：不能对已打开的普通 fopen() 句柄再套 zlib，必须从打开阶段就指定协议

分块写入本身不关心内容是否压缩，关键在于“每次只喂一小口”，让 PHP 和 OS 都能喘气。真正容易被忽略的是：flush 时机、错误后的位置追踪、以及压缩协议对路径的苛刻要求。