流是分块处理数据的抽象结构,可节省内存、提升响应速度并支持背压;浏览器通过Readablestream、WritableStream和transformStream实现流式传输,如用fetch读取大文件并逐段处理;TransformStream可用于实时转换数据;node.js中stream模块广泛用于文件、http等场景,通过pipe方法高效复制大文件,避免内存溢出。

javaScript 中的流处理和数据传输是现代 Web 开发中实现高效数据操作的重要手段,尤其在处理大文件、实时通信或网络请求时尤为关键。它允许你以分块方式读取、转换和发送数据,而不是一次性加载全部内容,从而提升性能和响应速度。
什么是流(Stream)?
流是一种抽象的数据结构,用于按顺序、分批地处理数据。在 javascript 中,尤其是在浏览器和 Node.js 环境中,流被广泛用于处理 HTTP 请求、文件读写、音视频处理等场景。
流的核心优势在于:
- 节省内存:不需要将整个数据加载到内存中
- 更快响应:可以边接收边处理,无需等待完整数据
- 支持背压(backpressure):消费者可控制数据流动速度
浏览器中的流 API
现代浏览器提供了 ReadableStream、WritableStream 和 TransformStream 等原生 API,可用于处理网络数据流。
立即学习“Java免费学习笔记(深入)”;
例如,从 fetch() 获取一个可读流并逐段处理响应:
const response = await fetch('/large-file.txt'); const reader = response.body.getReader(); while (true) { const { done, value } = await reader.read(); if (done) break; // 处理每一小段数据 console.log(new TextDecoder().decode(value)); }
这种方式特别适合下载大文件、解析大型 json 或文本流,避免阻塞主线程。
使用 TransformStream 进行数据转换
当你需要在传输过程中修改数据时,TransformStream 非常有用。它可以连接可读流和可写流,并在中间进行处理。
Shop7z网上购物系统支持电脑版+手机版+支付宝及微信支付,支持QQ和微信一键登陆,系统集众家之所长,大气超美观页面+手机版+商品组合套餐+限时抢购秒杀+图片批量上传+淘宝数据包导入+弹出式分类菜单+不同规格不同价格+新订单邮件通知+销售报表打印与Excel输出+物流跟踪打印查询+会员积分及优惠券+邮件群发+图片在线管理+销售统计报表+五种价格体系+礼品礼券+微信公众号支付+扫码支付等等等。
2 比如,实时压缩或解码数据:
const transform = new TransformStream({ transform(chunk, controller) { // 对每个数据块做处理,例如添加前缀 controller.enqueue(`[processed] ${chunk}`); } }); // 将 fetch 流通过 transform 处理 const response = await fetch('/data.txt'); const processedReader = response.body .pipeThrough(new TextDecoderStream()) .pipeThrough(transform) .getReader(); while (true) { const { done, value } = await processedReader.read(); if (done) break; console.log(value); }
node.js 中的流操作
在 Node.js 中,stream 模块是核心模块之一,常见于文件系统、HTTP 服务器和子进程通信。
常见的流类型包括:
- Readable:可读流(如 fs.createReadStream)
- Writable:可写流(如 fs.createWriteStream)
- Duplex:双工流(既可读又可写)
- Transform:转换流(在写入前修改数据)
示例:复制大文件而不占满内存
const fs = require('fs'); const readStream = fs.createReadStream('input.mp4'); const writeStream = fs.createWriteStream('output.mp4'); readStream.pipe(writeStream); // 自动处理背压
这种 .pipe() 方法简洁高效,是 Node.js 流的经典用法。
基本上就这些。掌握流处理能显著提升你在处理大量数据或实时信息时的能力,无论是在前端还是后端。关键是理解“分块”思维,避免一次性加载全部数据。