php动态网站开发怎样批量插入数据_PHP动态网站批量写入法【教程】

2次阅读

批量插入数据应避免循环单条INSERT,推荐单语句多值INSERT或事务+预处理;注意行数限制、字段顺序、sql注入防护;禁用autocommit和调整innodb_flush_log_at_trx_commit可显著提升性能。

php动态网站开发怎样批量插入数据_PHP动态网站批量写入法【教程】

批量插入数据不是靠循环 INSERT INTO 一条条执行,那样既慢又容易超时或锁表——正确做法是用单条 INSERT 语句拼多行值,或借助事务+预处理提升吞吐量。

用 INSERT … VALUES 多值语法一次性写入

这是最直接、兼容性最好、性能提升最明显的办法。mysql 支持在一条 INSERT 语句里写入多组 (?, ?, ?)php 只需拼好 SQL 和参数即可。

注意点:

  • 单次不宜超过 1000 行(MySQL 默认 max_allowed_packet 通常为 4MB,实际受字段长度影响)
  • 字段顺序必须和 VALUES 中每组值严格对应
  • 字符串值要预先用 mysqli_real_escape_string() 或更推荐的预处理方式防注入,不能直接拼接

示例(使用 mysqli 面向对象):

立即学习PHP免费学习笔记(深入)”;

$values = []; $params = []; foreach ($dataList as $row) {     $values[] = '(?, ?, ?)';     $params[] = $row['name'];     $params[] = $row['email'];     $params[] = $row['created_at']; } $sql = "INSERT INTO users (name, email, created_at) VALUES " . implode(', ', $values); $stmt = $mysqli->prepare($sql); $stmt->bind_param(str_repeat('ssi', count($dataList)), ...$params); // 注意类型串要匹配 $stmt->execute();

用事务包裹多次 execute 提升 pdo 批量效率

当数据量极大(如 10 万+)、或需要兼容不支持多值 INSERT 的旧版 MySQL 时,关闭自动提交 + 手动事务 + 单条预处理反复 execute 是更稳妥的选择。

关键控制点:

  • 务必调用 $pdo->beginTransaction() 开启事务,失败后 rollback()
  • 预处理语句只准备一次,execute() 可反复调用,避免重复解析开销
  • 每 500–1000 条 commit() 一次,防止事务日志过大或锁等待过长
  • 禁用 PDO::ATTR_AUTOCOMMIT,否则每次 execute 都隐式提交

片段示意:

$pdo->setAttribute(PDO::ATTR_AUTOCOMMIT, false); $stmt = $pdo->prepare("INSERT INTO logs (level, message, time) VALUES (?, ?, ?)"); $pdo->beginTransaction(); foreach ($logs as $log) {     $stmt->execute([$log['level'], $log['message'], $log['time']]);     if ($i % 500 === 0) {         $pdo->commit();         $pdo->beginTransaction();     } } $pdo->commit();

避免 file_get_contents + LOAD DATA INFILE 的常见误用

虽然 LOAD DATA INFILE 是 MySQL 最快的导入方式,但它在 PHP 动态网站中几乎不可用:

  • PHP 进程通常没权限读取服务器本地文件(secure_file_priv 限制)
  • Web 用户上传的 csv 文件默认存在临时目录,路径不可控且很快被删
  • 该命令不走 PHP 的连接权限体系,需额外赋予 FILE 权限,安全风险高
  • 无法对每行数据做逻辑校验或转换(比如过滤敏感词、补默认值)

除非你完全控制服务器环境、且数据源可信、且对速度极端敏感,否则别在 Web 请求中尝试这个方案。

大批量写入时必须关掉的两个东西

不关它们,插入速度可能掉一半以上,尤其在有索引或外键的表上:

  • innodb_flush_log_at_trx_commit=2:改为 2(仅刷 OS 缓存,不强制磁盘 fsync),可大幅提升 TPS;但断电可能丢 1 秒数据 —— 日志类、统计类场景可接受
  • autocommit=0:已在前文强调,但很多人只关 PHP 层,忘了确认 MySQL 会话级是否生效:select @@autocommit;

临时修改(当前连接有效):

$mysqli->query("SET autocommit = 0"); $mysqli->query("SET innodb_flush_log_at_trx_commit = 2");

真正难的不是拼 SQL,而是判断哪部分该校验、哪部分可跳过、哪条语句该拆分、以及出错后怎么回滚到精确位置——这些没法靠模板解决,得看具体业务约束。

text=ZqhQzanResources