fgetcsv读取excel导出的CSV时因UTF-8 bom未自动剥离导致去重失效，需用ltrim($line, “xEFxBBxBF”)预处理；同时应清洗零宽字符、使用事务保证原子性，并借助ON DUPLICATE KEY UPDATE高效处理重复。
为什么 fgetcsv 读取 Excel 导出的 CSV 会多出 BOM 头导致去重失效
很多班级通信录是老师用 Excel 编辑后另存为 CSV 的，这类文件开头常带 UTF-8 BOM（xEFxBBxBF），但 fgetcsv 不自动剥离。结果同样是“张三”，一条是 "张三"，另一条是 "xEFxBBxBF张三"，用 array_unique 或数据库 UNIQUE 都判为不同。
实操建议：
立即学习“PHP免费学习笔记（深入）”；
- 读取每行前先用
ltrim($line, "xEFxBBxBF")去 BOM，别只依赖mb_convert_encoding - 用
hexdump -C file.csv | head -n1检查原始文件是否含 BOM（开头出现ef bb bf） - 如果用
str_getcsv处理单行，也要对字段逐个trim()+ltrim(..., "xEFxBBxBF")
用 INSERT ... ON DUPLICATE KEY UPDATE 还是先 select 再判断
班级通信录导入常见主键是学号或手机号，设为 UNIQUE 后，直接走 mysql 的冲突处理比 php 层查再插快得多，尤其批量超 50 条时。
实操建议：
立即学习“PHP免费学习笔记（深入）”；
- 建表时给
student_id或phone加UNIQUE索引，否则ON DUPLICATE KEY不生效 - SQL 示例：
INSERT INTO class_contact (student_id, name, phone) VALUES (?, ?, ?) ON DUPLICATE KEY UPDATE name=VALUES(name), phone=VALUES(phone) - 避免用
REPLACE INTO：它本质是删+插，会引发自增 ID 跳变、触发器重复执行 - 如果要记录“本次跳过几条重复数据”，可在 PHP 中捕获
mysqli_affected_rows()返回值：0 表示冲突更新（即原记录存在），1 表示新插入
PHP 数组去重时，array_unique 默认不比较中文字段？
array_unique 默认用 String 比较，对 UTF-8 中文没问题，但前提是所有字段已统一编码且无不可见字符（如全角空格、零宽空格）。班级名单里常混入从微信复制的姓名，带 xE2x80x8B（Zero Width Space）。
实操建议：
立即学习“PHP免费学习笔记（深入）”；
- 清洗字段时加一步：
preg_replace('/[x{200B}-x{200D}x{FEFF}]/u', '', $str)（移除常见零宽字符） - 用
array_unique($data, SORT_REGULAR)，别用SORT_STRING（后者会强制转字符串，可能把数字学号变成字符串再比，影响逻辑） - 调试时用
bin2hex($name)看实际字节，比肉眼判断更可靠
导入中途失败，怎么保证已入库数据不残留“半条记录”
班级通信录常含多个关联字段（如学生、班级、家长电话），如果用单条 INSERT 循环，某条因手机号格式错误中断，前面成功的就留在库中，下次重跑又重复——这不是去重问题，是事务缺失。
实操建议：
立即学习“PHP免费学习笔记（深入）”；
- 整个导入过程包在
mysqli_begin_transaction()+try/catch里，失败则rollback() - 不要在循环里逐条
commit，等全部验证通过再commit() - 若必须分批（比如 500 条一批），每批独立事务，并记录最后成功导入的
student_id到临时表，供断点续传用
真正麻烦的不是重复本身，而是“看起来去重了，其实因编码/空白/事务问题漏掉了某些重复场景”。每次上线前，拿含 BOM、带零宽空格、手机号中间有空格的测试文件跑一遍，比写十遍逻辑更管用。