SQL 如何检测重复数据？

最直接找重复行的方法是GROUP BY+HAVING：按疑似重复字段分组，用HAVING COUNT(*)>1筛选重复组；若需列出所有重复行，可用ROW_NUMBER()窗口函数标记并过滤rn>1的记录。

用 GROUP BY + HAVING 找出重复的行

最直接的办法是把可能重复的字段组合起来分组，再统计每组出现次数。只要数量大于 1，就是重复数据。

• GROUP BY 后面跟的是你怀疑会重复的列，比如 email、user_id 或多个字段组合（如 first_name, last_name）
• HAVING COUNT(*) > 1 是关键：它在分组后过滤，只保留重复组；WHERE 不能用在这里，因为它在分组前执行
• 如果想看具体哪些行重复，可以再用子查询或 JOIN 关联原表，否则 GROUP BY 只返回每组一条汇总结果

示例：查出所有重复的邮箱

SELECT email, COUNT(*) AS cnt FROM users GROUP BY email HAVING COUNT(*) > 1;

用窗口函数 ROW_NUMBER() 标记重复记录

当你要完整列出所有重复行（包括区分“第几次出现”），ROW_NUMBER() 比 count() 更灵活。它按指定顺序给每行编号，相同值的行会得到不同序号，方便筛选或去重。

• 必须配合 PARTITION BY 使用，分区字段就是你判断重复的依据（如 email）
• ORDER BY 在每个分区内决定编号顺序，建议用主键或时间字段，避免结果不稳定
• 重复行的 ROW_NUMBER() 值会是 2、3、4… 所以 WHERE rn > 1 就能选出所有“非首次出现”的重复行

示例：标记并查出所有重复邮箱的后续记录

SELECT * FROM (   SELECT *,          ROW_NUMBER() OVER (PARTITION BY email ORDER BY id) AS rn   FROM users ) t WHERE t.rn > 1;

用 EXISTS 或 IN 快速判断某条记录是否重复

如果你只是想校验单条记录（比如插入前检查），没必要扫全表。用 EXISTS 效率更高，尤其有索引时。

• EXISTS 只要找到一条匹配就返回 true，不遍历全部；IN 遇到 NULL 或子查询结果为空时行为易出错，优先选 EXISTS
• 确保被查字段（如 email）上有索引，否则即使语句对，性能也会骤降
• 注意 WHERE 条件里别漏掉排除自身的逻辑，比如插入新用户时，要排除 id != ? 这类条件，否则自己总会“查到自己”

示例：检查邮箱 ‘test@example.com’ 是否已存在（且不是当前正在编辑的用户）

SELECT EXISTS (   SELECT 1 FROM users    WHERE email = 'test@example.com'      AND id != 123 ) AS is_duplicate;

唯一约束比查询更可靠，但无法回溯历史重复

靠 sql 查询找重复，本质是补救。真正防重复，得靠数据库层约束。不过加约束前必须先清理已有重复，否则会失败。

• ALTER table users ADD CONSTRAINT uk_email UNIQUE (email) 是最常用方式；mysql 中叫 UNIQUE KEY，postgresql 和 SQL Server 类似
• 如果字段允许 NULL，多数数据库认为多个 NULL 不违反唯一约束——这点常被忽略，导致“看似加了约束，还是插进去了多条空邮箱”
• 复合唯一约束（如 (category_id, sort_order)）很常见，但要注意字段顺序和索引效率，尤其是高并发写入场景

加约束前务必先跑一遍 GROUP BY 查重，不然 ALTER TABLE 会直接报错中断。