最常用、最可靠的查重复方法是用 GROUP BY 配合 HA VING COUNT(*) > 1,但必须确保 GROUP BY 字段组合准确反映业务意义上的重复定义;COUNT() 必须用于计数,不可用 COUNT(字段) 替代,否则会忽略 NULL 导致漏判。

直接说结论:用 GROUP BY 配合 HA VING COUNT(*) > 1 是最常用、最可靠的查重复方法,但必须注意字段组合的语义是否真代表“业务意义上的重复”。
为什么 HA VING COUNT(*) > 1 能定位重复组
道理其实很简单。当你用 GROUP BY 对某些字段进行分组后,每一组就对应一个由这些字段决定的唯一“键”。COUNT(*) 统计的,正是这个键下面有多少行数据。只要这个数字大于1,那就意味着有多行数据在你指定的字段上完全一致——这不就是你定义的“重复”吗?
不过,这里有个常见的坑:很多人只按单个字段(比如光看 email)去分组,却忽略了业务上判定重复的往往是多个字段的组合(比如 姓名 + 电话 + 身份证号)。
- 所以,必须把所有参与判重的字段都写进
GROUP BY子句,一个都不能少。 - 另外要记住,
HA VING是对分组后的结果进行过滤,不能用WHERE替代,因为WHERE在分组前执行,根本访问不到COUNT(*)的结果。 - 最后,如果表的数据量很大,别忘了给
GROUP BY涉及的字段建立联合索引,否则分组操作可能会引发全表扫描,性能堪忧。
查出重复数据本身,不只是分组摘要
用 GROUP BY + HA VING 查出来的,只是分组的摘要信息(比如重复的邮箱和出现的次数),看不到具体是哪几条原始记录重复了。要想看到“元凶”,还得借助子查询或者窗口函数。
一个比较直观的方法是使用 IN 子查询关联回原表:
SELECT * FROM users WHERE (email, name) IN ( SELECT email, name FROM users GROUP BY email, name HA VING COUNT(*) > 1 );
这里需要注意:(email, name) 这种写法是行构造器语法,在 MySQL 8.0+ 和 PostgreSQL 中是支持的。如果你的环境是 SQLite 或者旧版本的 MySQL,可能需要改写成两个独立的子查询,或者使用 JOIN 来实现。
- 对于 Oracle 或 SQL Server 的用户,更推荐改用
ROW_NUMBER() OVER (PARTITION BY ...)这样的窗口函数,通常性能会更优。 - 还有一个细节:如果字段允许 NULL 值,那么
(a, b) IN (SELECT a, b ...)这种写法可能会漏掉那些包含 NULL 的重复组,因为 SQL 中 NULL = NULL 的结果是未知(不成立)。遇到这种情况,就需要对 NULL 条件进行额外处理。
COUNT(*) vs COUNT(字段名) 的区别
这一点至关重要:查重复必须用 COUNT(*),而不是 COUNT(某个字段名)。为什么呢?因为后者会自动忽略该字段值为 NULL 的行,导致计数结果偏小,从而可能把本该被判为重复的数据组给漏掉。
来看个例子就明白了:
SELECT user_id, COUNT(*) -- ✅ 包含所有行,NULL 也计 1 FROM logs GROUP BY user_id HA VING COUNT(*) > 1;
SELECT user_id, COUNT(ip) -- ❌ 如果 ip 是 NULL,这行不参与计数 FROM logs GROUP BY user_id HA VING COUNT(ip) > 1;
- 因此,只要字段有可能为空,就绝对不要用
COUNT(字段)来做重复判断。 - 如果你想确认某个字段是否全部非空,倒是可以用
COUNT(*) = COUNT(字段)这个等式来辅助校验。
说到底,技术实现本身并不复杂。真正的难点,往往在于前置的思考:到底什么才算“重复”? 是身份证号相同?还是手机号和姓名的组合相同?抑或是业务主键之外的自然键发生了冲突?如果这个业务定义一开始就错了,后面写的所有 SQL 语句,跑得再快也是白费功夫。
