数据库根据指定字段去重的案例分析

这篇文章主要介绍了数据库根据指定字段去重的案例分析，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

需求：对一张用户表根据name/email/card_num字段去除重复数据；

思路：用group by方法可以查询出'去重'后的数据，将这些数据存储到一张临时表中，然后将临时表的数据存储到指定的表中；

误区及解决方案：group by方法只能获取部分字段（去重指定字段），不能一次获取到完整的数据，但是可以通过max函数获取group by结果集中的id，再根据id集合查询出全部的记录。

测试思路

• 查询去重后的数据

SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;

• 从去重后的数据中获取id集合

SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users  GROUP BY name,email,card_num) as T;

• 根据去重后的数据中获取id集合，从源数据中获得记录列表

SELECT * from users  where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

实际方法

• 根据去重后的数据中获取id集合，从源数据中获得记录列表，将这些列表数据存入一个临时表中

create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

• 将临时表中的数据存入指定的数据表中，完毕

insert into users_copy1 select * from tmp_data;

检测

• 检测结果是不是和第一步查询去重后的数据总数相同

select count(*) from users_copy1;

测试结果：1.4w条数据中有2300条数据重复，实际运行结果为0.7s，基本满足现在的需求。

感谢你能够认真阅读完这篇文章，希望小编分享数据库根据指定字段去重的案例分析内容对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，遇到问题就找亿速云，详细的解决方法等着你来学习!