锐客网

  1. 首页 > 睿知 > it技术 > >

mysql数据库怎么去重 mysql数据库去除重复数据

IT技术Getkeys

mysql中去重 用group by优化distinct 用法在使用 MySQL 时mysql数据库怎么去重，有时需要查询出某个字段不重复的记录mysql数据库怎么去重，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录 ， 但是实际中我们往往用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段 ， 例如有如下表user:
用distinct来返回不重复的用户名mysql数据库怎么去重：select distinct name from user;，结果为：
这样只把不重复的用户名查询出来了，但是用户的id，并没有被查询出来：select distinct name,id from user;，这样的结果为：
distinct name,id 这样的mysql 会认为要过滤掉name和id两个字段都重复的记录，如果sql这样写：select id,distinct name from user ， 这样mysql会报错 ， 因为distinct必须放在要查询字段的开头 。
所以一般distinct用来查询不重复记录的条数 。
如果要查询不重复的记录 ， 有时候可以用group by ：
select id,name from user group by name;
怎么删除重复的Mysql数据？MYSQL里有五百万数据，但大多是重复的，真实的就180万，于是想怎样把这些重复的数据搞出来，在网上找了一圈，好多是用NOT IN这样的代码，这样效率很低 ， 自己琢磨组合了一下，找到一个高效的处理方式 ， 用这个方式，五百万数据，十来分钟就全部去除重复了，请各位参考 。
第一步：从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表
1create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;
第二步：创建新表RES
1234CREATE TABLE `res` (`id` int(11),`sfz` char(20)) ENGINE=MyISAM;
第三步：把TMP3表ID对应到data_content_152里需要提取的数据添加到RES表的SFZ字段
1INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1
至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据 ， 把去重复后的数据导入到RES表 。
mysql查询去掉重复数据可以利用distinct关键字对需要处理的字段进行去重
使用group by关键字对去重数据进行去重查询，针对某个字段查询，直接group by 这个字段
在group by 的基础上 也可以使用 having 对查询结果进行二次筛选
【mysql数据库怎么去重 mysql数据库去除重复数据】mysql数据库怎么去重的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于mysql数据库去除重复数据、mysql数据库怎么去重的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：u盘打印文件怎么打印，u盘上的文件怎么打印

    下一篇：网站开发内容，网站开发项目有哪些