mysql百万级数据快速去重处理

先说说情况吧,我有一个数据库,560多万条数据,其中有一个字段(user_id)需要唯一,但目前表中该字段有60多万条的重复数据,需要做去重处理,搜了网上的各种神贴,都不太好用,最后经过我自己的思考与实践,终于找出来一条捷径,处理时间只需要3-5分钟,下面说说操作步骤吧

 

1.先对要去重的表进行索引(处理重复的那个字段).

2.将数据group by后导入到新的表中,导入时,可能需要分多次导入,因为电脑的内存有限,设置一下tmp_table_size或许可以一下子多导点

    使用sql如下:Insertinto Table2 select * from Table1 group by 重复字段名称 limit 100000

使用以上SQL,并个性Limit参数多进行几次导入操作即可