大量文本数据查找重复，效率很低，怎么办？

90house

我数据库中有两百多万的文章，现在想通过SQL查找到内容重复的数据。表名：db_news
字段：content
字段类型：mediumtext


我使用了：
select `content`
from db_news
where `content` in (select `content` from db_news group by `content` having count(1) >= 2)





速度简直让人奔溃。。。求高手指点

kider

试试这个：
select `content` from db_news group by md5(content) having count(1) >= 2;

再不行就新建立个字段，专门放MD5值
还是关键列一定要有索引呀！

sutie

这个没有实际的数据测试，也不好直接看出来效率，你先试试这个语句的效率如何吧

SELECT content FROM db_news a WHERE EXISTS(SELECT 0 FROM db_news b WHERE a.content = b.content AND a.id != b.id) GROUP BY content;

gelu

select `content` from db_news group by `content` having count(1) >= 2;

这样不是和你的sql一个效果。没必要嵌套一层呀！！

kider

content不要忘了加上前置索引。
说的这儿，多说两句，mediumtext这样的字段根本不建议去group by? 不就是为了找出重复大于2条以上的数据嘛

90house

kider 发表于 2015-7-16 11:12
试试这个：
select `content` from db_news group by md5(content) having count(1) >= 2;

利用md5，太强大了！效率提升几百倍。牛人！{:soso_e179:}