大量文本数据查找重复，效率很低，怎么办？

90house

我数据库中有两百多万的文章，现在想通过SQL查找到内容重复的数据。表名：db_news
字段：content
字段类型：mediumtext


我使用了：
select `content`
from db_news
where `content` in (select `content` from db_news group by `content` having count(1) >= 2)





速度简直让人奔溃。。。求高手指点

90house

kider 发表于 2015-7-16 11:12
试试这个：
select `content` from db_news group by md5(content) having count(1) >= 2;

利用md5，太强大了！效率提升几百倍。牛人！{:soso_e179:}