MySQL社区

标题: MySQL如何大批量更新? [打印本页]

作者: bccber    时间: 2013-8-9 13:37
标题: MySQL如何大批量更新?
场景:MySQL,MyISAM表类型,没有事务
表结构: a1,a2字段为联合主键,a3为要修改的字段

先在内存里收集一小时,再更新到数据库存(只更新数据,不能新增数据)
数据量大概2W条记录
如何把内存只的2W条记录快速的更新数据库存的记录?
我现在使用拼接SQL的方法,把100条语句拼成一条再提交
比如
update t set a3='a1' where a1=1 and a2=2;update t set a3='a2' where a1=2 and a2=2;update t set a3='a3' where a1=3 and a2=3;
但还是有点慢啊

网上还有介绍说使用replace into
作者: kider    时间: 2013-8-12 10:42
你这应该是逻辑问题,你第一句应该是:update t set a3= where a1=1 and a2=1这样吧。
于是形成:
update t set a3=a1 where a1=1 and a2=1
update t set a3=a2 where a1=2 and a2=2
update t set a3=a3 where a1=3 and a2=3
用个变量,循环构造此种SQL。
更新本身没有太多软优化,你可以把批量提交的数量加大试试。
另外对比试试ON DUPLICATE KEY UPDATE,看看哪种快吧。
作者: rougelin    时间: 2013-8-12 11:21
这样是不是会导致每个语句都全表扫描,才能确定这个语句需要更新的记录?这样的组合语句会在每次更新扫描100次吧。
如果更新的条件,就是a1、a2两个字段的取值组合,是相对固定的,干脆将语句写复杂一点,但每次更新只扫描一次:
UPDATE t
    SET a3=
          (CASE a1 WHEN 1 THEN (CASE a2 WHEN 1 THEN a1 ...END) ...END);
或者写成存储过程,定时运行。
供参考。
作者: je_ck    时间: 2013-8-13 08:46
在内存中收集后,数据的是否有重叠,如果有先整理一下,然后在拼装SQL语句。
作者: je_ck    时间: 2013-8-13 08:47
还可以 先 Insert到一个临时表中,然后在update。
作者: 迦夜    时间: 2013-10-17 23:37
MyISAM表本身就对update多的业务支持不好,最好能换成InnoDB,如果允许的话
作者: 迦夜    时间: 2013-10-19 15:23
mysqldump实现多update{:soso_e113:}




欢迎光临 MySQL社区 (http://www.mysqlpub.com/) Powered by Discuz! X3.2