Mysql大批量并发更新-陶醉seo

Mysql大批量并发更新

数据更新或新增后数据经常自动回滚,造成mysql死锁。

本次遇到这个情况,主要是每天有20w条Update,需要在8个小时内完成,用的是python Mysqldb

目前是多线程,结果并发量过大,造成各种问题。记几个关键:

一、优化sql语句

能insert,尽量别update;

大量update,最好使用executemany,而不是execute;

executemany,一次可提交多条数据,那么使用线程,等待线程结束后一起提交,减少update数量;

不过这个过程时间要比execute长,于是产生了lock time问题。

二、优化mysql性能

ERROR HY000: Lock wait timeout exceeded; try restarting transaction

1、锁等待超时。

是当前事务在等待其它事务释放锁资源造成的。可以找出锁资源竞争的表和语句,优化你的SQL,创建索引等,如果还是不行,可以适当减少并发线程数。

2、innodb_lock_wait_timeout是Innodb放弃行级锁的超时时间

设置方法参考:

http://dev.mysql.com/doc/innodb-plugin/1.0/en/innodb-other-changes-innodb_lock_wait_timeout.html

mysql> set innodb_lock_wait_timeout=900;
Query OK, 0 rows affected (0.00 sec)

mysql> select @@innodb_lock_wait_timeout;
+----------------------------+
| @@innodb_lock_wait_timeout |
+----------------------------+
|                        900 |
+----------------------------+
1 row in set (0.00 sec)

 

转载随意~:陶醉seo » Mysql大批量并发更新

赞 (122)
分享到:更多 ()