MySQL社区

标题: mysql 统计类查询解决方案 [打印本页]

作者: jerry_rock 时间: 2016-7-25 19:59
标题: mysql 统计类查询解决方案
开发人员现在使用一个从库进行统计类查询。因为数据量较大，多张上G的表联合查询，并且分组，排序等等，所以效率低下。这个统计分析功能只供内部人员使用，并发不大，20左右。

假如sql已经没有优化的余地，还有什么什么别的解决方案？主要是设计上的优化，如分区，缓存等等。
方法不限于数据库端，也可以在程序端实现。

数据库版本：Mysql 5.6。

因为没有这方面的经验，实在没有思路。请各位老师指点。

作者: guoshixiong 时间: 2016-8-2 16:13
数据表按时间或数据项进行横向或纵向分区，并设计统计表，编写存储过程设计定时任务进行数据统计操作。

作者: jerry_rock 时间: 2016-8-9 18:19
我们的架构师给出的方案是：
1. 通过一个程序将从库的数据推送到hadoop。（实时）
2. 在hadoop（hive,hbase）中做统计计算等工作。
3. 将计算结果推送到一个事先设计好的表中。
4. 前端页面通过应用程序从表中读取统计结果。

因为这个工作我没有参与，只能描述一个大概，也有不准确的地方。

作者: 老俵哥 时间: 2016-9-2 11:06
接上面的想：
可以写存过进行相应业务的原始数据计算，插入到一张新表，程序对该表进行查询，对单表进行查询。写个定时任务

欢迎光临 MySQL社区 (http://www.mysqlpub.com/)