MySQL社区

 找回密码
 注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

搜索
查看: 2154|回复: 3

[SQL类] mysql 统计类查询解决方案

[复制链接]
发表于 2016-7-25 19:59:30 | 显示全部楼层 |阅读模式
开发人员现在使用一个从库进行统计类查询。因为数据量较大,多张上G的表联合查询,并且分组,排序等等,所以效率低下。这个统计分析功能只供内部人员使用,并发不大,20左右。


假如sql已经没有优化的余地,还有什么什么别的解决方案?主要是设计上的优化,如分区,缓存等等。
方法不限于数据库端,也可以在程序端实现。

数据库版本:Mysql 5.6。

因为没有这方面的经验,实在没有思路。请各位老师指点。






发表于 2016-8-2 16:13:53 | 显示全部楼层
数据表按时间或数据项进行横向或纵向分区,并设计统计表,编写存储过程设计定时任务进行数据统计操作。
 楼主| 发表于 2016-8-9 18:19:00 | 显示全部楼层
我们的架构师给出的方案是:
1. 通过一个程序将从库的数据推送到hadoop。(实时)
2. 在hadoop(hive,hbase)中做统计计算等工作。
3. 将计算结果推送到一个事先设计好的表中。
4. 前端页面通过应用程序从表中读取统计结果。

因为这个工作我没有参与,只能描述一个大概,也有不准确的地方。
发表于 2016-9-2 11:06:13 | 显示全部楼层
接上面的想:
可以写存过进行相应业务的原始数据计算,插入到一张新表,程序对该表进行查询,对单表进行查询。写个定时任务
您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ|申请友链|小黑屋|Archiver|手机版|MySQL社区 ( 京ICP备07012489号   
联系人:周生; 联系电话:13911732319

GMT+8, 2024-4-14 22:10 , Processed in 0.070368 second(s), 28 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表