MySQL大数据量处理与压缩问题

独步古今 · 发表于 2008-4-11 17:23:51

兄弟们，最近我们有个项目性能要求要求是：每秒插入30万条记录，然后由于数据量大，所以还要考虑压缩问题，要达到原数据大小的30%。如果要实现上面这些功能，各位大侠有什么好的策略，帮忙指点一下。谢谢。

我们可以一步步来，先实现30W/S的插入速度，就已经很头痛了。

(打算用linux+mysql)

edwin_chen · 发表于 2008-4-12 10:14:30

关注中...

mysqlkumao · 发表于 2008-4-12 16:32:26

你说的数据压缩是什么意思？实时数据压缩吗？

独步古今 · 发表于 2008-4-14 10:44:21

不一定要实时压缩，只要是为了节省磁盘空间而已。

兄弟们，我们可以先考虑insert的速度30W/S的实现，一步步来。后面再实现高压缩，高速查询。
因为insert速度较慢，我们是否可以考虑用文本文件load进来以提高插入速度？

mysql_china · 发表于 2008-4-14 16:55:12

方便的话可以打我这个电话，我可以给你些建议。。。。13910108332 邓

mysqlkumao · 发表于 2008-4-15 08:49:52

原帖由 独步古今 于 2008-4-14 10:44 发表
不一定要实时压缩，只要是为了节省磁盘空间而已。

兄弟们，我们可以先考虑insert的速度30W/S的实现，一步步来。后面再实现高压缩，高速查询。
因为insert速度较慢，我们是否可以考虑用文本文件load进来以提高插入 ...

你是把insert语句先写入文本文件，再load data回来，这反而会更花时间吧！而且你还要给用户file权限。
而且使用这种方法对于提交的数据写入数据库是有延时的。
直接使用MySQL自己的处理机制应该要比你自己再在外面套一层处理更快吧！

我的想法：
如果你的insert要比select重要，可以用Innodb引擎。
做集群。

还你说的压缩数据，我觉得不可能吧！
MySQL有自己的数据存储方式，你怎么压缩？压缩MySQL的数据文件？

[ 本帖最后由 mysqlkumao 于 2008-4-15 08:56 编辑 ]

xiaofenl · 发表于 2009-5-13 00:16:08

这要能实现那太有才了。。

yueliangdao0608 · 发表于 2009-5-17 17:49:08

Try to use engine called archive!

帐号		自动登录	找回密码
密码			注册