业务中需要对数据库中4000万条数据进行逐条遍历，数据总量20多G，要求1分钟内能取出所有数据。
目前使用的是MongDB，一主一丛，16G内存。并发查询最快3分钟多钟完成。且并发数多了会变慢。
有没有其他更好的方案可以提升全库遍历的速度？比如哪种内存数据库？
目前使用的是MongDB，一主一丛，16G内存。并发查询最快3分钟多钟完成。且并发数多了会变慢。
有没有其他更好的方案可以提升全库遍历的速度？比如哪种内存数据库？
This topic created in 4381 days ago, the information mentioned may be changed or developed.
 |
1
redis
|
1 |
2
文件
|
 |
4
@ipconfiger 文件会比MongoDB快吗？
|
|
ipconfigerNov 10, 2014
5
@uleone 直接下载啊，当然快啦
|
 |
6
理论上，内存数据库+网格计算是最快的了，成熟的产品有oracle exdata，如果不考虑成本的话
|
 |
7
可以考虑使用 ElasticSearch
|
 |
8
数据20G，内存16G，你是怎么放进内存里的……
如果是读写硬盘的话，你们用了SSD RAID了吗？ |
 |
11
....不是全内存肯定会慢吧。。。
你先试试能完全放在内存里的数据…… |
 |
charlestangNov 10, 2014
12
楼主是不是应该介绍一下数据的类型，比如4000万行数据，有几个字段，分别什么类型的，全是整数，还是全是字符串，或者别的。为什么需要的不是查询，而是全部遍历？这个需求本身比较奇怪吧……
|
 |
hiddenmanNov 11, 2014
13
真羡慕有这么多数据的环境。
|
Select Language