假设每条日志包含一个五元组和一个时间戳,每天百亿级别。查询场景分两种:
- 查询访问某个目的 ip 的源 ip
- 查询某源 ip 访问果哪些目的 ip
目前想到的是直接怼进 es,有木有其他更好的方案?
假设每条日志包含一个五元组和一个时间戳,每天百亿级别。查询场景分两种:
目前想到的是直接怼进 es,有木有其他更好的方案?
|
1
上 ELK
|
|
2
HBASE,存 2 份或者做二级索引
|
|
3
HBASE,非常适合时序场景
|
|
4
每天百亿级别,这是什么场景下的网络行为审计?
|
|
5
我也好奇楼主的场景 能达到日千万访问量的公司都不应该有这个问题 我们自己做电力的实时数据 数据量也才千万级 测点上万 都 达不到日百亿
|
|
HuHuiMar 19, 2019 via Android
6
这种场景来 V2EX 问?
|
|
jeffersonpigMar 19, 2019
7
楼主是建墙的吗
|
|
8
楼主是孟姜女的老公没跑了,大家开怼。
|
|
0ZXYDDu796nVCFxqMar 19, 2019 via Android
9
记录的是『连接』,这个量级,gfw ?
|
|
saulshaoMar 19, 2019
10
楼主的问题听起来确实是 GFW 才有的......
|
|
zyp0921Mar 20, 2019
11
请问是方校长吗?
|
|
berumottoMar 20, 2019
12
细思极恐 楼主是干什么的
|
|
windfarerMar 20, 2019
13
建议接入学什么强国
|
|
henglinliMar 20, 2019 via iPhone
14
小心有诈
|
|
buhiMar 20, 2019
15
这个数据量, 是监控强国人脑电波的系统吗?
|