使用Logstash + Elasticsearch对实时数据流索引、分析

79 views

Skip to first unread message

panfei

unread,

May 8, 2014, 4:29:27 AM5/8/14

to Hadoop中文用户组

为了应对实时的数据需求，必然要抛弃掉原有的批处理的思路。通过测试使用Logstash + Elasticsearch，发现这种实时索引的方式对于满足类似的需求还是比较合适的。ES在3台虚拟机上的索引速度　能达到3000条数据/s。性能上来说还是不错的。

基础查询都是在毫秒级别的响应，测试文档数量在3000W条，占用存储空间近6GB。使用Kibana3作为数据分析前台。

不知道其他同学有没有对这些工具做过深入的研究，如果有的话，可以在这里分享一下经验。

--
不学习，不知道

panfei

unread,

Jul 31, 2014, 5:54:25 AM7/31/14

to Hadoop中文用户组

http://blog.csdn.net/cnweike/article/details/25312343 是一些进展，目前生产环境中3.2亿条数据（164GB with 1 replication）数据的在各个维度上的聚合也可以在毫秒级别返回。