关于大数据分析的现状

21 views
Skip to first unread message

panfei

unread,
Mar 11, 2017, 11:14:32 PM3/11/17
to Hadoop中文用户组
目前的大数据分分析系统大多作为辅助组织决策的工具,为最终决策的作出提供了依据。

目前的大数据分析系统的局限性:
1. 很多基于海量数据的系统,最终呈现方式仅仅是是一些基本的运营报表;
2. 系统构成由业务人员需求驱动,而不是数据系统驱动,这也是造成1的部分原因;
3. 除了部分机构有专业人员作数据深度分析外,大多数中小机构没有这种条件;


大数据分析系统的发展方向:
1. 从更高的层级去定义分析,也就是用更抽象的语言去分析,而不是去深入到数据的具体细节;这种判断的主要依据是,目前技术基础设施的获得非常方便,AWS,阿里云等很多厂商均有提供,并且成本也呈下降趋势;
2. 全维度化;由于技术基础设施成本的不断下降,我们可以尝试一定的全维度分析,而不是固定几个特殊的维度。
3. 模式发现辅助;好的数据可视化方案结合前面2条提供的抽象的分析定义和丰富的观察数据通过具有真实运营经验的人去识别其中的模式,目前来看这种模式应该是最能够顺利切入的点,因为这中方式很好地结合了计算机和人类各自的优势;
4. 自动模式发现;这需要借助于一些算法的实现,比如贝叶斯推断、机器学习。这种方式很可能一段时期以内会局限于一些特定领域的应用,除非某天有一种更加抽象的应用机制能够将各种算法“合适地”应用于各种应用场景。


--
不学习,不知道

sylar

unread,
Jun 1, 2017, 6:17:52 AM6/1/17
to Hadoop中国用户组(CHUG)
那现在很多产品,像神策,growingIO是否能符合你说的第二点需求?

在 2017年3月12日星期日 UTC+8下午12:14:32,felix写道:
Reply all
Reply to author
Forward
0 new messages