2008的最后一天,来回顾这一年,回顾ttnn沉淀下来的主要话题。
ttnn在创立之初有一句话来形容它的目标——探索决策的奥秘,四年后,没有变。所以,在这里的话题都是围绕如何支持决策展开的。支持决策,分析应用是最关键,好的应用,被独特的决策体验以及行业的技术趋势推动。支撑应用是合适的分析产品,以及分析方法和实践来完成这个过程。而除了这些,BI人还有必要去关注生存的环境和生活,以及ttnn对自身的思考。
本文将从分析应用、分析产品、技术趋势、方法和实践、生活和环境以及ttnn活动,这六个方面来回顾08年ttnn的声音。
【分析应用】
08年初1月份,深圳聚会的时候,就有个话题谈到了2.0的BI应用,主要是受Web2.0的启发。这是一种新的辅助决策思路,可以集中很多人的智慧来分析支撑决策。在随后的二月、三月份里面,Qing根据自己项目实践总结了一套营销知识库的"超市化"应用和"知识"管理,提到从行为、特征和策略的营销三宝,这其实就是一种2.0的BI应用。后来,发现了一种预测市场的应用,也是2.0的分析应用,但是人家不叫BI,虽然也是辅助决策的工具。但其实,为了达到目的,何必在意BI这个名词呢?对于BI这个名词,有很多纠缠,有时候把它看得很小,有时候又很大。在2月份雪灾之后,interstage就抛出一个话题,说BI在这事儿里面扮演可笑的角色,虽然分析了,但没有导致行动,这个问题确实也该BI人去思考,BI是否必须或者能够决定行动?
BI的应用一直是瓶颈问题,根源?众说纷纭。在近期关于决策体验的探讨中,提到是没有一种非常让用户觉得舒服的体验。所以,探讨应用这个话题,大多时候,要研究决策者的思维。决策者如何使用BI,需要将BI跟企业管理结合,去进行KPI的设计,KPI的设计比KPI系统的设计更加重要。应用跟行业有关,在今年,谈论不少跟行业相关的:医院的、电信的、互联网、网络的、在线机票的、B2C网站分析。这些话题很具体,比较受大家喜爱。到底还是要探讨点实在的东西。
【分析产品】
好的应用离不开分析产品,来谈谈分析产品,在ttnn不怎么谈论具体某个产品的使用技巧,而是多谈产品的理念和未来。九月份,在kufee的帖子中,发起了自主研发BI工具的困惑,引发激烈辩论,有说这个工具好,有的说,不行。对此,随后提出了一种理想分析工具的设想。其实,关于这个设想中的工具,08年初就开始有些文字上的讨论,一月份的时候,开始假想一个BI系统的讨论。到五月份,这个思路更加清晰了一点,出现小说的形式的《魔星的故事》,描述了一些这种工具的应用场景和特点。在年底的时候,提出了决策体验驱动的分析产品模式,这个理念,可以适用于不论是对分析产品,或者是底层数据管理的产品,比如元数据管理产品。
【技术趋势】
在07年业界大型并购之风之后的这一年,并购活动停息了不少,只是一些不算大型的收购,比如SUN收购MySQL、Greenplum,微软收购DATALegro。那些BI大厂家正在被消化过程当中,在媒体露脸的机会少了,对新技术的追求似乎也少了。更多的技术,在独立和小型厂商那儿涌现。在08年,BI最重要的技术趋势无疑是DW专用设备的蓬勃发展,并紧跟互联网的风潮,BI正有加入云计算的趋势,将数据管理作为一种服务,提供云集市、云ETL等等。
对后台海量数据的管理已经不再是传统如Teradata这样的厂商关注,google、facebook等都具备这样能力,而将底层的数据管理技术公布、开源,比如google成功的MapReduce框架,在业界引起一番争论,被一位数据库专家骂了一通。可是越骂,越被开源人士看好,觉得这是一套比较基础的数据管理技术。而facebook借助hadoop,搞了个数据仓库。Hadoop是对mapreduce的开源实现。看起来,还不断有好事者在这基础上开发出数据库管理系统,那就是一种大规模并行计算的数据库系统。如果这些好事者只是无聊的话,成不了事,但这些好事者还有来自yahoo、facebook这样拥有海量数据的企业,就不得不正视了。如果这种系统很贵的话,也许也没多少应用空间,可它偏偏都是开源的。
如今,数据仓库厂家都疯了,到处PK,比大小,已经不知道哪个数据仓库是世界上最大的了,都说自己最大。Sun跟sybase申请了吉尼斯纪录,yahoo声称自己拥有最大数据仓库,你相信谁?这是宣传。而背后隐藏着技术之争,在数据存储这块,为了充分提供更高的分析查询性能,存在MPP跟列式存储之争,interstage给我们普及了一下列式存储的技术。不过在目前看来,数据仓库领域似乎还是MPP占优。
BI领域离不开数据,所以兰德里尼想探讨数据产业的范畴,经过大家讨论,他总结了一副图,挺全面。可以作为BI从业人员的导航图。
【方法和实践】
在ttnn,探讨分析的方法和实践应该是最多篇幅的。"探索决策的奥秘",为追求这个梦想,从我们平日的工作生活实践中抽象规律,必不可缺。
可以将方法分成三个层面的,数据管理架构方面的,数据分析方面的,以及分析需求方面的。
在数据管理架构方面,innovate是意见领袖,他从乙方到了甲方,开始从不同角度思考问题,比如甲方的职责,BIDW项目容易被忽视的细节,BI项目的长远规划,BI架构的本质理解、从生命周期角度思考架构。在争论中,引起了interstage的不同意见,发起对于"混合架构"的大讨伐。针对这个概念,以这两位为代表,深入澄清、探讨,并且随后引出interstage的BI生涯真实情感故事,以及"持续改善"的想法。最后,由于语言冲突,最后并没有形成特别明确的结论,但已经不失成为本年度最火讨论。后来我也打算趟趟浑水,打扫战场,但是,收不住,最终交给时间来处理。
另一位DW的意见领袖是SoloZhu,他从五月份开始,在ttnn和他的博客,同步关于数据仓库建模、实施的一些观点。提出在DW架构前的准备、实施的实用性考虑、价值评估,以及ETL的扩展性以及数据质量矫正方面的内容。在年底的时候,他还发起了一个BI需要再往前一步的讨论,结果也是引得一番鏖战,也算今年的一大火贴。他们都一直坚守"实施"这个领域,我以前也做这类工作,现在退出了,但看到有高效的实施方法论,不禁说一说,结果引来sammy的一番挑战。
在数据分析方面的方法和实践,同样也很少是讨论算法的,主要还是侧重在分析方法、应用方面。纯技术的也有,但多半会引到应用的话题。比如对回归公式的逆推理,引到因果分析的话题上来,对聚类、分类的解读,从"决策曲线"引出模型评估的方法,主成份方法的解读意义,指标预测的解释,社交网络的分析产品等等。这些是针对成熟挖掘技术的探讨,另外Qing也给出两种简单的分析方法,一种用于特征分析,一种用于因果分析方法,并给出实践参考,挺有用,关键而且简单。高深的有yushan分析了"啤酒尿布"的潜意识。实在点的,jiangtang将自己学习统计的历程分享出来,而如南给出了自己的一些项目实践,实习周周忆一、二、肉鸡企业的挖掘以及hunter的挖掘项目纪实,这些实在东西很不错,容易引起讨论。
在分析需求方面,主要关注如何表达分析需求,人们如何作决策这事儿上。SoloZhu关注BI如何进行需求分析,而Qing希望有一种需求语言,能够明晰并简单地界定需求之界。希望去洞察需求者的想法,思考理性决策跟感性决策的区别,在六月份的时候,根据现实情况的《决策》,描述人们决策的场景。而在这一年里面,稍稍形成点东西的,就是基于假设的需求表达法,并且也提供了一些实践。
【生活和环境】
BI人的生活难道少得了吗?有人关注职业方向,或者是规划,有关注金融危机下的BI生存,BI在这场危机中究竟好不好过呢?通过一些具体数字,其实BI人应该有些信心的。
生存环境之外,在工作之余,其实还是应该多关注生活,这方面,总觉得少了点。在过完年后,出现了个SWTHPC的时间管理方法,挺好的,将自己的时间管好,人可以很悠闲。后来试图用咱们BI的数据可视化方法来表示人的三重人格"本我、自我和超我",更是让"快乐主义"的观点清晰起来。在年底的时候,更是完成了一篇总结性小说《花果山》(全文),聊当广州生活的纪念。
也希望以后在ttnn有更多的BI人分享自己工作之外的生活感受。
【ttnn活动】
08年ttnn没有组织线下的活动,年初的深圳聚会不是ttnn组织的。前三年倒是每年都有一两次活动。今年,只是每个月月底发布《ttnn BI观点》杂志,并在11月份,度过了杂志三周年。主要的编辑工作由Qing、Sonic、如南和简荣完成,在此要感谢一番。
年初一月份的时候,曾激发了一阵对ttnn未来平台的设想,希望这里是一种好玩的、开放的地方,那还是设想。在5月份,跟funyaya一合计,搞了个beiii.com,这是一个BI搜索网站。并且当时提出了新闻汇编的想法,随之在六月份,推出"ttnn天下会",作为一个BI信息共享的平台,阅读最新中英文BI新闻、blog,稍稍朝那个设想跨进了一步。在12月份,天下会绑定了ttnnbi.com的域名,并增加留言、评论等功能,但后来ttnnbi.com似乎被盾掉了,ttnn.appspot.com还是可以访问的。
以上回顾,涵盖了08年ttnn一些热门的讨论,当然,还有一些不那么热门的观点和讨论,欢迎大家去ttnn group搜索、查看历史。在新一年里,可能会对所有历史文章进行分类,敬请关注。
昨天列出08年bi观点的总目录,比较多,今天来整理一下,从几个方面做个回顾。再别,小八!-------------------
2008的最后一天,来回顾这一年,回顾ttnn沉淀下来的主要话题。
ttnn在创立之初有一句话来形容它的目标----探索决策的奥秘,四年后,没有变。所以,在这里的话题都是围绕如何支持决策展开的。支持决策,分析应用是最关键,好的应用,被独特的决策体验以及行业的技术趋势推动。支撑应用是合适的分析产品,以及分析方法和实践来完成这个过程。而除了这些,BI人还有必要去关注生存的环境和生活,以及ttnn对自身的思考。
Qing 20081231 于花果山
--
--~--~---------~--~----~------------~-------~--~----~ 要在此论坛发帖,请
发电子邮件到 tt...@googlegroups.com 要退订此论坛,请发邮件至
ttnn-uns...@googlegroups.com 更多选项,请通过
http://groups.google.com/group/ttnn访问本论坛
-~----------~----~----~----~------~----~------~--~---
----- Original Message -----From: QingSent: 2008年12月31日 13:03Subject: Re: ttnn 08总目录及回顾昨天列出08年bi观点的总目录,比较多,今天来整理一下,从几个方面做个回顾。再别,小八!-------------------
2008的最后一天,来回顾这一年,回顾ttnn沉淀下来的主要话题。
ttnn在创立之初有一句话来形容它的目标----探索决策的奥秘,四年后,没有变。所以,在这里的话题都是围绕如何支持决策展开的。支持决策,分析应用是最关键,好的应用,被独特的决策体验以及行业的技术趋势推动。支撑应用是合适的分析产品,以及分析方法和实践来完成这个过程。而除了这些,BI人还有必要去关注生存的环境和生活,以及ttnn对自身的思考。
Qing 20081231 于花果山
不错! 这种整理的精神可嘉。 整理的方法值得学习!
From:
tt...@googlegroups.com [mailto:tt...@googlegroups.com] On Behalf Of Qing
Sent: 2008年12月31日
13:04
To: tt...@googlegroups.com
Subject: Re: ttnn 08总目录及回顾
昨天列出08年bi观点的总目录,比较多,今天来整理一下,从几个方面做个回顾。
如果您是通过web版的group阅读本文,可能看着有些凌乱,请点击:
再别,小八!
-------------------
2008的最后一天,来回顾这一年,回顾ttnn沉淀下来的主要话题。
ttnn在创立之初有一句话来形容它的目标----探索决策的奥秘,四年后,没有变。所以,在这里的话题都是围绕如何支持决策展开的。支持决策,分析应用是最关键,好的应用,被独特的决策体验以及行业的技术趋势推动。支撑应用是合适的分析产品,以及分析方法和实践来完成这个过程。而除了这些,BI人还有必要去关注生存的环境和生活,以及ttnn对自身的思考。
Qing 20081231 于花果山
在 08-12-31,Qing<happ...@gmail.com> 写道:
> 昨天列出08年bi观点的总目录,比较多,今天来整理一下,从几个方面做个回顾。
>
> 如果您是通过web版的group阅读本文,可能看着有些凌乱,请点击:
> http://groups.google.com/group/ttnn/web/ttnn-review-2008
>
> 再别,小八!
> -------------------
>
>
>
> 2008的最后一天,来回顾这一年,回顾ttnn沉淀下来的主要话题。
>
>
>
>
>
> ttnn在创立之初有一句话来形容它的目标----探索决策的奥秘,四年后,没有变。所以,在这里的话题都是围绕如何支持决策展开的。支持决策,分析应用是最关键,好的应用,被独特的决策体验以及行业的技术趋势推动。支撑应用是合适的分析产品,以及分析方法和实践来完成这个过程。而除了这些,BI人还有必要去关注生存的环境和生活,以及ttnn对自身的思考。
--
Andy Meng
蒙方靖
Teradata数据仓库顾问
手机:13826166590
email1:13826...@139.com
email2: AM18...@teradata.com
广州市林和西路161号中泰国际广场2306室
On 2008年12月31日, 下午1时03分, Qing <happys...@gmail.com> wrote:
> ttnn在创立之初有一句话来形容它的目标----探索决策的奥秘<http://groups.google.com/group/ttnn/about?hl=zh-CN>
> ,四年后,没有变。所以,在这里的话题都是围绕如何支持决策展开的。支持决策,分析应用是最关键,好的应
> 用,被独特的决策体验以及行业的技术趋势推动。支撑应用是合适的分析产品,以及分析方法和实践来完成这个过程。而除了这些,BI人还有必要去关注生存的环境和生-活,以及ttnn对自身的思考。