我数据仓库项目管理的一些心得
xu徐亚敏
1.企业级数据仓库的目标：提供一个稳定可靠的数据仓库系统，支持企业的数据决策与监控
2.企业级数据仓库必须达成的指标：保证数据的可靠性达到对方的需求，性能指数抽取方案需要满足对方需求，对面对方的具体情况设计也要满足需求(不同组织相同成员的统一命名，维度表的时间变化)
3.企业级数据仓库建立要分成多个阶段进行管理：每个阶段的目的都不相同，而且前一个阶段为后一个阶段做好铺垫，比如说在整个数据仓库的设计方案出台以前，需要对客户进行一定程度的培训，引导客户的需求，让对方it人员做好对接工作。
具体划分成为7个阶段：
a.调研阶段：这个阶段是数据仓库商业价值方案的提供阶段，只有获得老板的认可才能够得到项目，那么乙方必须提供数据仓库到底解决甲方公司的什么管理需求，不同的公司看中的价值点也不相同，如果乙方公司具有设计商业管理方案的能力，将方案与数据仓库一起卖出去，则成功可能性更高，这个阶段是需要与企业的上层之间达成数据仓库商业解决方案，并确定好其覆盖的主题范围。这一个阶段中需要了解到对方真实管理目的，主要对对方数据仓库系统性能，大小，用途。针对不同的商业目的，数据仓库的架构以及项目的时间阶段也不相同.备注，有的公司对数据仓库一无所知，对自己的管理需求也不清晰。只能大概确定一下这个系统要做多大，覆盖范围多少，是企业用的，还是部门用的，是单个主题的，还是多个主题的等等。
b.方案阶段：在这个阶段中，针对企业数据仓库目标设定方案，方案包括数据仓库架构，性能指标，后期维护管理方案以及项目中各个时间阶段进行划分，并对需求变化进行一定的分析，给出相应的需求变化速率以及应对方案。在给出方案后，和企业达成数据仓库项目的协议。
c.需求深入阶段：这一阶段的目的是让整个数据仓库的需求形成文档，作为数据仓库设计的源头。在这个过程中，最好将业务本身的流程，商业目标的详细描述，以便后期达成这一个最终目标。该过程中对需求进行深入调研，并给出维度与事实表模型。在该过程中，目的就是挖掘用户真实需求，对源数据可靠性，可用性以及数据转换过程不做过高要求。在这个过程中，也要注意收集未来系统可能存在的问题。
d.培训阶段：缺乏数据管理意识的企业，需要对数据仓库基本知识进行培训，使得业务人员能够提供更加合理的需求，使得it人员能够为后期的对接工作做好准备。培训过程也是引导需求，并且使得大家能够沟通一致的过程。
e.企业数据仓库设计：要解决前期收集到的技术，业务难题。为建立可稳定运行的企业数据仓库做好准备。企业数据仓库需要统一规划，并且整个设计到实现的过程都要维护规范的元数据。整个设计过程需要对方it人员的参与，为后期维护交接做好准备。
f.具体的数据仓库建立过程：在设计过程需要统一规划，在具体执行过程，可以根据效益，时间，一个主题一个主题地满足业务人员需求，使得某些业务人员可以率先使用到这个系统，并给出建议。整个过程需要规范地进行。
g.交付：交付开发元数据，交付开发维护技术，管理思想。明确未来的开发与维护职责，确保企业能够方便使用。
在项目中需要注意到的问题点：
1.需求引导：每个企业对数据仓库认知程度不一样，一开始的需求是难以确定的，所以最好有一个可视化的模型出来让其熟悉操作。需求的了解是一个逐步深入的过程，不仅要满足老板的管理需求，也需要满足业务人员的操作需求。
2.数据仓库的设计管理思想：数据仓库的设计需要考虑数据的易维护，复用性。数据抽取过程不仅要考虑到抽取过程，还要考虑未来维护的方便性。整个数据转换的过程需要清晰，当发生错误时候容易追踪。很多工具是为了进行管理方便而设计的。
3.数据仓库项目控制：数据仓库源数据清洗以及数据仓库的建立需要由项目组负责。否则难以保证数据仓库可用性。具体操作可以由对方it人员在项目组的指导审核下进行。我一直考虑在整个数据仓库项目中，我们应该做什么，对方应该做什么，比如说整个数据仓库建立过程，包括dw设计，数据抽取清洗，上层模型，报表，权限分配等等。那些部分可以交出去让别人做的，那些必须是乙方做的呢？现在有些公司的开发人员能力也很强的说。另外在我遇到的一个公司，对数据仓库权限控制非常严格，权限控制其实是企业内部控制的一个组成部分，严格是应该的，权限的管理在设计阶段应该也成为一个方案给出。
4.不断的正向反馈：在整个过程需要不断得到业务人员的回馈，it人员的认可：数据快速原型的使用，培训陆续进行保证了思维与语言的一致.
5.数据仓库建模：如果一个需求就建立一个模型，那么最终导致很多个需求对应很多个模型，而且模型之间也互有差异。要整合多个主题需求建立统一的企业数据仓库模型。另外对需求变化的程度也要有一定控制。有需求变化的一套解决方案。在需求范围基本确定后，有一个统一规划是必要的。
6.需求引导的控制：需求的引导很重要，最好是一开始的需求是容易实现且能够表现数据仓库分析威力的。没有控制且没有数据仓库思想的需求挺危险的。
目前这就是我所能想到的一些东西，整理出来，这是我自己做项目中的一些感觉，结合自己看过的一些数据设计理论。我们是一家小公司。感觉自身的一些能力非常有限，希望和大家一起讨论一些如何控制项目，使得获取对方认可，实现双赢。
zangsurpass
--
要在此论坛发帖，请发电子邮件到 tt...@googlegroups.com
要退订此论坛，请发邮件至 ttnn-uns...@googlegroups.com
更多选项，请通过 http://groups.google.com/group/ttnn访问本论坛
Q
为企业做数据仓库项目，成功的标志是什么，如何才能成功呢，这个问题真的困绕了作为乙方的我很久，我分析了建立具有多个分公司的企业的整个数据仓库系统必须以下要素，请各位高人指点一二：
1.企业级数据仓库的目标：提供一个稳定可靠的数据仓库系统，支持企业的数据决策与监控
2.企业级数据仓库必须达成的指标：保证数据的可靠性达到对方的需求，性能指数抽取方案需要满足对方需求，对面对方的具体情况设计也要满足需求(不同组织相同成员的统一命名，维度表的时间变化)
3.企业级数据仓库建立要分成多个阶段进行管理：每个阶段的目的都不相同，而且前一个阶段为后一个阶段做好铺垫，比如说在整个数据仓库的设计方案出台以前，需要对客户进行一定程度的培训，引导客户的需求，让对方it人员做好对接工作。
具体划分成为7个阶段：
...
在项目中需要注意到的问题点：
...
Daniel_Zhen
学习了，结合自己的体会补充两点。
1、调研阶段需要双线程进行，业务仅仅是一方面，还要进行数据调研或更广的IT调研。很多企业中，业务的想法很好，数据不支持，最后的结果是一大堆
Excel表作为数据源。。
2、需求引导：引入指标体系，其实我感觉这里的指标体系以企业的主数据为核心来规范元数据，同时可以结合需求调研阶段的成果对指标的可实施性进行评估，
分实施优先级，拉风险。有时候售前吹的太好，这一阶段又没有做，有没有风险管控，最后就倒霉了。
3、关于验收：其实最后以指标体系结合具体交付物验收是一种理想的方式，单纯的报表对数，只会导致大量的修改工作量。就是首先验收元数据符合要求，然后
再“对数”，这样可以屏蔽一些数字和逻辑上的“潜规则”。
一个项目下来，拔一层皮，不过在“战斗”中建立下的友谊可以长青了。
innovate511
求，可能使数据仓库站的高度不够。
个人认为数据仓库项目架构层次应该至少有几个角度考虑：
基础业务数据-〉面向主题整合基础数据模型（不汇总）-〉面向主题的汇总数据（与之并行设计的是面向主题的衍生基础数据模型，他们还是细节数据，但数据
更广泛地涵盖了一个主题方向的业务指标和退化维等） -〉面向专题的汇总数据
这几个层级目前是很多乙方或者说实施公司都采用的架构，但每个细节所做的差异和差距很大，这和公司对行业的理解、经验的积累有关，也有项目实施的人员有
关。
一般项目设计中，做得不好的部分，往往是对于基础数据往往做得不够好，所谓项目伤筋动骨，都是基础数据部分改动太大，对ETL，对后面的汇总都是影响。
基础做好了，说不好听一点，后面的维度模型按照这么10几年的发展，不是大问题，是个几年经验的人都能做，什么变化维、代理键都是成熟技术。
如果数据仓库跟着用户的需求建设走，你可能汇总部分做得不错，指标体系贴合他们的需求，但你的基础数据部分可能比较脆弱，经不住更深的需求以及业务的变
化。（大家都知道不少公司是换一个业务班子，BI需求就可能大变样，这是很多BI项目推倒重来的重要原因，既是客户的原因，也是厂商的原因）
如果要做好数据仓库，做好基础数据模型，能用基础数据模型讲BI主题分析的故事，之后的汇总将变得小儿科，你对业务的理解也会上一个档次。如果在需求理
解上还跟不上普通用户的高度，那DW的职业发展就已经到瓶颈了。
以上体会是我进甲方公司做项目才更明显的，技术是基础，我一直认为很重要，现在也是，我也没丢技术，但认识到如何使技术更好实现价值在资深之后更为重
要。但不能忽略将我们的技术和经验如何实现客户价值的最大化上，如何改进客户的业务，提高收益和利润或降低某环节成本的根本目标。
xu徐亚敏
我所做的项目并非电信，银行这样的大企业，而是服装以及饲料这样的企业。他们本身的软件开发力量比较薄弱，理解比较差，他们应用bi的时候往往会具体考虑到如何辅助其商业的需求。我在一个服装企业做的，主要是来分析销售与库存的状况，在饲料企业做的，是建立一个企业的财务绩效指标体系。我发现如果一开始就从数据仓库出发来讲解数据仓库的管理理念，并没有多少企业能够吸收，而是结合他们目前数据管理的需求，发挥数据仓库信息管理的便捷性，比如说数据仓库项目与咨询项目结合起来，发现他们迫切解决的商业问题，然后引入数据仓库项目解决。
在上这些项目的时候，很多企业没有一个企业数据系统的管理理念，而数据仓库本身的出发点是对整个企业的数据进行统一整合管理。但是做这个事情需要相当的时间和人力的。而且一开始企业也并没有这样的要求。
所以我们项目一开始就会被商业需求所引导，专门为满足这种商业需求而快速开发。这样的客户需求像挤牙膏似的一点一点挤出来，变动性特别大，是根据咨询项目的深入而深入。
所以我就感觉我们数据仓库人员处于特别被动的地步，急于快速满足商业用户的一点一点的"认知不清的模糊需求"。后面做起来，由于数据的基础没有打好(像innovate511说的，但如何建立稳定的基础表格呢？)数据仓库的结构变动特别大，就会感觉重复性工作多，做的也累。
因此我想对于这样类型的数据仓库项目，真正做的时候可能有多个阶段，前一个阶段就是这样不断快速开发一个模型，然后让用户使用，让其真正的找到其商业利用的方式。最后所有的需求都汇总起来，再重新设计其基础表，使得dw能够形成一个层次分明，易于维护的系统。
在跟客户打交道的过程中，我觉得把商业价值阐述清楚是非常重要的，一切it项目都要以此为依据，问题是一些小企业不是很明白数据仓库与自身管理之间的逻辑，所以首先使用可视化的快速模型展示。
我所说的是针对一些对bi不够清楚的小企业。这些企业也有数据管理的需求。但是没有过数据仓库经验。
Q ：我所说的后期稳定的数据仓库，是针对我们咨询项目数据仓库的需求特别不稳定所导致在开发过程中DW的结构没有办法稳定下来。在整个咨询项目过程中，能够参与需求讨论的有，咨询的业务人员，对方业务人员，高层管理人员，他们对商业需求本身都没有一个好的考虑，而数据仓库引入的时候是一边做，一边引导客户去认识这个软件本身价值，再卖出去的过程。
实际上一家公司只要有了多家分公司后，我觉得都有数据仓库的需求了。因为需要统一管理，并且将多家公司的数据进行整合分析。
另外你所说的，客户确实仅仅看到最终的结果，这个是对方业务人员，对方对接的it人员肯定会注意到数据仓库本身设计。有时项目当时效果很好，达到了商业需求，但是数据仓库本身设计差，培训也没有做好，以后维护就困难。后面对方公司也很难将其用好用起来。
Daniel_Zhen：我也觉得对对方数据库本身进行调研是必要的，否则前期吹得太没有边际，后期做起来，就容易被心急的客户紧逼了。前期调研一下，针对难易度，做出一个优先级，这样能出效果，也给客户信心。
你所说的指标体系是企业KPI还是其他什么？
innovate511：我也非常同意你的强调基础数据，结构体系的观点，不过实际中，老是被需求给追着跑，而且我觉得要达到胸有成竹程度，似乎需要多年设计的经验。数据仓库设计目前只有几个原则，没有一个具体点的模型和规范来评价好坏。
Q
看到大家的回复非常兴奋，阅读了一下大家的所写的，大家提出的问题，是总结了多年经验所概括的精华，理解也不是很容易，得做过很多项目后才有深刻体会，我想这一行的经验需要结合具体项...
zpdxiogxiog
Q
zpdxiogxiog
我现在还比较关心一个问题，就是企业建好了数据仓库，把数据存了下来，但是怎样利用仓库中的数据呢？怎样用这些数据去产生价值呢？真对这个问题，已经有一些传统的答案，但是能不能开拓一些更新的思路出来呢？
zpdxiogxiog
我现在还比较关心一个问题，就是企业建好了数据仓库，把数据存了下来，但是怎样利用仓库中的数据呢？怎样用这些数据去产生价值呢？真对这个问题，已经有一些传统的答案，但是能不能开拓一些更新的思路出来呢？
zpdxiogxiog
我现在还比较关心一个问题，就是企业建好了数据仓库，把数据存了下来，但是怎样利用仓库中的数据呢？怎样用这些数据去产生价值呢？真对这个问题，已经有一些传统的答案，但是能不能开拓一些更新的思路出来呢？
innovate511
新兴领域，所以对于LZ的项目感触较多。
首先这类企业行业内没有形成统一的企业级指标库，或者说指标库不统一不全，因为这类企业运营方式、经营类型、合作方式都有差异，你很难统一。所以客户方
必须自圆其说，自己要有企业级指标库，这个没有不能怪乙方，因为这个事情广靠乙方搞不定的。所以解决根本之道，需要敦促客户公司统一各部门意见，形成统
一的企业指标，否则无法深入，各部门拿到“正确”数据也会“打架”，因为A部门说的X指标和B部门说的X指标不是一回事，互相不认，大老板董事会信谁的
呢？
那么，形成企业级指标库，需要一个过程，那么BI团队有一个责任，就是整理元数据，让客户用得明白，他们知道同样的X指标，A部门的是啥意思，适合哪些
事务，B部门的又是啥意思，适合哪些事务，然后由企业统一其元数据。
其次要不用设计跟着需求跑，并不仅仅需要多年设计经验，还需要对行业的理解、企业具体业务流程以及数据质量都要有所了解。在这些都不够了解的情况下，直
接拿下数据质量最好的销售这块是明智的，做其他部分，可能难以做到位。
但是作为一个传统行业，只分析既成事实的销售事务，不能解决根本问题。如果深入了解行业，你会发现，供应链是最关键的点之一，大的讲，从企划、设计、生
产、物流、配发零售整条线的分析，才能从根本发现这些库存怎么产生的，为什么有的地方叫缺货，有的地方叫库存偏多，为什么有的地方商品没及时上架。这些
才是解决企业运作问题之道，实现BI的最大价值，纯分析销售，只能解决皮毛问题。
当然现在传统行业也流行B2C，如果是B2C销售，那么就不仅仅要分析供应链这个过程环节了，还要分析销售过程，因为B2C是全透明销售，所有过程都有
记录，而非传统销售那样，只有一个销售结果。
其实我想了一下，之所以电信、银行BI要流程、成熟得多，关键在于信息化程度高，过程全部信息化，才有那么多分析点。所以过程的信息化，是BI价值提升
的关键，传统企业要用好BI，首先得将信息化武装到牙齿，如供应链信息连贯，不连贯也无法分析得全面和深入，B2C不但使销售降低成本，而且使销售过程
全部信息化，这是未来BI在食品、服装、日用品等传统行业得到像电信金融那样深入人心的关键一步。
对了提醒一下，我每次提到B2C，很多一下就想到阿里集团等互联网企业，其实不然，阿里集团只是搭建B2C销售平台，他们并不销售自己的商品，甚至不参
加销售商品的事务。而当当、京东、新蛋等B2C企业，他们只是一家零售代理商，商品也不是自己的商品，和传统行业用B2C销售自己的商品，这些分析细节
和关注点、企业利润来源、库存分配还是有很多不同的。
innovate511
省某市GDP多少，人均收入多少，哪些行业GDP多少等等。
On 3月13日, 上午10时40分, "zpdxiogxiog" <zpdxiogx...@gmail.com> wrote:
> 比如，"数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。"
>
> 但是这些讲的都是企业内部的，即数据为自己的企业服务，当然我们可以在数据如何更好的服务企业上面多多思考，另外，我们是否可以走出一个企业，比如有两个企业他-们都拥有数据仓库，能够系统的提供自己的数据出来，那么这两个企业是否可以考虑在数据上进行合作，比如相互利用各自的数据做营销？当然在钱的方面要谈妥。
innovate511
们可以要求业务系统进行二次开发，补充数据源。
BI必须承担起这个职能，业务系统也不能仅仅能支持业务运营，还要支持分析，除非还是作坊式运营。传统行业不像电信金融那样标准、数据较为齐全、人员对
业务理解较高，如果传统行业没有懂行的甲方人员，我可以肯定，这家公司做BI没有前途，BI发挥不了什么作用，不信大家走着瞧。
On 3月13日, 上午10时20分, "zpdxiogxiog" <zpdxiogx...@gmail.com> wrote:
> 我现在还比较关心一个问题，就是企业建好了数据仓库，把数据存了下来，但是怎样利用仓库中的数据呢？怎样用这些数据去产生价值呢？真对这个问题，已经有一些传统-的答案，但是能不能开拓一些更新的思路出来呢？
>、
xu徐亚敏
受教了，听你们这一系统的分析，收益良多，我总结一下。
如果在传统行业做bi
1.企业的内部it人员必须懂得bi，需要懂到什么样程度呢？
2.做传统行业的bi咨询，乙方公司需要对企业，行业管理比较懂。也就是说最好是一家专业的咨询公司来做，这一点我同意，我们公司就是做供应链的库存分析的。
3.在项目进行当中，也确实遇到了bi需要分析的数据没有，而需要进行开发的，这样一来，整个项目的过程就拉长了，如何使得bi与业务新系统开发相结合，甚至与别的公司IT团队相配合，也是需要考虑的问题。
再次感谢
innovate511提供的那么多精深的见解。innovate511
这样说的话，你说几点我这么来说吧：
1. 企业甲方人员最好是业务专家，懂得BI怎么回事，才能利用好BI，最起码要知道行业内容易出现问题的业务点在哪里，企业加快发展后哪些环节跟上才
能保证企划的目标。这样他们才能是BI最好的用户。
2. 供应链应该不只是库存，从企划开始就应该跟踪分析，库存只是其中一个环节，而且不同仓库不同商品的库存在供应链的环节也不同，他们的分析要点也不
同。比如仓库里的低价值附属品和过期商品在库存里是累赘；而还没开卖，太过早进入仓库的是浪费成本；商品正在热卖，仓库有库存，但部分终端销售却没商品
可售了，这是耽误销售，这也是不能按时完成销售任务的重要因素之一。我们BI系统不是万能的，不能直接解决问题，但可以把问题所在清清楚楚地暴露在各级
领导的面前，让他们清楚要怎么调整才能保证任务，怎么去预防你说的供应链库存问题。
3. 这个问题很正常，所以BI需要规划，这个规划是根据现有企业的业务水平、以及应用系统水平而定。对于不能马上实现的，你们只能同新数据一起划入下
一期项目里，这点客户肯定能接受。但缺的数据要一次性到位，不要下次规划的分析，你却说没数据了，再下期做，那就说不过去了。
On 3月15日, 下午10时09分, xu徐亚敏 <xuya...@gmail.com> wrote:
> 受教了，听你们这一系统的分析，收益良多，我总结一下。
> 如果在传统行业做bi
> 1.企业的内部it人员必须懂得bi，需要懂到什么样程度呢？
> 2.做传统行业的bi咨询，乙方公司需要对企业，行业管理比较懂。也就是说最好是一家专业的咨询公司来做，这一点我同意，我们公司就是做供应链的库存分析的。
> 3.在项目进行当中，也确实遇到了bi需要分析的数据没有，而需要进行开发的，这样一来，整个项目的过程就拉长了，如何使得bi与业务新系统开发相结合，甚至与-别的公司IT团队相配合，也是需要考虑的问题。
> 再次感谢innovate511提供的那么多精深的见解。
raullew
> > 3.在项目进行当中，也确实遇到了bi需要分析的数据没有，而需要进行开发的，这样一来，整个项目的过程就拉长了，如何使得bi与业务新系统开发相结合，甚至与--别的公司IT团队相配合，也是需要考虑的问题。
> > 再次感谢innovate511提供的那么多精深的见解。- Hide quoted text -
>
> - Show quoted text -