Oracle主数据管理白皮书(译)

[汪怀俊]

ttnn，您好！

 

   遍寻关于主数据的已知资料，大都抽象晦涩，纸上谈兵，偶得Oracle关于该方案的白皮书，鉴于鲜活的示例描述，故决定翻译出来，一则以飨众人，二则锻炼E细胞，三则以示探讨。

 

PS：1、仍有含义不明确、翻译不恰当词句，欢迎指正；

      2、看懂需要2h的东西，写出来却需要将近20h，可见理解和传达之间的差距之大，兴许也是传声筒游戏大行其道的原因吧。

 

 

Less words, More actions.

 

By:holly...@hotmail.com

[Qing]

一直搞不明白，MDM是为了什么，看这份文档，似乎mdm就是为了改善数据质量，源头的数据质量。可，数据仓库干嘛去了呢？

2009/5/7 汪怀俊 <hevin...@gmail.com>

..    遍寻关于主数据的已知资料，大都抽象晦涩，纸上谈兵，偶得Oracle关于该方案的白皮书，鉴于鲜活的示例描述，故决定翻译出来，一则以飨众人，二则锻炼E细胞，三则以示探讨。

 ..

[Hevin]

ttnn，您好！

 

  MDM就是把数据仓库的一根筋抽了，再打点激素，上点颜色，摇身一变而成。

  二十一世纪TI界什么最贵？概念！（PS：三字经是中国的古董，现在老美却玩得比谁都精）

 

  换言之，即使不叫什么MDM，抽象为DW架构中的一个服务/模块自然有其存在价值。

 

Less words, More actions.

---

发件人： Qing

发送时间： 2009-05-07 09:04:00

收件人： ttnn

抄送：

主题： Re: Oracle主数据管理白皮书(译)

 

一直搞不明白，MDM是为了什么，看这份文档，似乎mdm就是为了改善数据质量，源头的数据质量。可，数据仓库干嘛去了呢？

2009/5/7 汪怀俊 <hevin...@gmail.com>

..    遍寻关于主数据的已知资料，大都抽象晦涩，纸上谈兵，偶得Oracle关于该方案的白皮书，鉴于鲜活的示例描述，故决定翻译出来，一则以飨众人，二则锻炼E细胞，三则以示探讨。

 ..

[ruanhang009]

有谁有ORACLE的MDM解决方案的模型图,类似IBM的

这样的

 

 

2009-05-07

---

ruanhang009

---

发件人： Hevin

发送时间： 2009-05-07  09:39:27

收件人： ttnn

抄送：

主题： Re: Re: Oracle主数据管理白皮书(译)

[George Zhang]

从系统结构上，确实好像就是DW中的一部分

但从项目实施上，确实有master data维护这个部分，而且是至关重要的部分

所以如果以DW为平台，将分析和信息管理拆为两大任务块，应该还是好理解的

2009/5/7 Hevin <hevin...@gmail.com>

--
Best Regard
George Zhang

[myttnn]

还是一个数据质量的问题，这是我们这些做数据处理的人都经常面对的问题。不知道是不是国外的业务系统已经很完善。就目前接触的系统而言，个人感觉有以下几点：

1.业务系统创建初期可能没有想到有一天要做BI这样的事情，或者有先知先觉已经想到了，起初系统设计的很完善，可是中间发生人员转换，业务变更等情况，还是会出现基于对业务理解及编程习惯等原因造成的一些差异性问题。

2.业务系统也要面临一个不断升级的过程，这升级有可能是因为漏洞的原因，当漏洞存在的时候，可能是系统操作人员误操作，也可能是恶意用户故意所为等原因，已经为数据质量埋下了隐患。

3.在所有的数据变更，系统变更等情况发生的时候，没有考虑到将来的整合，缺乏历史记录，导致后期整合困难。

4.多数据源整合，特别是非结构化数据的采集，动辄几万、几十万甚至更多的数据，需要对其结构，重复性，合理性进行判断，这本身就是一个从数据中寻找规律的过程，而且由于当前各种技术及厂商此起彼伏，有时候因为自身信息的缺乏，没有明确的规则。

。。。

等等这些原因。导致数据质量一直是困扰我们的一个问题。处理过程中，数据的差异性问题，客户对数据质量的怀疑导致对最终系统及分析结果的怀疑。当前一直是采取不断去完善的做法。应了那句数据仓库是一个不断完善的过程。可是这里面又有很多是需要手工处理的。麻烦又浪费时间。

看了兄弟你不辞辛劳翻译过来的ORACLE MDM资料之后。有如下疑问：

以资料里的例子为例：

1.在准备用ORACLE的MDM之前，Mary Smith已经更名为Mary Evans,并且当时没有留下变更记录，系统中关于本是一个人的这两个名字各有各的记录，如果统一其属性并合并为一个人。基于文中的3112/Day发生更名活动，如果系统已经运行一年，那么这将是个多么庞大的数据，如何来将这些变更应用到MDM中。

2.假设如果两年前有一家The Gaps临售商通过Old Navy销售VN-Sweater，后来可能因为一些原因，Old Navy更名为Banana Republic，并搬迁了地址修改了电话等其他注册信息，但是在The Gaps内部仍称其为Old Navy。(觉得没有表述清楚啊)。或者说，确定本来是一个客户的那些关键信息如何制定。按照文内的统计，发生公司更名，换址的数据也不是小数。

3.两中毛衣本是同一产品，只是型号不同，可是假如起初是两个录入员录入系统，毛衣属性填写格式有差异，那么这个统一的过程也是很麻烦的吧。

。。。

等等这些。

说起来实际上这个还是一个理想了的东西，如果是从一个刚起步的系统来进行这种整合，并严格按照正确的理论来行进，那自然能很好的实现这些功能，但是我们更多的时候，是后来进入公司，系统已经跑了很久了，或者不是给自己做，而是基于别人的系统做一些事情，那数据质量就更是一个麻烦了。

当然，如果花时间对已有系统进行彻底的整理，一点一点的制定规则也是可以的，但是又面临：

1.这些规则是需要人工制定的。耗时很大。

2.需要对公司整个运维的一个很好的熟悉。

所以，更多时候，我们都还是在亡羊补牢，通过数据稽核，测试等等这些手段来尽量确保数据的高质量。

如果有机会可以听到ORACLE过来的MDM培训，希望可以听听对于上面的问题，是否有什么好的办法。

 

呵呵，或者，是我们这里还比较落后，大家已经有好的办法了。也不妨给讲讲。兄弟先谢过了！

---

穿越地震带 纪念汶川地震一周年

[shzxqdj]

请教一个问题, meta data 和master data到底是什么区别,能举例子说明吗?谢谢,上面gif那张图上是说的meta data

On 5月7日, 上午8时48分, "汪怀俊" <hevin.w...@gmail.com> wrote:
> ttnn，您好！
>

> 遍寻关于主数据的已知资料，大都抽象晦涩，纸上谈兵，偶得Oracle关于该方案的白皮书，鉴于鲜活的示例描述，故决定翻译出来，一则以飨众人，二则锻炼E细胞-，三则以示探讨。

>
> PS：1、仍有含义不明确、翻译不恰当词句，欢迎指正；
> 2、看懂需要2h的东西，写出来却需要将近20h，可见理解和传达之间的差距之大，兴许也是传声筒游戏大行其道的原因吧。
>
> Less words, More actions.
>

> By:hollywan...@hotmail.com
>
> 通过主数据管理改善信息-以MDM为BI基础.pdf
> 995K查看下载

[George Zhang]

http://en.wikipedia.org/wiki/Master_Data_Management

我的理解，MDM是指 master data

和meta data区别也不清楚

2009/5/8 shzxqdj <shz...@163.com>

[myttnn]

一个是主数据，一个是元数据

你在桥上看风景，别的看风景的人看你！

你是主数据，那个别的看风景的人就是元数据了。

当然，意会一下就OK了，还是有点区别的。

 

---

穿越地震带 纪念汶川地震一周年

[Hevin]

根据定义：主数据就是系统中可供操作的实时在在的对象(Object)，如产品信息、客户信息等

元数据则偏于结构性、描述性、关联性的低一层次信息，元数据如：表结构、ETL表达式、指标定义。。。

 

Less words, More actions.

Hevin Wang

---

发件人： George Zhang

发送时间： 2009-05-08 13:04:34

收件人： ttnn

抄送：

主题： Re: Oracle主数据管理白皮书(译)

 

http://en.wikipedia.org/wiki/Master_Data_Management

我的理解，MDM是指 master data

和meta data区别也不清楚

2009/5/8 shzxqdj <shz...@163.com>

请教一个问题, meta data 和master data到底是什么区别,能举例子说明吗?谢谢,上面gif那张图上是说的meta data

[ruanhang009]

meta data 是元数据,就是描述数据的数据

master data是主数据,你可以理解为主要的数据,它主要是指描述核心业务实体的数据

 

 

2009-05-08

---

ruanhang009

---

发件人： shzxqdj

发送时间： 2009-05-08  10:38:40

收件人： ttnn BI 观点

抄送：

主题： Re: Oracle主数据管理白皮书(译)

[Xuanpu Sun]

Master Data 和数据仓库的数据还是有一定区别的。我找了一些文章，试着把Master Data 归到数据仓库的体系里，但是没有成功。Master Data Management存储和处理高质量的操作型数据，可以把它作为BI 的一个数据源来理解。我基本把它定位在某个单独系统的数据库和集合的数据仓库之间的一个层面。

2009/5/8 ruanhang009 <ruanh...@yahoo.com.cn>

--
M.Sc. Xuanpu Sun
Nordbahnhofstrasse 193
70191 Stuttgart

Tel:      +49 (0) 711 5062 8270
Mobile: +49 (0) 176 2321 5655

[daiyan]

附件是IBM MDM Arichitecture图，供参考。

2009/5/7 ruanhang009 <ruanh...@yahoo.com.cn>

--
---------------------------------------------------------------
---代 严  恭祝万事如意！
---DAI YAN    BEST WISHES！

[ruanhang009]

你的附件的,IBM的人前天给我了份,看了看就哪样

 

 

2009-05-09

---

ruanhang009

---

发件人： daiyan

发送时间： 2009-05-08  22:52:24

收件人： tt...@googlegroups.com

抄送：

主题： Re: Re: Re: Oracle主数据管理白皮书(译)