云集市
4 views
Skip to first unread message
Qing
May 22, 2008, 1:44:39 AM5/22/08
to tt...@googlegroups.com
前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
这不，最近一则新闻就是关于vertica这个厂商跟amazon的合作，后者上次介绍过了，有人说它成功地从一个卖书的变成网络包租公，改提供云计算服务了。而vertica是何许人也，他是一个专门的数据仓库产品，DW Appliance，列式存储，跟sybase IQ等是一条路子。他们的合作一个重点词汇就在于——cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面去。"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道，反正里面可以分担压力。
看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法不应该叫做数据仓库，而是叫做"分析数据库"）
这点我也没想明白，不过人家肯定有他自己的解释。在dbms2的一篇文章中（http://www.dbms2.com/2008/05/08/outsourced-data-marts/），提到了数据集市的外包。这也许就是这种云集市的生存之本吧。按照文章的说法，将企业数据仓库外包的可能性不大（除非本身的事务系统也在云里面），但对于一些非机密数据的分析。但对于数据集市，到时已经有些是外包了的。并且找出几个理由说，这种外包会继续下去，不过我没怎么看明白这些理由。总之，这些案例没有告诉如何将数据弄进这些数据库里面。
raullew
May 22, 2008, 4:25:39 AM5/22/08
to ttnn BI 观点
DW计算的数据分发与合并通信是个大技术问题，oracle rac都没法解决，恐怕这种技术尚未成熟吧
On 5月22日, 下午1时44分, Qing <happys...@gmail.com> wrote:
> 前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
>
> 这不，最近一则新闻就是关于vertica这个厂商跟amazon的合作，后者上次介绍过了，有人说它成功地从一个卖书的变成网络包租公，改提供云计算服务了。-而vertica是何许人也，他是一个专门的数据仓库产品，DW
> Appliance，列式存储，跟sybase
> IQ等是一条路子。他们的合作一个重点词汇就在于----cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面去。-"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道，反正-里面可以分担压力。
>
> 看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法-不应该叫做数据仓库，而是叫做"分析数据库"）
> ），提到了数据集市的外包。这也许就是这种云集市的生存之本吧。按照文章的说法，将企业数据仓库外包的可能性不大（除非本身的事务系统也在云里面），但对于一些-非机密数据的分析。但对于数据集市，到时已经有些是外包了的。并且找出几个理由说，这种外包会继续下去，不过我没怎么看明白这些理由。总之，这些案例没有告诉如-何将数据弄进这些数据库里面。
>
> 扩展阅读：DWA概览（http://www.dbms2.com/2008/04/25/yet-another-data-warehouse-database-a...
> ）
On 5月22日, 下午1时44分, Qing <happys...@gmail.com> wrote:
> 前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
>
> Appliance，列式存储，跟sybase
> IQ等是一条路子。他们的合作一个重点词汇就在于----cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面去。-"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道，反正-里面可以分担压力。
>
> 看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法-不应该叫做数据仓库，而是叫做"分析数据库"）
> ），提到了数据集市的外包。这也许就是这种云集市的生存之本吧。按照文章的说法，将企业数据仓库外包的可能性不大（除非本身的事务系统也在云里面），但对于一些-非机密数据的分析。但对于数据集市，到时已经有些是外包了的。并且找出几个理由说，这种外包会继续下去，不过我没怎么看明白这些理由。总之，这些案例没有告诉如-何将数据弄进这些数据库里面。
>
> 扩展阅读：DWA概览（http://www.dbms2.com/2008/04/25/yet-another-data-warehouse-database-a...
> ）
interstage
May 22, 2008, 5:02:47 AM5/22/08
to ttnn BI 观点
oracle rac只是解决并发和均衡计算的问题,Oracle在数据列存储技术上并不是领先者,据说今年会出支持列存储的数据库产品,不知道现在是
否已经出了.Oracle经常干一些"一行代码没写,先在市场上说已经支持什么技术的事情,等市场反映不错了,再写代码的事情".所以,不等于
ORACLE没解决,就说明技术未成熟的事情.记得Oracle在70年代底推出的数据库,在技术和产品稳定性都不如ingress,就是靠那个"白巫
师"魔鬼式销售方式翘动了市场,在ingress和IBM夹缝中生存,一直到85年IBM选择SQL语言作为RDB标准,使Oracle彻底击溃
ingress成为RDB的领导者.
列存储的出现,不是RDB本身造成的,是一个牛人搞出了基于位压缩算法,定义为BitWise技术,这个压缩算法是基于同类型字段的展开,而传统RDB
的记录中字段类型是不同的,这种记录存储方式是不适合压缩算法,于是乎,那个牛人提出按照同字段类型来进行压缩,压缩后进行存储,这样同字段类型的存储
方式称为"列存储",于是我们就把不同字段类型的记录存储方式称为"行存储",很形象吧.
但是,基于"列存储"一直到98年真正成为数据库产品(解决了列存储后如何还原记录的问题,支持了SQL语言,支持大规模并发). 但这种"列存储"数
据库产品,本身不是从传统RDB环境下出来的,所以在DW理论架构中没有它传统的位置.直到IBM在实践中提出CDW组件的DW实施架构,人们惊奇的发
现,这种"列存储"数据库产品原来最适合CDW,因为CDW比EDW组件数据库要大,存在数据膨胀问题(一般1:3,甚至到1:15),而这种"列存
储"数据库产品由于最基本压缩机制的存在,居然数据不膨胀,反而很小,记得02年世界上最大单个数据库测试,122T数据量的EDW数据库,导入
CDW,只有这种"列存储"数据库经过几天成功Load,其他传统RBD都失败了.
对于目前大谈的"云集市"概念,其实对于"列存储"数据库符合"云计算"的思路很简单, 本来就是同一个类型字段按照不同的位压缩算法存放在一起的,你
就可以把这个同类型字段存放点称为"云"(名字叫法不同),不同"云"之间的整合(其实必须要整合,因为单一个字段不是一条记录,不同字段在一起才能叫
记录)就说支持网格, 不同的"列"存放在不同的系统(Windows,Unix,Linux)来支持大规模并发.
所以,我们只能拭目来看各软件厂商的喧叫,从原理上来冷静分析是不是值得我们去体验和采用.
On 5月22日, 下午4时25分, raullew <raul...@hotmail.com> wrote:
> DW计算的数据分发与合并通信是个大技术问题，oracle rac都没法解决，恐怕这种技术尚未成熟吧
>
> On 5月22日, 下午1时44分, Qing <happys...@gmail.com> wrote:
>
>
>
> > 前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
>
> > 这不，最近一则新闻就是关于vertica这个厂商跟amazon的合作，后者上次介绍过了，有人说它成功地从一个卖书的变成网络包租公，改提供云计算服务了。--而vertica是何许人也，他是一个专门的数据仓库产品，DW
> > Appliance，列式存储，跟sybase
> > IQ等是一条路子。他们的合作一个重点词汇就在于----cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面-去。-"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道-，反正-里面可以分担压力。
>
> > 看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法--不应该叫做数据仓库，而是叫做"分析数据库"）
> > ），提到了数据集市的外包。这也许就是这种云集市的生存之本吧。按照文章的说法，将企业数据仓库外包的可能性不大（除非本身的事务系统也在云里面），但对于一些--非机密数据的分析。但对于数据集市，到时已经有些是外包了的。并且找出几个理由说，这种外包会继续下去，不过我没怎么看明白这些理由。总之，这些案例没有告诉-如-何将数据弄进这些数据库里面。
>
> > 扩展阅读：DWA概览（http://www.dbms2.com/2008/04/25/yet-another-data-warehouse-database-a...
> > ）- 隐藏被引用文字 -
>
> - 显示引用的文字 -
否已经出了.Oracle经常干一些"一行代码没写,先在市场上说已经支持什么技术的事情,等市场反映不错了,再写代码的事情".所以,不等于
ORACLE没解决,就说明技术未成熟的事情.记得Oracle在70年代底推出的数据库,在技术和产品稳定性都不如ingress,就是靠那个"白巫
师"魔鬼式销售方式翘动了市场,在ingress和IBM夹缝中生存,一直到85年IBM选择SQL语言作为RDB标准,使Oracle彻底击溃
ingress成为RDB的领导者.
列存储的出现,不是RDB本身造成的,是一个牛人搞出了基于位压缩算法,定义为BitWise技术,这个压缩算法是基于同类型字段的展开,而传统RDB
的记录中字段类型是不同的,这种记录存储方式是不适合压缩算法,于是乎,那个牛人提出按照同字段类型来进行压缩,压缩后进行存储,这样同字段类型的存储
方式称为"列存储",于是我们就把不同字段类型的记录存储方式称为"行存储",很形象吧.
但是,基于"列存储"一直到98年真正成为数据库产品(解决了列存储后如何还原记录的问题,支持了SQL语言,支持大规模并发). 但这种"列存储"数
据库产品,本身不是从传统RDB环境下出来的,所以在DW理论架构中没有它传统的位置.直到IBM在实践中提出CDW组件的DW实施架构,人们惊奇的发
现,这种"列存储"数据库产品原来最适合CDW,因为CDW比EDW组件数据库要大,存在数据膨胀问题(一般1:3,甚至到1:15),而这种"列存
储"数据库产品由于最基本压缩机制的存在,居然数据不膨胀,反而很小,记得02年世界上最大单个数据库测试,122T数据量的EDW数据库,导入
CDW,只有这种"列存储"数据库经过几天成功Load,其他传统RBD都失败了.
对于目前大谈的"云集市"概念,其实对于"列存储"数据库符合"云计算"的思路很简单, 本来就是同一个类型字段按照不同的位压缩算法存放在一起的,你
就可以把这个同类型字段存放点称为"云"(名字叫法不同),不同"云"之间的整合(其实必须要整合,因为单一个字段不是一条记录,不同字段在一起才能叫
记录)就说支持网格, 不同的"列"存放在不同的系统(Windows,Unix,Linux)来支持大规模并发.
所以,我们只能拭目来看各软件厂商的喧叫,从原理上来冷静分析是不是值得我们去体验和采用.
On 5月22日, 下午4时25分, raullew <raul...@hotmail.com> wrote:
> DW计算的数据分发与合并通信是个大技术问题，oracle rac都没法解决，恐怕这种技术尚未成熟吧
>
> On 5月22日, 下午1时44分, Qing <happys...@gmail.com> wrote:
>
>
>
> > 前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
>
> > Appliance，列式存储，跟sybase
> > IQ等是一条路子。他们的合作一个重点词汇就在于----cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面-去。-"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道-，反正-里面可以分担压力。
>
> > 看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法--不应该叫做数据仓库，而是叫做"分析数据库"）
> > ），提到了数据集市的外包。这也许就是这种云集市的生存之本吧。按照文章的说法，将企业数据仓库外包的可能性不大（除非本身的事务系统也在云里面），但对于一些--非机密数据的分析。但对于数据集市，到时已经有些是外包了的。并且找出几个理由说，这种外包会继续下去，不过我没怎么看明白这些理由。总之，这些案例没有告诉-如-何将数据弄进这些数据库里面。
>
> > 扩展阅读：DWA概览（http://www.dbms2.com/2008/04/25/yet-another-data-warehouse-database-a...
> > ）- 隐藏被引用文字 -
>
> - 显示引用的文字 -
interstage
May 22, 2008, 6:18:38 AM5/22/08
to ttnn BI 观点
其实,我个人认为目前大家对于"云计算"关注,只要分析4家公司的"云计算"的态度,分别是google,微软,IBM,Intel 四家的说法就可以
了
1,google 显然是叫的最凶的,最理想化的东西,越理想化的东西,越美好,越让我们激动,但越难实现.克里斯托夫·比希利亚(请大家记住这个名
字),就是这个今年才27岁的年轻人2006年秋向谷歌董事长兼CEO施密特提出“云计算”的想法以来，就注定了全世界IT界的其不平凡.现在的年轻人
真是了不得. 在Google心目中，“云”必须具备以下条件：数据都存在网上，而非终端里；软件会最终消失，只要你的“云”设备中拥有浏览器就可以运
行现在的一切；“云”时代的互联网终端设备将不仅仅是PC：手机、汽车，甚至手表，只要有简单的操作系统加个浏览器就完全可以实现；由于数据都
在“云”端，企业的IT管理越来越简单，企业和个人用户也不用再担心病毒、数据丢失等问题。太美好了,看得我都性起了,估计真的实现,全球国家概念已经
消亡了,大同时代到来了.为了验证"云计算"的说法,Google说SUN公司的NC(网络计算机)、微软的.net战略、SAAS(软件即服
务),YouTube、Gmail以及Google的搜索引擎都可以视为“云计算”的早期产品,妈的,原来10年前,我们已经进入了"云时代"的早期,
太鸡吧神奇了,就象一个哲人对寻找幸福的人说,幸福其实就在你身边. 哦,我们开始顿悟了.
2,微软,显然Google的"云计算"是针对微软的,用好听的话说是:互联网时代的代表google向PC时代的代表微软宣战，于是乎,所有人都会
说:软件业的商业模式也正经受这样的挑战。呵呵,但真的是这样的吗. 看看微软的表态吧,微软说提出的.net战略中已经包含了‘云计算’的内容，只是
当时翻译成‘网格计算’而已。微软认为，目前炒得火热的“云计算”并没有新鲜的内容，而“云计算”领域，微软也并未落后。与google强调未来几乎所
有的软件都可以搬上网，以服务取代软件不同，微软说，完全用网络作为存储和计算不太可能，业界需要更均衡的观点。于是乎微软提出了“云-端计算”的概
念，即“云”和终端都会具备很强的计算能力。妈的,微软就是牛比，乾坤大挪移,说的很对呀,很多人习惯将其电子邮件保留在Web一端，但对于个人财务记
录，大多数人都希望将其置于书房或家用办公 PC上，而对于企业来说，往往拥有成百上千个应用程序，并非所有应用程序都适合于远程使用。所有应用程序都
在本地终端上使用也不一定合理，因此强调“云”和终端的均衡将是一种合理的方式。太鸡吧神奇了,就象一个国家告诉世界上最强的国家说,这个世界文化是多
样化的,要尊重别人的文化和习惯,求同存异. 哦,我们开始赞同了.
3,IBM,IBM其实我最佩服的,完全实用主义, IBM说:"随着数据量高速增加，比如银行和安全公司，也和互联网公司如Google、雅虎一
样，面对同样令人头疼的问题。效率、能耗和管理成本越来越不如人意。并且所有这样的公司都在大量采用来自互联网公司的技术，如搜索、移动商业和通信，以
及协作工具如博客、维基百科和社交网络。" 太辛苦了,于是乎.IBM马上告诉全世界,IBM计划建立一个相当规模的商业模式，为主流的企业客户引入
Google风格的计算方式,IBM把自己的创意称为“蓝云（Blue Cloud）”。妈的,都和它的"蓝"色搞在一起,云计算所需要的绝大部分基础
软件都是开源的，所以IBM为自己从2000年开始推广的Linux找到了借口,在面向企业级云计算的市场中，IBM正在着力把自己打造成行业的领导
者。这个公司的战略是，销售更多为云计算量身定制的硬件、软件和服务。从2008年春季开始，IBM将会提供适用于云计算的服务器电脑，包括主
机。IBM太神奇了,和几年前互联网代表SUN的JAVA技术出现一样,SUN没在JAVA赚更多的钱,居然成就了IBM的Websphere的神奇,
什么新理论,IBM把产品和思路一整合(反正IBM有的是整套产品和业务思路).太鸡吧神奇了,就象一个博彩业庄稼对2个正在搏击的拳手说:兄弟们,是
男人就好好打,全世界人民在看着你们呀.而. 哦,当我们看完这场持久的决战,突然发现,那个庄稼赚了很多钱.
4,Intel,每次软件计算的变革出现,我们都忽视的一家公司,但只有这个变革存在,这家公司却举足轻重."云时代”英特尔的定位仍是芯片技术的提供
者，商业模式不会发生太大变化，但技术发展的目标中有些东西需要增加。过去所有应用都是装在用户端或者局端数据库上运行，但今天通过互联网服务，大规模
数据会集中，数据中心的应用会发生，这是新的应用变化。英特尔未来的技术发展会和“云”里的应用发生很大关系，英特尔设计的服务器和平台会按这样的方向
变化：从过去只关注用户终端到端到端客户的对象会发生很大变化，但是，Intel不同意“云计算”会导致终端的性能被削弱的观点。杨叙认为，原来的互联
网主要以文字为主，对终端要求可能不高，而进入包括视频、视频流等大量应用的第二代互联网以后，虽然计算模式已和PC时代很不一样，也导致了新的应用和
服务层出不穷. Intel也太神奇了,不管是Google暂时领先,还是微软暂时领先,2家都不得罪,反正你们都离不开我,要高配置的终端,我提供高
性能芯片,要低配置的终端,我提供性价比高的芯片. 太鸡吧神奇了,就象一个政府官员,今年引来全球最大化工产业的资本,就说,我们这个地方如何如何专
业和有优势,要做成全国最大的化工产业基地.明年引来全球最大环保产业的资本,就说.环保问题是关系到子孙万代的事情,我们这个地方要做成全国最大的环
保产业基地.哦,我们突然发现真是官字两个口,如何说如何有理.
在所谓"云计算"的争论中,目前对于数据库端的Oracle的表态,基本上需要我们反着看,Oracle96年开始的重新崛起是举着反微软的大旗走微软
的道路,所以,只能反着思考,但另外2强HP和DELL在各自的领域中,至少会建设各自的自己的数据中心,会给自己的用户提供"云计算"的服务方式.
只要那个没落的贵族SUN,哎,让我说什么好,只能跟着Google大力支持着"云计算",就象春秋初期,那个跟着"齐桓公"的"宋襄公",在"齐桓
公"死后,独立抗击强大的楚国,那个恢复周礼式的战争风度,让后来除了叹气还是叹气
了
1,google 显然是叫的最凶的,最理想化的东西,越理想化的东西,越美好,越让我们激动,但越难实现.克里斯托夫·比希利亚(请大家记住这个名
字),就是这个今年才27岁的年轻人2006年秋向谷歌董事长兼CEO施密特提出“云计算”的想法以来，就注定了全世界IT界的其不平凡.现在的年轻人
真是了不得. 在Google心目中，“云”必须具备以下条件：数据都存在网上，而非终端里；软件会最终消失，只要你的“云”设备中拥有浏览器就可以运
行现在的一切；“云”时代的互联网终端设备将不仅仅是PC：手机、汽车，甚至手表，只要有简单的操作系统加个浏览器就完全可以实现；由于数据都
在“云”端，企业的IT管理越来越简单，企业和个人用户也不用再担心病毒、数据丢失等问题。太美好了,看得我都性起了,估计真的实现,全球国家概念已经
消亡了,大同时代到来了.为了验证"云计算"的说法,Google说SUN公司的NC(网络计算机)、微软的.net战略、SAAS(软件即服
务),YouTube、Gmail以及Google的搜索引擎都可以视为“云计算”的早期产品,妈的,原来10年前,我们已经进入了"云时代"的早期,
太鸡吧神奇了,就象一个哲人对寻找幸福的人说,幸福其实就在你身边. 哦,我们开始顿悟了.
2,微软,显然Google的"云计算"是针对微软的,用好听的话说是:互联网时代的代表google向PC时代的代表微软宣战，于是乎,所有人都会
说:软件业的商业模式也正经受这样的挑战。呵呵,但真的是这样的吗. 看看微软的表态吧,微软说提出的.net战略中已经包含了‘云计算’的内容，只是
当时翻译成‘网格计算’而已。微软认为，目前炒得火热的“云计算”并没有新鲜的内容，而“云计算”领域，微软也并未落后。与google强调未来几乎所
有的软件都可以搬上网，以服务取代软件不同，微软说，完全用网络作为存储和计算不太可能，业界需要更均衡的观点。于是乎微软提出了“云-端计算”的概
念，即“云”和终端都会具备很强的计算能力。妈的,微软就是牛比，乾坤大挪移,说的很对呀,很多人习惯将其电子邮件保留在Web一端，但对于个人财务记
录，大多数人都希望将其置于书房或家用办公 PC上，而对于企业来说，往往拥有成百上千个应用程序，并非所有应用程序都适合于远程使用。所有应用程序都
在本地终端上使用也不一定合理，因此强调“云”和终端的均衡将是一种合理的方式。太鸡吧神奇了,就象一个国家告诉世界上最强的国家说,这个世界文化是多
样化的,要尊重别人的文化和习惯,求同存异. 哦,我们开始赞同了.
3,IBM,IBM其实我最佩服的,完全实用主义, IBM说:"随着数据量高速增加，比如银行和安全公司，也和互联网公司如Google、雅虎一
样，面对同样令人头疼的问题。效率、能耗和管理成本越来越不如人意。并且所有这样的公司都在大量采用来自互联网公司的技术，如搜索、移动商业和通信，以
及协作工具如博客、维基百科和社交网络。" 太辛苦了,于是乎.IBM马上告诉全世界,IBM计划建立一个相当规模的商业模式，为主流的企业客户引入
Google风格的计算方式,IBM把自己的创意称为“蓝云（Blue Cloud）”。妈的,都和它的"蓝"色搞在一起,云计算所需要的绝大部分基础
软件都是开源的，所以IBM为自己从2000年开始推广的Linux找到了借口,在面向企业级云计算的市场中，IBM正在着力把自己打造成行业的领导
者。这个公司的战略是，销售更多为云计算量身定制的硬件、软件和服务。从2008年春季开始，IBM将会提供适用于云计算的服务器电脑，包括主
机。IBM太神奇了,和几年前互联网代表SUN的JAVA技术出现一样,SUN没在JAVA赚更多的钱,居然成就了IBM的Websphere的神奇,
什么新理论,IBM把产品和思路一整合(反正IBM有的是整套产品和业务思路).太鸡吧神奇了,就象一个博彩业庄稼对2个正在搏击的拳手说:兄弟们,是
男人就好好打,全世界人民在看着你们呀.而. 哦,当我们看完这场持久的决战,突然发现,那个庄稼赚了很多钱.
4,Intel,每次软件计算的变革出现,我们都忽视的一家公司,但只有这个变革存在,这家公司却举足轻重."云时代”英特尔的定位仍是芯片技术的提供
者，商业模式不会发生太大变化，但技术发展的目标中有些东西需要增加。过去所有应用都是装在用户端或者局端数据库上运行，但今天通过互联网服务，大规模
数据会集中，数据中心的应用会发生，这是新的应用变化。英特尔未来的技术发展会和“云”里的应用发生很大关系，英特尔设计的服务器和平台会按这样的方向
变化：从过去只关注用户终端到端到端客户的对象会发生很大变化，但是，Intel不同意“云计算”会导致终端的性能被削弱的观点。杨叙认为，原来的互联
网主要以文字为主，对终端要求可能不高，而进入包括视频、视频流等大量应用的第二代互联网以后，虽然计算模式已和PC时代很不一样，也导致了新的应用和
服务层出不穷. Intel也太神奇了,不管是Google暂时领先,还是微软暂时领先,2家都不得罪,反正你们都离不开我,要高配置的终端,我提供高
性能芯片,要低配置的终端,我提供性价比高的芯片. 太鸡吧神奇了,就象一个政府官员,今年引来全球最大化工产业的资本,就说,我们这个地方如何如何专
业和有优势,要做成全国最大的化工产业基地.明年引来全球最大环保产业的资本,就说.环保问题是关系到子孙万代的事情,我们这个地方要做成全国最大的环
保产业基地.哦,我们突然发现真是官字两个口,如何说如何有理.
在所谓"云计算"的争论中,目前对于数据库端的Oracle的表态,基本上需要我们反着看,Oracle96年开始的重新崛起是举着反微软的大旗走微软
的道路,所以,只能反着思考,但另外2强HP和DELL在各自的领域中,至少会建设各自的自己的数据中心,会给自己的用户提供"云计算"的服务方式.
只要那个没落的贵族SUN,哎,让我说什么好,只能跟着Google大力支持着"云计算",就象春秋初期,那个跟着"齐桓公"的"宋襄公",在"齐桓
公"死后,独立抗击强大的楚国,那个恢复周礼式的战争风度,让后来除了叹气还是叹气
Euler
May 25, 2008, 10:31:21 PM5/25/08
to ttnn BI 观点
"云计算"，听起来好像很炫，很虚幻的感觉，如果在不知道多少年后，真的横扫IT业界，变成美好现实的东西，又一场革命的到来；网络变得更虚了
google的思想总是让人触摸不到的感觉。。。
On May 22, 1:44 pm, Qing <happys...@gmail.com> wrote:
> 前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
>
> 这不，最近一则新闻就是关于vertica这个厂商跟amazon的合作，后者上次介绍过了，有人说它成功地从一个卖书的变成网络包租公，改提供云计算服务了。-而vertica是何许人也，他是一个专门的数据仓库产品，DW
> Appliance，列式存储，跟sybase
> IQ等是一条路子。他们的合作一个重点词汇就在于----cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面去。-"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道，反正-里面可以分担压力。
>
> 看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法-不应该叫做数据仓库，而是叫做"分析数据库"）
google的思想总是让人触摸不到的感觉。。。
On May 22, 1:44 pm, Qing <happys...@gmail.com> wrote:
> 前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
>
> Appliance，列式存储，跟sybase
> IQ等是一条路子。他们的合作一个重点词汇就在于----cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面去。-"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道，反正-里面可以分担压力。
>
> 看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法-不应该叫做数据仓库，而是叫做"分析数据库"）
wangyihua-1983
May 26, 2008, 11:42:29 PM5/26/08
to tt...@googlegroups.com
大家谁有关于数据仓库技术在电力行业应用的硕士毕业论文呀，小弟实在不才，写不出来了，感觉做的项目都是用的工具，不知道怎么写了。谢谢！
2008-05-27
wangyihua-1983
发件人： Qing
发送时间： 2008-05-22 13:44:56
抄送：
主题： 云集市
前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
这不，最近一则新闻就是关于vertica这个厂商跟amazon的合作，后者上次介绍过了，有人说它成功地从一个卖书的变成网络包租公，改提供云计算服务了。而vertica是何许人也，他是一个专门的数据仓库产品，DW
Appliance，列式存储，跟sybase
IQ等是一条路子。他们的合作一个重点词汇就在于----cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面去。"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道，反正里面可以分担压力。
interstage
May 27, 2008, 12:18:35 AM5/27/08
to ttnn BI 观点
哎，是我没理解，还是你谦虚了．写这样一个＂技术在行业的应用＂的论文，关键在于你侧重在技术还是在行业？ 如果是侧重在技术，你展开这些工具所内涵的
技术就可以，甚至你把这个技术结合在一起的架构描述清楚．如果是侧重在行业，你是计算机专业，不是电力行业的专业（是不是这样），那只能从google
上把电力行业的几个关注点查出来，转化成行业关注的ＫＰＩ，从ＫＰＩ向下展开架构和技术．写应用性论文其实不难，难的是把这些应用中的方法和技巧总结成
理论，这个是学生却缺乏的，因为学生基本没行业经验．所以＂技术在行业的应用＂硕士论文真正有价值的是，该硕士应该找到哪些数学算法适合电力行业的应
用，这样的应用论文就很有应用价值，因为那些数学算法是该行业有经验的人无法取代的．
On 5月27日, 上午11时42分, "wangyihua-1983" <wangyihua-1...@163.com> wrote:
> 大家谁有关于数据仓库技术在电力行业应用的硕士毕业论文呀，小弟实在不才，写不出来了，感觉做的项目都是用的工具，不知道怎么写了。谢谢！
>
> 2008-05-27
>
> wangyihua-1983
>
> 看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法-不应该叫做数据仓库，而是叫做"分析数据库"）
>
> 这点我也没想明白，不过人家肯定有他自己的解释。在dbms2的一篇文章中（http://www.dbms2.com/2008/05/08/outsourced-data-marts/），提到了数据集市的外包。这也许就是这种云集市的生存之本吧。按照文章的说法，将企业数据仓库外包的可能性不大（除非本身的事务系统也在云里面），但对于一些非-机密数据的分析。但对于数据集市，到时已经有些是外包了的。并且找出几个理由说，这种外包会继续下去，不过我没怎么看明白这些理由。总之，这些案例没有告诉如何-将数据弄进这些数据库里面。
>
> 扩展阅读：DWA概览（http://www.dbms2.com/2008/04/25/yet-another-data-warehouse-database-a...
技术就可以，甚至你把这个技术结合在一起的架构描述清楚．如果是侧重在行业，你是计算机专业，不是电力行业的专业（是不是这样），那只能从google
上把电力行业的几个关注点查出来，转化成行业关注的ＫＰＩ，从ＫＰＩ向下展开架构和技术．写应用性论文其实不难，难的是把这些应用中的方法和技巧总结成
理论，这个是学生却缺乏的，因为学生基本没行业经验．所以＂技术在行业的应用＂硕士论文真正有价值的是，该硕士应该找到哪些数学算法适合电力行业的应
用，这样的应用论文就很有应用价值，因为那些数学算法是该行业有经验的人无法取代的．
On 5月27日, 上午11时42分, "wangyihua-1983" <wangyihua-1...@163.com> wrote:
> 大家谁有关于数据仓库技术在电力行业应用的硕士毕业论文呀，小弟实在不才，写不出来了，感觉做的项目都是用的工具，不知道怎么写了。谢谢！
>
> 2008-05-27
>
>
> 发件人： Qing
> 发送时间： 2008-05-22 13:44:56
> 收件人： tt...@googlegroups.com
> 抄送：
> 主题： 云集市
>
> 前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
>
> 这不，最近一则新闻就是关于vertica这个厂商跟amazon的合作，后者上次介绍过了，有人说它成功地从一个卖书的变成网络包租公，改提供云计算服务了。-而vertica是何许人也，他是一个专门的数据仓库产品，DW Appliance，列式存储，跟sybase IQ等是一条路子。他们的合作一个重点词汇就在于----cloud，云。vertica的分析数据库据说已经支持网格计算，可以将对数据库的访问分散到云里面-去。"分散到云里面去"，我这么说大家可能觉得挺玄乎，其实我不知道是否有这样的说法，但这样说挺形象的。我们将云看作一堆不知所云的东西，里面的构造不知道，-反正里面可以分担压力。
> 发件人： Qing
> 发送时间： 2008-05-22 13:44:56
> 收件人： tt...@googlegroups.com
> 抄送：
> 主题： 云集市
>
> 前段时间讨论云计算的事情，大家谈起来觉得好像这离数据仓库是很远的事情。可是古人说的好，最遥远的距离不是天涯海角，而是就在你身边却摸不到。
>
>
> 看吧，云计算里数据仓库已经并不远。不过如果在细想一下，当然还会觉得有些疑问。比如数据源从哪里来呢？谁来用它的数据仓库呢？（也许按照vertica的叫法-不应该叫做数据仓库，而是叫做"分析数据库"）
>
> 这点我也没想明白，不过人家肯定有他自己的解释。在dbms2的一篇文章中（http://www.dbms2.com/2008/05/08/outsourced-data-marts/），提到了数据集市的外包。这也许就是这种云集市的生存之本吧。按照文章的说法，将企业数据仓库外包的可能性不大（除非本身的事务系统也在云里面），但对于一些非-机密数据的分析。但对于数据集市，到时已经有些是外包了的。并且找出几个理由说，这种外包会继续下去，不过我没怎么看明白这些理由。总之，这些案例没有告诉如何-将数据弄进这些数据库里面。
>
> 扩展阅读：DWA概览（http://www.dbms2.com/2008/04/25/yet-another-data-warehouse-database-a...
hawk
Jul 26, 2008, 5:46:54 AM7/26/08
to tt...@googlegroups.com
微软的云+端，可能更现实。
interstage
Jul 26, 2008, 9:06:56 AM7/26/08
to ttnn BI 观点
呵呵,现实的确是云+端。这是所有人基本上认可的.但"云"提出的内涵和对未来的描述比云+端要深刻的多,也是这10年以来 从
NC、.net、SAAS,YouTube、Gmail以及Google等发展来看,让人感觉从技术想象力和对未来经济贡献的角度而言,云更有市场.难
道没感觉微软这几年在端方面产品更新的速度越来越慢,而在云方面的进展越来越多(比如前段时间想收购yahoo,昨天收购了DATAllegro).
NC、.net、SAAS,YouTube、Gmail以及Google等发展来看,让人感觉从技术想象力和对未来经济贡献的角度而言,云更有市场.难
道没感觉微软这几年在端方面产品更新的速度越来越慢,而在云方面的进展越来越多(比如前段时间想收购yahoo,昨天收购了DATAllegro).
jun.sky
Jul 31, 2008, 2:42:30 AM7/31/08
to tt...@googlegroups.com
请教一下interstage，CDW组件的DW实施架构 是一个什么样的架构？
EDW组件数据库又是一个什么样的数据库？
-----邮件原件-----
发件人: tt...@googlegroups.com [mailto:tt...@googlegroups.com] 代表 interstage
发送时间: 2008年5月22日 17:03
收件人: ttnn BI 观点
主题: Re: 云集市
oracle rac只是解决并发和均衡计算的问题,Oracle在数据列存储技术上并不是领先者,
据说今年会出支持列存储的数据库产品,不知道现在是
否已经出了.Oracle经常干一些"一行代码没写,先在市场上说已经支持什么技术的事情,
等市场反映不错了,再写代码的事情".所以,不等于
ORACLE没解决,就说明技术未成熟的事情.记得Oracle在70年代底推出的数据库,在技术
和产品稳定性都不如ingress,就是靠那个"白巫
师"魔鬼式销售方式翘动了市场,在ingress和IBM夹缝中生存,一直到85年IBM选择SQL语
言作为RDB标准,使Oracle彻底击溃
ingress成为RDB的领导者.
列存储的出现,不是RDB本身造成的,是一个牛人搞出了基于位压缩算法,定义为BitWise
技术,这个压缩算法是基于同类型字段的展开,而传统RDB
的记录中字段类型是不同的,这种记录存储方式是不适合压缩算法,于是乎,那个牛人提
出按照同字段类型来进行压缩,压缩后进行存储,这样同字段类型的存储
方式称为"列存储",于是我们就把不同字段类型的记录存储方式称为"行存储",很形象
吧.
但是,基于"列存储"一直到98年真正成为数据库产品(解决了列存储后如何还原记录的问
题,支持了SQL语言,支持大规模并发). 但这种"列存储"数
据库产品,本身不是从传统RDB环境下出来的,所以在DW理论架构中没有它传统的位置.直
到IBM在实践中提出CDW组件的DW实施架构,人们惊奇的发
现,这种"列存储"数据库产品原来最适合CDW,因为CDW比EDW组件数据库要大,存在数据膨
胀问题(一般1:3,甚至到1:15),而这种"列存
储"数据库产品由于最基本压缩机制的存在,居然数据不膨胀,反而很小,记得02年世界上
EDW组件数据库又是一个什么样的数据库？
-----邮件原件-----
发件人: tt...@googlegroups.com [mailto:tt...@googlegroups.com] 代表 interstage
发送时间: 2008年5月22日 17:03
收件人: ttnn BI 观点
主题: Re: 云集市
oracle rac只是解决并发和均衡计算的问题,Oracle在数据列存储技术上并不是领先者,
据说今年会出支持列存储的数据库产品,不知道现在是
否已经出了.Oracle经常干一些"一行代码没写,先在市场上说已经支持什么技术的事情,
等市场反映不错了,再写代码的事情".所以,不等于
ORACLE没解决,就说明技术未成熟的事情.记得Oracle在70年代底推出的数据库,在技术
和产品稳定性都不如ingress,就是靠那个"白巫
师"魔鬼式销售方式翘动了市场,在ingress和IBM夹缝中生存,一直到85年IBM选择SQL语
言作为RDB标准,使Oracle彻底击溃
ingress成为RDB的领导者.
列存储的出现,不是RDB本身造成的,是一个牛人搞出了基于位压缩算法,定义为BitWise
技术,这个压缩算法是基于同类型字段的展开,而传统RDB
的记录中字段类型是不同的,这种记录存储方式是不适合压缩算法,于是乎,那个牛人提
出按照同字段类型来进行压缩,压缩后进行存储,这样同字段类型的存储
方式称为"列存储",于是我们就把不同字段类型的记录存储方式称为"行存储",很形象
吧.
但是,基于"列存储"一直到98年真正成为数据库产品(解决了列存储后如何还原记录的问
题,支持了SQL语言,支持大规模并发). 但这种"列存储"数
据库产品,本身不是从传统RDB环境下出来的,所以在DW理论架构中没有它传统的位置.直
到IBM在实践中提出CDW组件的DW实施架构,人们惊奇的发
现,这种"列存储"数据库产品原来最适合CDW,因为CDW比EDW组件数据库要大,存在数据膨
胀问题(一般1:3,甚至到1:15),而这种"列存
储"数据库产品由于最基本压缩机制的存在,居然数据不膨胀,反而很小,记得02年世界上
hunter
Aug 1, 2008, 12:47:27 AM8/1/08
to ttnn BI 观点
技术发展好快。10年前还在讨论email的上网求救用途，现在已经是彻底的基于新模式的技术创新
老在想如果没有学过冯。诺伊曼体系的人是否更有可能创造出突破性的计算架构
> > - 显示引用的文字 -- Hide quoted text -
>
> - Show quoted text -
老在想如果没有学过冯。诺伊曼体系的人是否更有可能创造出突破性的计算架构
>
> - Show quoted text -
interstage
Aug 1, 2008, 2:30:56 PM8/1/08
to ttnn BI 观点
jun.sky你的这个问题,显然是没有看5月份的TTNN对所谓牛人提出来的"牛比混合数据模型"来支撑企业业务发展10年的观点的交锋.为了反驳他
的这个观点,我已经讲到了6种DW实施架构,传统的inmon和kimball关于DW架构理论,基于CDW组件的DW实施架构的历史来源和现状以及提
出未来CDW组件将采用列式数据库或数据仓库应用设备为主的发展方向,你看看TTNN的5月份的杂志就应该清楚了.
权威的名字解释如下:enterprise data warehouse(EDW) - a data warehouse holding
the most atomic data the corporation has. Two or more enterprise data
warehouses may be combined in order to create a distributed data
warehouse
Corporate Data Warehouse (CDW)----CDW is an environment for storage
and retrieval of corporate systems data, both current and historical.
The goal of the
CDW is to provide easy access to integrated, accurate, and timely
information through interfaces that facilitate querying and reporting
by end users
CDW和EDW的差别在于:
1,CDW组件的出现是晚于2大架构(inmon的CIF架构核心是EDW,而kimball的MD架构其实是很多MD的虚拟集合)的,但奇怪的
是,CDW组件到现在也存在了10年,居然2大架构没有融合它进来(期间2000年以后inmon注册的DW2.0还修正过),所以这也是我一直想知道
的原因,我个人认为是CDW组件的出现只是技巧性和方法性的,不存在对架构中各组件逻辑功能的理论再补充.
3,CDW目前的真正作用,我个人认为是将CIF架构中EDW组件的部分功能和MD架构中Staging Area组件的全部功能合并,可能在未来随着
云计算的深入,会整合这2大组件单独成为基于云计算模式下数据仓库的组件被理论定义.
4,CDW有一个认识陷阱,就是以为CDW比EDW小,但实际上是相反的,在数据膨胀的角度考虑,CDW一定是超过EDW的.
> > - 显示引用的文字 -- 隐藏被引用文字 -
>
> - 显示引用的文字 -
的这个观点,我已经讲到了6种DW实施架构,传统的inmon和kimball关于DW架构理论,基于CDW组件的DW实施架构的历史来源和现状以及提
出未来CDW组件将采用列式数据库或数据仓库应用设备为主的发展方向,你看看TTNN的5月份的杂志就应该清楚了.
权威的名字解释如下:enterprise data warehouse(EDW) - a data warehouse holding
the most atomic data the corporation has. Two or more enterprise data
warehouses may be combined in order to create a distributed data
warehouse
Corporate Data Warehouse (CDW)----CDW is an environment for storage
and retrieval of corporate systems data, both current and historical.
The goal of the
CDW is to provide easy access to integrated, accurate, and timely
information through interfaces that facilitate querying and reporting
by end users
CDW和EDW的差别在于:
1,CDW组件的出现是晚于2大架构(inmon的CIF架构核心是EDW,而kimball的MD架构其实是很多MD的虚拟集合)的,但奇怪的
是,CDW组件到现在也存在了10年,居然2大架构没有融合它进来(期间2000年以后inmon注册的DW2.0还修正过),所以这也是我一直想知道
的原因,我个人认为是CDW组件的出现只是技巧性和方法性的,不存在对架构中各组件逻辑功能的理论再补充.
3,CDW目前的真正作用,我个人认为是将CIF架构中EDW组件的部分功能和MD架构中Staging Area组件的全部功能合并,可能在未来随着
云计算的深入,会整合这2大组件单独成为基于云计算模式下数据仓库的组件被理论定义.
4,CDW有一个认识陷阱,就是以为CDW比EDW小,但实际上是相反的,在数据膨胀的角度考虑,CDW一定是超过EDW的.
>
> - 显示引用的文字 -
Reply all
Reply to author
Forward
0 new messages