引领潮流的网格技术

0 views
Skip to first unread message

Ernest Yan

unread,
Mar 25, 2006, 10:41:34 AM3/25/06
to Google & Internet User Group
来源:中国网格信息中转站
http://www.chinagrid.net/dvnews/show.aspx?id=1304&cid=5
作者:刘鹏

2001年9月10日,也就是“9.11”事件发生的前一天,美国《福布斯》杂志的科技版发表了一组文章,预告一种叫做“网格”的技术将引领信息技术的下一波大浪潮。《福布斯》甚至说,到2020年,由网格所代表的新型互联网经济,将成长为拥有20万亿美元产值的大工业。

来自电力网的灵感
说起来您也许不相信,网格的原始思想居然来自于电力网。单看“网格(Grid)”这个词,就取自于“电力网(Power
‍Grid)”。电力网虽然已经有上百年历史,但它有一点思想却一直非常先进:您只需要区别220V还是380V,再插上插头、打开开关就能源源不断地用上电力,一点都不需要关心电能是从哪个发电厂送来的,也不需要知道这是水力电、火力电还是核能电。之所以能够这样,是因为电力网把全国的发电厂、输电站和变电站用输电网络连接成为一个整体了,如图1-1所示。


图1-1 电力网整合了电力资源提供按需访问

再看看现在的互联网。现在的互联网上虽然拥有大量的资源,但管理得并不好,这些资源没有形成一个整体。如果不考虑互联网比电力网要复杂很多这一点,在整体协调管理方面比电力网差远了。

互联网又称作因特网(Internet),它始建于冷战对峙的上世纪60年代,当时采用数据包交换方式和统一标准的信息传输协议TCP/IP[1],其网状的数据传输方式可以在即使局部设施遭受核打击后整体仍能工作。直到80年代,互联网还主要局限于数量不多的科研人员使用,称作第一代互联网。它的操作界面全是文字信息,需要人输入命令与机器对话,这有点像以前计算机所使用的磁盘操作系统(DOS)。这个阶段的典型应用是收发电子邮件、传输文件、发布文字新闻及言论等。

进入20世纪90年代后,在和平与发展的主旋律下,欧洲高能物理研究中心(CERN)为了能更好地与全世界的高能物理研究人员开展联合研究,发明了超文本[2]格式,把分布在网上的文件链接在一起。这样用户只要在图形界面上点点鼠标,就能从一个网页跳到另一个网页,不仅可以看到文字信息,还可以欣赏到丰富多彩的图片、声音、动画、影像等多媒体信息。这个阶段的互联网称作环球网(又叫万维网、WWW或Web),它用超文本和多媒体技术改造了第一代互联网,让互联网从学术的象牙塔走进千家万户。您只需坐在家里,就能去浏览新闻、与人聊天、订购商品、对打游戏、欣赏影片……环球网激发了人们对未来的美好想象,改变了我们工作、生活、学习、娱乐的方式,被称为第二代互联网。1995年,开发因特网浏览器软件的网景公司上市,一夜之间变成市场价值20亿美元的巨人。从此,一轮以互联网为主题的新经济浪潮席卷全球。美国德克萨斯大学1999年10月份公布的一项研究报告说,1999年网络经济给美国经济增加了5,070亿美元的产值,增加了230万个就业机会,超过了电信和民航等传统产业的规模。2001年9月,全世界上网人数达到了4.74亿。2004年6月,我国的互联网用户数已经达到了8700万人,是1997年的140倍[3]。

第二代互联网虽然比第一代互联网先进了许多,但它也暴露出了严重的弱点。首先,互联网上的信息未经过有效的规范和整理,使用起来非常不方便。人们使用网上资源不外乎有两种方式:直接访问网站或通过搜索引擎查找资源。目前,访问网站时我们需要告诉计算机去访问哪一个网站,这就像要求我们在打开电灯的开关时必须先自己指定一个发电厂;另一种是使用搜索引擎查询,但输入一个查询关键字往往会得到数万个结果——需要依靠手工从中挑选有用的结果。现在的整个互联网就像一座堆满了书籍、无人整理的图书馆,而您只能手工检索乱七八糟的书目以求找到自己需要的信息。这种查找信息的方式像“地毯式轰炸”,一点儿都不像“精确打击”,与插上插头就能用电那种便利无法相比。其次,现在的互联网各种类型的信息标准不统一,难以实现互操作,结果遍地是信息“孤岛”,造成“烟囱”林立的局面。人们上网的时候,虽然顺着超级链接一会儿到了这个网站,一会儿又进了那个网站,但消化和整理信息的工作都是人工完成的。设想一下,如果有人计划从北京到西双版纳旅游,需要从网上预订飞机票、汽车票、导游和旅馆等,他首先得去搜索引擎上找一通,然后挨个儿去访问一家家网站——这个流程没有半天做不下来。因此,我们现在这个“网络时代”,是可以加个限定词的,叫做“手工作坊式的网络时代”。由于对资源的使用都是手工方式的,造成资源的利用率极其低下,资源只有5-10%的利用率。另外,除了使用不方便、工作效率不高、资源利用率低外,现在的互联网上垃圾邮件泛滥,病毒黑客横行,非法网站屡禁不绝,信息安全得不到保障,这些都是由于目前的网络欠缺有效管理所暴露出来的问题。

从20世纪90年代中期发展起来的网格技术,可以彻底改变这个现状,它被称作第三代互联网。网格是构筑在互联网上的一组新兴技术,它将高速互联网、高性能计算机、大型数据库、传感器、贵重设备等融为一体,使人们能够透明地使用资源的整体能力,并能按需获取所有信息。

网格的主要任务是在动态变化的网络环境中共享资源和协同解决问题。网格对现有互联网进行了非常好的管理,它把分散在不同地理位置的资源虚拟成为一个空前强大的信息系统,实现计算资源、存储资源、数据资源、信息资源、软件资源、通信资源、知识资源和专家资源等的全面共享。这些资源形成一个整体后,用户可以从中享受一体化的、动态变化的、可灵活控制的、智能的、协作式的信息服务,获得前所未有的使用方便性和超强能力。


那么,网格是怎样做到这些的呢?网格的这种能力是依靠网格软件平台实现的,如图1-2所示。一方面,网格软件平台起到综合集成网格中各种资源的作用。这些资源包括超级计算机、海量存储器、数据库、网络和贵重设备等。所有的资源都以统一的标准描述其功能和访问接口,然后在网格注册中心进行规范化登记,这样网格注册中心就能对外提供信息服务了。计算机间交互的信息格式和内容,也经过了很好的规范,就像大家都讲普通话一样,这样,计算机之间就能互相理解信息的含义,自动完成信息的融合,这也就是前面所说的“互操作”。不仅如此,网格还有一整套资源管理、错误监测和安全保障机制,确保系统能安全高效地运行。任何一台计算机,都可以到网格注册中心自动检索所需要服务,然后把它们集成起来,形成一个满足应用需要的工作流程,面向用户提供前所未有的超级服务;另一方面,网格软件平台还提供了一些支持各种类型应用的常用工具,如协同工作工具、数据管理工具和分布式仿真工具等。这些工具让基于网格的应用开发变得更加容易。有了网格软件平台的支持,网上的资源经过“综合集成”,就可以“一体化联合作战”了。例如,综合所有计算能力提供按需计算服务,综合所有存储空间提供超级存储服务,综合所有信息源提供“随手可得”的信息服务,综合所有商务过程提供“随需应变”的电子商务服务,等等。


图1-2 网格软件平台起到融合资源和支撑应用的作用

当互联网实现网格化之后,人们根本不需要知道服务是由哪些服务商提供的,就能像用电一样按照自己的需求享受前所未有的超级服务,如图1-3所示。例如,当您向自己的计算机发出指令:“我需要每秒200万亿次的计算能力,还要把100太字节的海量数据保存起来”,这台计算机就会把您的需求告诉网格软件平台。由于网格软件平台管理了千百万台计算机和存储器的计算资源和存储资源,它会将用户的计算题目和海量数据分解到其中的若干台计算机上,并负责指挥这些计算机和存储器实现协同工作;再如,当您向自己的计算机发出指令:“我明天要到西双版纳旅游,需要三星级服务”,您的计算机就会把您的需求转告网格软件平台。网格软件平台发现这是一个旅游服务问题,于是安排了一台运行网格旅游应用软件的服务器为您的计算机服务。这个软件会根据您的需求,自动地与民航、铁路、公路的网格服务器[4]分别“交谈”,为您定下机票、火车票和汽车票。由于西双版纳可供选择的宾馆非常多,网格旅游应用软件会根据您的要求,首先把三星级宾馆的网格服务器筛选出来,然后分别与它们“交谈”,询问他们的报价以及是否有空房间等,甚至与一个专门依靠收集顾客反映来评价宾馆服务质量的网格服务器“交谈”,获得对他们服务质量的评价,最后为您选定一家最合适的宾馆。上述过程牵涉到付费的问题,不过这您也不用操心,您的计算机会自动地用您的网上银行帐户付费。如果您又临时取消了行程,只需要“告诉”您的计算机一声,所有的预订都会自动取消,当然,扣掉一点手续费是必要的。类似地,有了这种计算机之间高效互操作的机制,一家企业想知道自己的商品在全球的销售动态,或想以成本最低的方式采购若干种原材料,都变成了轻而易举的事情。


图1-3 像用电一样按需获取网格的巨大能力

网格融合网络资源后,带来了前所未有的能力。网格突破了计算能力、存储能力大小的限制,所能提供的计算和存储能力远远超出我们的想象;其次是突破了地理位置的限制,使得资源可以任意分布,而人们可以在任意地点获取整体能力;再次,它打破了传统的共享协作方面的限制,使得“人-机”、“人-人”、“机-机”之间可以进行任意的交互和沟通,可以将各个领域的专家和各种资源充分结合起来,动态建立各种虚拟组织,协同解决问题。

过去人们很自然地把“能力”与“实物”对应起来,将“使用”与“拥有”对应起来,网格将带来这些观念的改变。例如,原来人们一般是购买了计算机才能够使用上计算能力,于是习惯上将计算能力和有形的计算机联系起来了。而网格就是在剥去了具体的计算资源外在的“形”的基础上,将其内在的“神”——计算能力抽取出来,将原来有形的、专用的计算能力转化为一种无形的、通用的、分布在网上的计算能力,就如同电力网将各种能源转化为没有差别的电力一样。可以说,网格让人们“手中无剑,却胜有剑”,正如自己不拥有发电机却能获得所需要的电力一样。网格将改变人们传统的信息处理方式,为人们提供更强大、更方便、更高级的信息平台。

为了更好地理解网格,可以把网格与电力网进行更详细的比较,如表1-1所示。

表1-1 网格与电力网的比较

分类
电力网
网格

能力来源
各类发电站,包括水电站、火电站、核电站等
各类计算机、存储器、数据库、软件等

传输媒介
输电网
计算机网络

供应内容
电力
计算能力、存储能力、数据、信息、知识

服务对象
全社会的个体和组织
全社会的个体和组织

整体性

所有资源在一张电网上得到整合,提供远大于任何局部的能力

所有资源虚拟成一台超巨型计算机,提供前所未有的信息服务能力

一致性
统一的连接接口
标准的访问界面

易用性
在任何地方,插上插头就能按需使用电能
从任何地方将计算机接入网格即可按需使用资源

广泛性
全球无所不在
全球无所不在


清华大学李三立院士将网格与信息高速公路做了比较,他认为信息高速公路是传输和获取信息的基础设施,而网格则是处理信息的基础设施。虽然,国内外都有不断把信息高速公路扩充频带宽度、改进路由器性能的计划,但是真正的下一代信息基础设施是网格,它将使以计算机为主体的信息处理发生根本性的变化。

中国科学院计算所李国杰院士认为,第一代互联网实现了计算机硬件的连通,第二代互联网实现了网页的连通,而作为第三代互联网的网格则试图实现网上所有资源的全面连通,不仅仅包括计算机和网页,而且包括各种信息资源,例如数据库、软件以及各种信息获取设备等。整个网络连接成一个整体,如同一台巨大无比的计算机,向每个用户提供一体化的服务。

风起云涌的研发热潮
网格技术的出现和发展引起了普遍重视,世界主要国家和地区把发展网格技术放到了战略高度,纷纷投入巨资,抢占战略制高点。

美国政府单在网格技术的基础研究上,每年投入的经费就高达5亿美元。美国能源部支持的“科学网格”采用每秒能传输622兆比特的网络连接了能源部的两台超级计算机,网格计算能力达到每秒5万亿次,存储能力达到1.3千万亿字节;美国国家科学基金会支持的“万亿规模网格”将连接位于五个地点的超级计算机,达到每秒20万亿次的计算能力,并能存储和处理近1千万亿字节的数据。“万亿规模网格”最大特色是连接网格的专用网络带宽将达到惊人的每秒40吉比特。“万亿规模网格”项目始于2001年8月,由美国国家科学基金会投资5300万美元,次年10月又追加3500万美元。它支持计算密集型、数据密集型和通讯密集型的应用,其主要应用领域为气候、环境、地震、生物、材料等科学计算和工程模拟应用;美国“物理学网格”计划建立每秒千万亿次级别的计算平台,用于数据密集型计算。

欧洲国家从2000年开始启动了一系列网格研究项目。“欧洲数据网格”是一个国际性大型研究和技术发展项目,于2000年12月由欧盟提供1000万欧元资金启动,项目完成期限为3年。“欧洲数据网格”涉及到欧盟的20几个国家,是一种典型的“大科学”应用平台。它主要针对高能物理应用,解决海量数据的分解存储和处理问题,突破地理局限,允许分布在世界各地的工作者共享海量数据和贵重设备,共同开展科学研究。英国政府非常重视网格技术的研究,他们认为网格是环球网的必然后继者,计划在2006年前投资2.4亿英镑支持网格研究项目,其应用领域包括粒子物理、生物信息学、气候环境变化、工程系统设计等多学科领域。除此之外,欧洲还有“计算机资源的统一接口”、“元计算在线”等网格研究项目正在开展。

日本与韩国的网格计划已经启动,并各自成立了全国网格论坛。日本在2003年启动了“国家研究网格”和“商务网格”,前者政府投入100亿日元,后者政府投资20亿日元,由企业配套更多资金。日本的“数据储存场”网格项目,主要用于千万亿字节量级的高能物理实验数据的分析和处理,与“欧洲数据网格”相连。韩国的网格计划之一是N*Grid,2002-2006年的五年间将投资3500万美元,但不包括网络和高性能计算机1500万美元的投入。我国台湾地区也启动了“知识创新网格”的三年科研计划(2003-2005),总投资为3000万美元。

不单国家和地区政府对网格做了巨大投资,世界知名大公司也闻风而动。世界最大的电脑公司国际商业机器公司在2001年8月宣布,将投入40多亿美元实施“网格计算创新计划”,全面支持网格计算。2002年,国际商业机器公司又宣布投入100亿美元来发展“随需应变的电子商务”计划,网格是其核心。这个计划将整合包括硬件、存储、网络等在内的基础设施,以及软件、数据库、操作系统、业务咨询服务等信息系统,提供一种前所未有的按需运用信息机制,促使企业业务流程的变革。国际商业机器公司目前已经针对十多个企业类别,开发了上百个网格应用实例;世界最大的软件公司微软公司计划在2006年以前推出符合网格特征的操作系统。比尔·盖茨认为,现在的桌面操作系统、服务器操作系统有很多缺点,它们将会被网络化的分布式操作系统超越;世界最大的企业软件公司甲骨文公司于2003年9月在旧金山发布了最新数据库产品Oracle
10g,这个g就是网格(grid)的缩写,标志着世界上应用得最广泛的数据库系统已经网格化了;20世纪90年代提出“网络就是计算机”的太阳公司于2001年推出了网格计算计划和网格引擎产品,并朝建立公用计算设施的方向努力。2002年太阳公司提出下一代开放网络架构,将向企业提供按需服务的能力;加拿大的平台公司推出了基于网格平台Globus的商业软件系统;Avaki公司实现了基于网格平台Legion系统的网格产品。

就像因特网需要依赖TCP/IP协议一样,网格也需要依靠标准协议才能实现共享和互通。目前,包括全球网格论坛、对象管理组织、环球网联盟以及Globus网格联盟在内的诸多团体都在争夺网格标准的制定权。Globus联盟在网格标准协议制定上有很大发言权,因为迄今为止,它开发的网格平台Globus工具箱已经被广泛采用。一些重要的公司,包括国际商业机器公司、微软公司、康柏公司等都公开宣布支持Globus工具箱。目前大多数网格项目都是基于Globus箱所提供的协议及服务建设的。2002年2月,在加拿大多伦多市召开的全球网格论坛会议上,Globus联盟和国际商业机器公司共同倡议了一个全新的网格标准——“开放网格服务体系结构”。“开放网格服务体系结构”把Globus标准与以商用为主的网络服务标准结合起来,统一以网络服务的方式对外界提供网格的服务能力。“开放网格服务体系结构”的诞生,标志着网格已经从学术界的象牙塔延伸到了商业世界中,从一个封闭的世界走进了开放的环境中。

我国从20世纪90年代中期开始跟踪网格技术的发展,基本与国外同步。1999年-2001年,在教育部支持下,清华大学进行了“先进计算基础设施”的研究。这个试点工程将分布于北京和上海的两台超级计算机连接成为聚合计算能力达到每秒4500亿次的网格计算平台,并提供网页访问界面,让分布于各地的用户能够在家中使用其超级计算能力。清华大学为“先进计算基础设施”开发了多个软件系统,包括资源管理系统、任务管理系统、用户管理系统及安全服务与监控系统等。在此基础上,还开发了多个应用系统,构成了跨地区、跨学科的“虚拟实验室”研究环境。先进计算基础设施系统于2001年6月通过了鉴定,是我国第一个通过鉴定的网格项目。

同期,中科院计算所联合十几家科研单位,承担了863重点项目“国家高性能计算环境”的研究。“国家高性能计算环境”把我国的8个高性能计算中心通过因特网连接起来,进行统一的资源管理、信息管理和用户管理,并在此基础上开发了多个计算型的网格应用系统,取得了一系列研究成果。

2002年4月,国家科技部召开了网格战略研讨会,确认将网格的研究和应用列为“863计划”的一个专项,启动了“中国国家网格”的研究,投资高达3个亿。“中国国家网格”将在全国设立多个网格节点,媒体广泛报道的4万亿次的联想深腾6800超级计算机和11万亿次的曙光4000A超级计算机都是其中的节点。

2002年8月,以“提供经过消化的中文网格信息”为主旨的中国网格信息中转站[5]正式启动。目前它已成为国内最大和最具影响力的网格专业网站。

2002年10月,世界第二本、国内第一本网格专业书籍《网格计算》由清华大学出版社出版。

2002年12月,上海市宣布将投入两个多亿,建设“E研究院”。其中,“上海高校网格”建设将把上海交大、复旦、华东理工、上海大学等多所高校用网格整合起来,共享资源,进行协同式的教学科研。

2003年10月,教育部宣布投资2000万元人民币启动“中国教育科研网格”项目,目标是在2005年建立聚合能力超过15万亿次量级的教育科研网格,它将把全国100所211建设重点大学的资源在教育科研网上广泛共享,并争取在网格计算的基础研究和应用研究方面走在世界前列。

2003年11月,中国首届“网格主题日”在中国人民大学举办,300多位网格研究者与会。“网格主题日”活动由中国网格信息中转站发起,每年举办一次。

2003年12月,在香港举办的美国电气与电子工程师协会集群计算会议上,清华大学与香港大学合作研究的“反垃圾邮件网格”,作为该会议选出的全球七个杰出网格项目之一,作了精彩的现场演示。

2004年4月,由美国国际数据集团和中国网格信息中转站联合举办的网格计算国际研讨会在北京举办,来自各行各业的1000多名代表出席,盛况空前,说明网格已经引起了企业界的广泛注意。

2004年5月,我国首家军事网格研究中心在解放军理工大学正式成立。解放军理工大学近年通过多种途径培养了高层次的信息技术队伍,造就了国内顶尖的网格技术人才,具备了开展军事网格研究的实力。解放军理工大学根据学科分布密集、各种资源丰富、对网格技术需求广泛的特点,在反复调查论证的基础上,成立了军事网格研究中心。该中心将开展军事网格的体系结构、核心技术和标准规范研究,开发网格基础平台和以综合集成为代表的典型应用。

2004年10月,网格与协同计算国际研讨会 (GCC
2004)将在武汉举行,“网格之父”伊恩·福斯特将与会发表主题演讲。此前,网格与协同计算国际研讨会已经在我国举办两届,影响越来越大,从一个侧面反映出网格研究队伍的发展壮大。

卓尔不凡的网格应用
网格将成为人类社会迄今为止最强有力的“工具”。它使得人们能够同时调动数百万台计算机完成某一个计算任务,能够操作千里之外的贵重设备,能够汇集数千科学家之力共同完成某同一项科学试验,能够让分布各地的人们在逼真的虚拟现实环境中进行面对面的交流,能够让计算机自动完成许多以前必须由人完成的处理流程……根据作用的不同,网格可以划分成不同的类型,如计算网格、设备网络、数据网格、远程沉浸网格、信息网格等。

(1) 计算网格:进行分布式超级计算
获得前所未有的计算能力是开展网格研究的初衷。这类研究称作分布式超级计算,其目标是将地理上广泛分布、系统平台各异的多种计算资源,用高速网络连接起来,形成虚拟的超级计算平台,获得前所未有的处理能力,用于解决诸如飞行器数字模拟、核爆炸模拟、天体运行模拟和高分子材料分析等需要超强计算能力的科学和工程问题。与传统的分布式计算相比,这类系统具有更复杂的特征,如动态扩展性、系统平台的异构性、结构的不可预测性、多级管理域等。这些问题的解决,需要一种新的技术,从整体上来管理系统的运行。这类系统被称为计算网格,它作为“粘合”不同网络空间、不同系统平台的管理系统,实现整个系统的资源管理、作业管理、用户管理和安全管理等功能,保障整个计算系统的可靠运行。


由美国国防部下属的国防高级研究计划局支持的、加州理工学院负责完成的军事仿真项目“合成军队表示(SF
Express)”,将大型军事仿真任务分解到分布式环境中运行,在场景分发、资源配置、资源管理、信息服务、日志服务、监视和容错等方面都利用了网格平台的动态管理功能。1998年3月16日,“合成军队表示”集合了分布于7个时区的13台并行计算机之力,使用1,386个处理器,成功模拟了100,298个战斗实体,实现了当时历史上最大规模的战争模拟。而在没有使用网格之前,“合成军队表示”只能模拟10,000个战斗实体。


图1-4 “合成军队表示”所模拟的战斗场面

德国爱因斯坦研究所带领多家单位共同进行了数字相对论的研究,它利用网格求解爱因斯坦相对论方程并模拟出天体的运动规律。该项目使用了4台超级计算机,并采用了许多措施来优化分布式计算的整体性能。运行效率由优化前的15%,提升到了优化后的63%。该项成就使得它在2001年国际超级计算会议上获得了著名的戈登·贝尔奖。

在计算规模上,美国加州大学伯克利分校实现的“在家中搜寻外星人(SETI@home)”分布式超级计算项目已经达到了超乎想象的程度。在波多黎各,有台世界上最大的射电望远镜,它采集来自外太空的各种信号,希望能够从中找到外星人试图与人类沟通的证据。这台射电望远镜每天将采集到50吉字节的数据,而分析这些数据的工作量,是世界上任何一台超级计算机都无法完成的。于是,从1999年5月开始,加州大学伯克利分校在其网站上发布了一个软件,邀请所有人前去下载。当这个软件安装在您的计算机上后,将以屏幕保护程序的方式进行工作,每当计算机处于空闲状态时,它就自动开始计算,分析一小块数据,并把计算结果自动发往“在家中搜寻外星人”项目的网站进行汇总。要知道,参加者完全是出于兴趣,免费贡献自己计算机的处理能力。这个项目取得了巨大的成功,参加的人数和所贡献的计算能力是天文数字。从1999年5月到2004年6月,一共有500万人参加此项计算,贡献了197万年的计算机处理时间,完成了5.2×1021次运算。当然,至今尚未找到外星人存在的有力证据。

像“在家中搜寻外星人”项目这种计算形式被称作志愿者计算。它是网格计算的一种特殊形式,类似的项目还很多。美国“药物设计与优化设计实验室”致力于利用成千上万台志愿计算机寻找埃博拉病毒、炭疽热杆菌和天花病等的解药。2003年非典型性肺炎发作期间,
该实验室紧急开展了寻找非典型性肺炎解药的工作;“分布式网络”项目用来破解密码,目前已经能够成功破解56位的RSA密码;“在家中研究蛋白质折叠”项目致力于研究蛋白质和疾病的关系;“寻找一种新药”项目致力于发现新药;“在家中对付艾滋病”项目用于寻找抗艾滋病的药物;“在家中研究基因”项目专门破解基因序列;“因特网梅森素数大搜索”和“MM61素数的分解”项目则用于发现更大的素数,等等。

(2) 设备网格:远程共享仪器设备
随着网格应用的不断发展,人们将网格资源的类型进一步扩展,将一些广泛分布的贵重仪器和大型设备,也加入到网格系统中,实现这些设备的远程共享,提高它们的利用率,扩大它们的应用范围。

例如,由美国能源部资助的“X射线设备的科学门户”项目,让远程使用科学仪器达到前所未有的方便程度。在网格的支持下,该项目提供了对几台昂贵的X射线结晶学设备的远程访问环境,提供这些远程仪器的使用规划、仪器操作、数据获取、筛选和分析等功能。“X射线设备的科学门户”项目将大大简化巨型分子晶体结构的分析工作。科技工作者只要用邮包把晶体快递到仪器所在地,就可以在自己实验室中获取到晶体内部结构的可视化图像。“X射线设备的科学门户”项目带来的明显好处是:一方面它提高了设备的利用率,使普通的科技工作者能够用上先进设备;另一方面它提供了一个协同研究的平台,使研究能够以团队的方式开展,为交叉学科研究创造了条件。

(3) 数据网格:处理极其海量的数据
现实中有很多应用是数据密集型应用,这类应用更侧重于数据的存储、传输和处理。这方面的典型应用包括卫星数据处理、粒子物理研究和生物与医学研究等。这些应用的共同之处在于:都要处理极其海量的数据。而解决这一类问题的有效途径就是建立数据网格,将大量数据分散到全球各地的计算机上进行分布式处理,由世界各地的专家共同研究。 

欧洲高能物理研究中心开展了“欧洲数据网格”的研究。“欧洲数据网格”的主要目标是处理由计划于2007年建成的大型强子对撞机所源源不断产生的实验数据。大型强子对撞机中的巨型实验探测器每年将产生一千万吉字节的数据量,这相当于两千万张光盘的存储量。如果用现在最快的个人电脑来分析这些数据,需要七万多台。建设“欧洲数据网格”的目的就是集合几百个参与该计划的研究机构的力量来处理这些数据。通过“欧洲数据网格”,欧洲高能物理研究中心计算机中心把这些数据通过高速网络分配给欧洲、北美、日本等国的区域中心,再逐一分解传输到不同地区的不同研究机构,经过对任务的多级分解,到物理学家的桌面时,已经可以很方便地进行处理了,如图1-5所示。


图1-5 “欧洲数据网格”对海量数据进行分布式处理

除了处理大型强子对撞机的海量数据外,“欧洲数据网格”还有一些其他的用途,如进行生物医学领域的研究,或进行地球观察等。

生物医学 虽然人类基因组计划在媒体的曝光率很高,但相对于人的细胞里每个DNA所含的35亿对基因而言,科学家们已经完成的基因分析工作只是极少的一部分。要全部标注这些基因需要很大的数据存储及处理能力。“欧洲数据网格”将为该类计划提供全新的高性能数据库支持、交互式图形界面、数据挖掘的新方法、新的实验手段以及与国际同行共享研究成果的手段。数据网格在生物、医学领域的另一个应用是处理医学图像,它在实时图像获取、处理、存储、共享、检索等多个方面具有独到的优势。


地球观察 欧洲空间局管理了几个地球观察卫星,这些卫星每天会下传大约100吉字节的图像,新的“环境卫星”发射之后,数据量又增大了5倍。为此,地面站建立了专门设施来处理这些数据,目前已经保存了上千万亿字节的数据。“欧洲数据网格”将使处理卫星数据的能力大大提高,它不仅将海量数据分散到整个欧洲范围内保存并提供了更高效的访问方法,还提供了更强的处理能力。在此基础上,对卫星数据的研究水平将大大提高,例如,目前已经利用大气中臭氧层的数据建立了一个专用试验床。

另外一个著名的美国网格“先进计算基础设施国家联盟”不是专门的数据网格,但它也具有处理极其海量数据的能力,其典型应用是数字天空和大脑研究。

数字天空 天文学家使用光学、射电、远红外望远镜测定并记录所有能够识别出来的天体,而“先进计算基础设施国家联盟”万亿字节的存储能力及万亿次的处理能力,给研究这些数据提供了前所未有的手段,例如,现在我们有条件对全部数据进行某种统计分析,从中筛选出具有某些属性的天体来——像这种研究方法以前是不敢想象的。

大脑研究 近年人类对以前的“黑盒子”——大脑所了解的结构信息和功能信息呈爆炸式膨胀。在一些试验系统里,神经学家们针对老鼠和蟋蟀等动物已经积累了相当多的映射数据。然而,没有网格的支持,处理这么大量的数据(一个实验就达吉字节量级)是非常困难的。在“先进计算基础设施国家联盟”的支持下,不同地方的神经学家们组成了研究联盟,使得不同地方的实验数据能够积累下来,并因此发展出一些全新的大脑分析手段,例如,使用空间变形算法比较不同物种(如人与猴子)之间大脑的异同。

(4)
远程沉浸网格:把各地的人连接入相同的虚拟现实环境
远程沉浸网格是一种特殊的网络化虚拟现实环境。这个环境可以是对现实或历史的逼真反映,可以是对高性能计算结果或数据库的可视化,也可以是个纯粹虚构的空间。“沉浸”的意思是人可以完全融入其中:各地的参与者通过网络聚在同一个虚拟空间里,既可以随意漫游,又可以相互沟通,还可以与虚拟环境交互,使之发生改变。打个比方,远程沉浸是一部观众可以进入其中的科幻电影。远程沉浸可以广泛应用于科学、教育、训练、艺术、娱乐和工业设计等许多领域。

目前,美国伊利诺州大学芝加哥分校的电子可视化实验室已经开发出几十个远程沉浸应用,包括:虚拟历史博物馆、协同开发环境、协同学习环境等。远程沉浸使分布在各地的使用者能够在相同的虚拟空间协同工作,就像是在同一个房间一样,甚至可以将虚拟环境扩展到全球范围内,创造出“比亲自到那儿还要好”的环境。更重要的是,它将“人-机交互”模式扩展成为“人-机-人协作”模式,不仅提供协同环境,还将对数据库的实时访问、数据挖掘、高性能计算等集成了进来,为科技工作者提供了一种崭新的协同研究模式。

(5) 信息网格:提供一步到位的服务
我们面临的是一个信息爆炸的时代,各种信息成指数地快速增长,而现在互联网上的信息服务器只能分别独立面对用户,相互之间不能进行信息交流和融合,就好像一个个孤立的小岛。对于拥有者而言,物质和能量是用掉一份就少一份的,但信息却不会因为用户多而耗尽,如果把信息当成物质与能量一样使用,把信息局限在一个个孤岛范围里,就会造成极大的浪费。

解决这一问题的最佳途径是建立信息网格。信息网格是要利用现有的网络基础设施、协议规范、万维网技术和数据库技术,为用户提供一体化的智能信息平台。在这个平台上,信息的处理是分布式、协作式和智能化的,用户可以通过单一入口访问所有信息。信息网格追求的最终目标是能够做到让用户按需获取信息。信息网格的核心问题是:如何描述信息、存储信息、发布信息和查找信息;如何将异构平台、不同格式、不同语义的信息进行规范和转换,从而实现信息的无障碍交换;如何将网格环境中众多的服务功能,按照用户的需求进行有机集成,形成自动完成的工作流程,向用户提供一步到位的服务。

虚拟天文台是信息服务网格的一个典型例子。天文观测产生了大量数据,这些数据分布在世界各地,未能得到很好的利用。目前,全球天文学界在试图用网格技术将其融为一个整体,使互联网成为世界上最好的望远镜:它拥有天空在不同光谱下的信息,比用世界上任何单个的最好的天文望远镜所观察到的还要全面。2004年3月,由此形成的全世界最大的天体数据库——“史隆数字巡天”第二版数据库正式在互联网上发布。“史隆数字巡天”由全球各地
13 个天文研究所、超过 200
位天文学家共同完成,它包含了数亿星体的精确数据,如亮度、位置等信息。公众可在因特网上自由查询其影像及天体数据,他们可以使用不同波段、从不同角度观看一个天体,而不需要到一个中心观看红外波段观测结果,再到另一个实验室看可见光波段的观测结果。2004年1月,欧洲天文学家利用天体物理虚拟天文台提供的工具,综合分析X射线、光学等多波段观测数据发现了68个2型AGN候选体,在GOODS区找到40个被光学掩盖了的2型类星体。这些成果初步显示了虚拟天文台的科学价值和威力。

由英国五所大学和欧洲生物信息学研究所建立的生物信息学myGrid,综合集成了散布于互联网上的多个不同格式数据库(如图1-6所示),为生物学研究人员提供了一个全新的实验环境。当研究人员在myGrid网站界面上提交了一种蛋白质成份数据,myGrid就能够自动将其与已知的各种蛋白质成份相匹配,找到最相近的答案,并画出其三维结构图像。这种强大的工具将大大提高研究人员的效率。


图1-6 myGrid所集成的各种生物信息数据库

网格发展前景展望
1994年秋,在美国赌城拉斯维加斯举办的世界最大电脑展COMDEX上,比尔·盖茨作了一个预测:到2005年,人类将实现“信息随手可得”的目标。可以说,在甚至连因特网都还未曾普及的当时来看,这个预测是非常大胆的。比尔·盖茨之所以成为世界首富,与他早在20世纪70年代就成功预测到“个人电脑将放上每一张办公桌”不无关系。那么,这一次比尔·盖茨在赌城为未来下的赌注会赢吗?不管2005年这个时间准确不准确,有一点是肯定的,随着网格时代的来临,“信息随手可得”将变为现实。

经过深入思考,就会发现,网格不是某一种可有可无的技术,而是网络技术必然的发展方向。我们暂时不考虑它是不是叫做“网格”这个名称,而思考一下互联网将向什么方向发展。一方面,网络的带宽将更宽,网络的地址将更多,网络上的资源将更多。就像从普通公路发展到高速公路一样,更多的地址意味着允许更多的车上路,更多的资源就像在路边修建更多的服务设施——这就是宽带互联网(称作下一代因特网)正在做的事情;另一方面,网络上的资源多了,跑的车多了之后,这时最重要的问题就是如何管理好它们,让它们形成一个有机的整体,发挥出最大化的效益——这就是网格所要做的事情。这两件事情是互相依存促进的,缺一不可。

对于网格而言,在技术实现上没有像人工智能技术那样的硬瓶颈,因而最关键的问题是:“它究竟是不是未来发展方向?”。通过前面的分析,我们已经知道,把互联网管理好,形成一个有机整体,是必然的趋势,因而网格必然是我们的未来。既然方向问题解决了,它在技术上又是可行的,因此根本就不用担心它的成熟和普及问题。它完全可能会“忽如一夜春风来,千树万树梨花开。”第一台个人计算机是20世纪70年代末期问世的,而我们现在的环球网,也不过20世纪90年代初期才问世,看看它们现在都已经普及到了何种程度?


让我们展望一下未来!

未来的企业 网格不仅能将一家跨国公司分布在世界各地的分支机构连接成为单一的合作团队,还能把全世界所有的企业连接成为实时交换信息的有机整体。例如,当所有的超市和商场都通过网格服务将其销售信息动态发布出来,任何一家工厂就可以随时知道自己的商品每时每刻在全球的销售情况,并自动向所有的供货商发出原料订单,从而极其精准地安排生产,避免原料的浪费和产品的积压,实现全社会的精确生产。

未来的网上购物 远程沉浸网格可以带领消费者进入虚拟商店。您可以点击获取商品丰富的多媒体信息,并通过视频交互来获得千里之外的店员的帮助,甚至可以在三维的计算机屏幕上试穿衣服。

未来的学校 在网格技术的支撑下,会产生什么新的教育模式?网格带来全新的协同式教学模式,让分布在世界各地的学生和老师可以在一个虚拟的“班”上上课。“沉浸”式的交互环境可以让人彻底忘记距离。“信息随手可得”的网格还能提供许多想象不到的功能,学生的大部分疑问甚至可以由网格自动解答。

未来的娱乐 网络游戏突飞猛进地发展,已经让许多年轻人到了不能自拔的地步。在网格的支持下,网络游戏的真实感和协同性还会大大增强。结合远程沉浸技术的网络游戏,将使人更加难以区分虚幻与真实。

未来的科学 协同式的大科学研究,必将会成为未来的主流。网格可以让全世界的天文望远镜形成一个整体,将采用不同手段、从不同角度观测到的天体数据进行融合,从而得到更深入的研究结果。网格可以将远程的实验设备、超级计算机、高级可视化设备连接起来,让科学家在三维的图形界面实时观看和控制数据,并与国际同行进行无缝的协同工作。

这些目标是不是离我们很遥远?其实,网格技术的研究开发早已不是停留在概念阶段,在部分领域已经进入了开发甚至布置实用型系统的阶段。例如,2003
年9 月29
日,欧洲高能物理研究中心(CERN)与全球13个国家和地区,同步宣布大型强子对撞机计算网格LCG第一阶段的网格服务正式上线。该系统利用网格技术,将分散于全世界十余个研究单位的计算机资源整合成为虚拟的单一系统,共同满足大型强子对撞机(LHC)实验对大量计算、物理分析、数据管理与系统维护的需求。国际最权威的科学杂志之一《自然》曾对此做了报道;再如,国际商业机器公司、加拿大平台公司等为美国的大银行JP摩根大通银行研发了具有业务整合、资源共享、协同工作特征的银行网格应用系统,该系统的一部分已经投入生产型运行;还有,美国的游戏网格“蝴蝶网络”给游戏开发商、发行商和服务提供商提供一种可扩展的、具有自恢复能力的基础设施来运行多人参与的游戏。该系统能支持100万个游戏人员同时在线。在使用的两年时间内,利用传统的集中式服务器模型部署的一个游戏产生了160万美元利润,而在基于网格的基础设施上提供同样的游戏能产生1280万美元利润,达到原来的8倍。在我国,2004年1月6日,国际商业机器公司公司与中国石油化工股份有限公司石油勘探开发研究院宣布将共同合作建立中国第一个企业应用网格系统。该项目的实施大致分为三个阶段:数据共享、数据库整合和计算力共享。此前,国际商业机器公司已经在全球部署了数十家企业应用网格的成功案例。2004年8月,解放军理工大学军事网格研究中心与上海电信技术研究院正式签约,共同为上海市这个有二千万人口的城市开发面向全市的下一代视频网格系统。这将是网格技术在我国电信行业的第一个实用系统。

“网格正在到来,但我们还没有准备好。如果我们不能很快做好准备的话,我们可能就不得不等到2015年或2020年,去访问德国的法兰克福或者中国的上海,去看我们失去的机会”,2001年9月10日,《福布斯》杂志这样警告美国人。

--------------------------------------------------------------------------------

[1] TCP/IP即传输控制协议和互联网络协议(Transmission
Control Protocol / Internet
Protocol),它是因特网最基本的协议。在因特网没有形成之前,各个地方已经建立了很多小型的网络,称为局域网。要想把这些存在不同的网络结构和数据传输规则的局域网连接起来交换信息,就必须让它们采取相同的“说话方式”——TCP/IP协议正是因特网上的“世界语”。

[2]
超文本(Hypertext)是在一般的文字上加入指向其他文件的地址。我们只要单击这些文字,即可访问到相关的文件。

[3]根据中国互联网络信息中心(CNNIC)
2004年7月发布的《第十四次中国互联网络发展状况统计报告》,请见http://www.cnnic.net.cn/index/0E/00/11/index.htm

[4] 这里假设民航部门、铁路部门、公路部门和宾馆饭店等都会发布符合网格标准的服务。可以预测,随着网格的普及,几乎所有的企业、公司、机构、学校等都会发布符合网格标准的服务,就像现在开设网站一样。目前已经有一些大公司开设了网格服务,例如,著名的搜索引擎Google不仅提供了“人-机”对话的界面,还提供了“机-机”对话的接口;美国微软公司开设了提供地理图片信息的网格服务器www.terraserver.com,头三年的访问量就超过10亿次,其中大部分是来自计算机的自动访问。

[5] 中国网格信息中转站网址为:http://www.chinagrid.net

openweb

unread,
Mar 27, 2006, 1:25:04 AM3/27/06
to Google & Internet User Group
网格计算应用最好的例子就是 Google :)
Reply all
Reply to author
Forward
0 new messages