云计算技术及应用综述--开题报告

时间:2024.3.31

毕业设计开题报告

课题名称:       云计算技术与应用综述      

学生姓名:             tmacbo              

院    别:           计算机学院              

专    业:         计算机科学与技术           

指导教师:         professor wang          

2012 220

注:此表由学生本人填写,一式三份,一份留系里存档,指导教师和学生本人各保存一份。


第二篇:云计算技术研究与应用综述


…帑窕知瓠弗孙一

电子测量技术

EI。ECTRONICMEASUREMENTTECHNOLOGY

第34卷第7期

2011年7月

云计算技术研究与应用综述

李晓辉

(华北计算技术研究所北京

100083)

摘要:提出1个相对系统和综合的云计算参考性定义,指出云计算是“以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源。使其以服务的方式提供给用户,满足用户按需使用的计算模式”,然后从计算模式、科学研究、社会发展等多个维度阐明了云计算作为现代计算技术发展的必然产物所具备的发展意义,总结了国内外产业界、学术界、政府机构等在云计算方面的最新研究进展,深入分析了云计算研究过程中的重点和难点,最后指出了云计算未来的发展趋势。

关键词:云计算;虚拟化;海量数据处理;大规模分布式存储中图分类号:TP393

文献标识码:A

Review

on

theresearchandapplicationofcloud

LiXiaohui

computingtechnology

(NorthChinaInstituteofComputingTechnology,Beiiing100083)

Ahstract:Thedefinitionofcloudcomputingispresented

asa

relativelysystematicandcomprehensiverefeFence,which

resources

pointoutthatthisnovelcomputingmodeintegratesandconfiguresdistributedcomputingadoptingvirtualization

inlargescaleby

andothermeans

thronghintemet,and

as

thenprovidesthemto

usersas

servicestomeetdemand.

Thedevelopmentsignificanceofcloudcomputingtechnologyisillustratedfromthe

theinevitable

research

productintheevolutionofmodemcomputing

computingmode,scientific

andsocialdevelopment.Thelatestadvances

are

in

industry,academicresearchandgovernmentadministration

analyzed.Finallythedevelopmenttrendisclarified.

are

summarize&Especiallythekeytechnologies

deeply

Keywords:cloudcomputing;virtualization;massivedataprocessing;large-scaledistributedstorage

0引言

到了人们的高度关注,各种新概念、新观点、新技术和新产品也层出不穷。

针对这种局面,本文力图在对各种云计算定义综合分析的基础上,提出1个相对系统和综合的参考性定义,挖掘

云计算的技术本质和发展意义,总结国内外最新研究进展,

从20世纪40年代世界上第1台电子计算机诞生至今.计算模式在经历了单机、终端一主机、客户端一服务器等几个重要时代的变迁之后,进入了互联网时代。当互联网将全世界的企业和个人连接起来后,用户对互联网内容的

贡献空前增加。这种基于互联网沟通和交互的形式极大地改变了人们的工作和生活方式,由此带来的网络业务需求

剖析研究过程中的重点和难点,指出未来的发展趋势。

l云计算的内涵和本质

云计算的概念提出时间并不长,然而对它的定义却是

百家争鸣,目前尚无公认的定义。一方面体现了云计算包

激增、应用程序层出不穷、信息规模迅猛增长、处理任务复杂多变、存储设备日趋紧张等问题也接踵而至。

云计算正是在这样的时代背景下应运而生。它通过将

计算任务分布在由大量计算机构成的资源池(即“云”)上,使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。这种全新的互联网应用模式,成为解决高速数据处理、海量信息存储、资源动态扩展、数据安全与实时共享等问题的有效途径,向人们展示了其强大而又独具特色的发展优势。因此,自2007年云计算概念诞生以来,得

本文于2011年5月收到。

罗万象的特质;另一方面也说明了各界对它的高度重视。本文在对各种云计算定义综合分析的基础之上,总结本质特征,提出1个参考性定义:

云计算是以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的网络、计算、存储、数据、应用等计算资源,使

其以服务的方式提供给用户,满足用户按需使用的计算模式。

?

?

万方数据

箜!!堂

该定义强调了4个重点:塞重型童垫查2国内外发展现状

2.1国外发展现状1)互联网是载体:云计算是1种大众参与的互联网计算模式,一切能够联网的设备(包括各种胖/瘦客户端)都能

利用互联网,实现位置透明、无所不在的访问l

2)服务是核心:各种软件和硬件都是资源并被封装成了服务,用户看到的只是服务本身,无需关心相关基础设施的具体实现,即这些基础设施对用户来说是透明的l

3)资源可配置:云计算具有整合资源按需扩展的特殊意义,它利用虚拟化技术,将物理上分散的来自不同数据中心的物理资源“整合抽象”成逻辑上集中的动态、可伸缩的虚拟资源,使其能够有效分配和按需扩展;

4)用户可按需使用资源:用户能够在不直接购买复杂软件和硬件的情况下,最大限度地利用网络获取所需的计算力,就像使用水电一样快捷和方便。

以上分析表明,云计算并不是凭空产生的事物,它是在并行计算、分布式计算、集群计算、网格计算、效用计算等技术基础上逐渐发展起来的。从技术本质来看,云计算代表了信息技术发展的先进理念,展现了极强的生命力。可以说,它是现代计算技术发展的必然产物,必将对未来人们的生产和生活方式产生深远影响。

首先,从计算模式的发展来看:大型机时期,计算机数量有限且价格昂贵,每台计算机必须供多人使用,计算平台在物理上和逻辑上都是集中的;个人计算机时代,计算机数量与日俱增,“客户一服务器”的计算模式使得计算平台在物理上和逻辑上都是分散的;互联网时代,各种互联信息设备层出不穷,多台计算机为单一个体服务成为可能,此时,将产生1种物理上分散、逻辑上集中的新型处理模式。这是计算力作为通用技术和工具发展的必然结果。云计算正是这种新计算模式的典型代表,展示了其整合资源、共享基础架构的特质和优势。

其次,从科学研究的发展来看:继实验科学、理论科学、计算科学之后,将进入“数据密集型科学”的第四范式阶段[1]。这是1种通过仪器获取数据或通过模拟产生数据口]、用软件处理和分析这些数据并将研究结果或知识用计算机进行存储的新模式。它是当代科学研究中数据爆炸式增长的需求与计算机技术进步能够处理大规模数据的推动相结合的产物。其关注重点是大规模数据的获取、存储和分析,以及支持数据密集型计算的基础设施平台建设。云计算正是典型的数据密集型计算模式,是解决巨量信息存储与处理的有效手段。

最后,从社会发展的角度来看:工业社会实现了水电气等各种公共基础设施的普及和共用。在信息社会时代,人们同样希望信息服务能够成为全社会普及和共用的基础设施,让人们使用信息力像使用水电一样方便。云计算正是这种理念的实践者,它倡导的正是让人们能够在不直接购买复杂软硬件基础设施的情况下却能享受无比强大的网络、计算和存储能力,因此才得以真正意义上的蓬勃发展。?2?

万方数据自2007年起,产业界、学术界、各国政府等都开始逐渐重视对云计算的研究和讨论。人们已经逐渐意识到云计算不仅是信息技术发展的先进代表,更可能掀起真正意义上的信息技术革命浪潮。在产业界,云计算因其成功的商业运作模式得以迅速发展。据IDC咨询公司预测,用于云服务上的支出到2012年将达到420亿美元,占据5大关键市场支出9%的份额,占据整个IT支出增长总量的25%的份额,并将持续加速发展。各大跨国公司。如Amazon、Google、IBM、微软、Salesforee.tom等,都是云计算的先行者,他们不仅快速推出了各具特色的云计算产品,而且利用自身优势积极打造新一代数据中心,力争抢占战略先机。在云计算产品方面,Amazon的简单存储服务(S3)、弹性计算云(E.c2)等都是典型的“基础设施即服务”产品;Google的AppEngine平台、微软的WindowsAzure平台等都是典型的“平台即服务”产品;Salesforce.corn的客户关系管理软件(CRM)等则是典型的“软件即服务”产品。在数据中心建设方面,Google拥有目前全球最大规模的搜索引擎,服务器数量超过100万台,遍布全球200多个站点,并且设施数量还在迅猛增长;IBM与多个欧洲组织合作开展云计算项目,已投资几亿美元改造和新建了十数个云计算中心;微软的全球基础服务系统,由遍布全球的第四代数据中心构成,其Azure平台管理着数据中心所有的服务器、存储和网络资源,并为云应用层提供各种平台服务。除此之外,VmWare、Sun、O】始CI点、思科、Intel、HP等知名公司,也陆续启动了“云战略”计划,推出了一系列云产品,预示了云计算时代激烈竞争的真正开始。在学术界,云计算的研究热点主要集中在数据密集型计算、数据中心建设、服务计算等领域。数据密集型计算方面,美国自然科学基金会(NSF)资助的项目很多,2005年发布的“长期数字数据集:增强21世纪的研究和教育能力”计划[3]、2008年发布的“通过网络实现科学发现与技术创新的计划(CDI)”[4],都安排了大量相关工作;Google和IBM在NSF的资助下,在美国十几所大学开设了有关大规模数据处理的课程;美国伊利诺伊大学香槟分校(UIUC)在NSF的资助下,承担了名为“云计算测试床(cloudcomputingtestbed)”的项目,支持系统级和应用级的云计算研究,最终为数据挖掘、知识发现、机器学习和计算生物学等提供服务。数据中心方面,2008年计算机网络顶级学术会议开始设立“DatacenterNetworking”专题,掀起了新型数据中心建设的研究热潮。服务计算方面,美国国防部DoD在GIG2.0中提出了“网络为中心的企业服务(NCES)”和“按需提供计算服务(DⅨ℃)”构想[5];美国国防系统局DISA开展了“快速访问计算环境(RACE)”、“快速发布和获取服务(Forgemid”、“全球分布式计算平台(GCDS)”

李晓辉:云计算技术研究与应用综述第7期

等项目胁引,负责研究基础设施即服务和软件即服务的相关问题;美国宇航局N般~埃姆斯研究中心开展了“星云(Nebula)”联邦云计算项目,进行满足使命控制、协作、教育、以及一些大规模并行应用等方面的云计算技术研究[8]。

各国政府对云计算的重视也提上日程。英国由国家a0发布了《数字英国报告》,报告中“提高政府云Gcloud”的呼声尤为强烈。新加坡早在2008年就参与了与雅虎、英特尔等合作的云计算研究项目。美国联邦政府的首席信息官维维克?昆德拉(VivekKundra)宣布推出1个名为apps.gov的网站,这是1个让政府机构能够查询和购买云计算工具和服务的网站,预示着美国政府开始云计算的学习和研究。与此同时,美国国家标准技术研究所还成立了专门的研究团队,对云计算定义形成了专f-J3c档,并开始了1个利用开源技术建设云计算平台的项目;白宫也明确表示会在预算申请中准备部分资金,在一些部门做云计算试点,并发布了1个IaaS标书,开始收集云计算服务商;2011年2月,维维克?昆德拉代表白宫正式发表了“联邦云计算战略”[9]。2.2国内发展现状

2009年以前,国内的企业、科研机构、高校等对云计算的反应相对迟缓,仍主要停留在网格计算、可信计算、基础软件等传统项目上。近两年来,随着认识观念的加深,很多企业也开始向云计算迈进,为云计算在中国的发展起到了很好的推动作用。

阿里巴巴、世纪互联、中国移动、百度、瑞星、华为等,都是国内较早投资云计算的企业。2009年初,阿里巴巴在南京建立了国内首个“电子商务云计算中心”,同年9月,又宣布成立子公司“阿里云”,专注于云计算的研究和开发。世纪互联作为国内首家云计算基础设施服务商,推出了CloudEx产品线,提供类似Amazon的主机和存储服务,以及供个人和企业进行互联网云端备份的数据保全服务。中国移动通信研究院,在2010年5月下旬正式推出了名为“BigCloud”的云计算平台1.0系统,并研发和试验了高效的云系统管理软件和几个比较重要的应用,如并行数据挖掘、云存储、分布式海量数据库等。瑞星、金山、奇虎360等信息安全企业,在“云安全”领域取得了较大成绩,其“云安全”解决方案水平已经达到国际先进。华为在2010年11月底,正式面向全球发布了云计算战略及端到端的解决方案,主要包括SingleCloud云平台方案和电信应用云方案,其中SingleCloud云平台具备支持“百万级服务器集群、百万T存储、百T级网络互连”能力,能够支撑海量信息的计算和存储。

国内学术界在“云计算”提出之前就已经有了“透明计算”的构思,清华大学的张尧学教授早在1998年就开始从事透明计算系统和理论的研究,其提出的“透明计算平台”与云计算基础设施的构想基本一致,体现了云计算资源池动态构建、虚拟化、用户透明等特征[10-11]。解放军理工大学的刘鹏教授2002年首倡的“网格计算池”和2003年研发的“反垃圾邮件网格”可视为云计算和云安全的前身[12。。此万方数据外,中国电子学会还专门成立了云计算专家委员会,聘任了国内外30多位知名专家学者作为专家委员会委员,并于2009和2011年成功召开了三届“中国云计算大会”。3云计算研究的关键技术云计算涉及的关键技术很多,无论是通信、存储、计算,还是资源管理、调度、计费等,都是值得深入研究的问题。从云计算“以数据为核心按需提供服务”的角度来看,虚拟化技术、大规模分布式存储技术、海量数据处理技术,是研究过程中的重点和难点。3.1虚拟化技术虚拟化的核心理念,是以透明的方式提供抽象了的底层资源,这种抽象方法并不受实现、地理位置或底层资源的物理配置所限。就技术本身而言,它并不是全新的事物,早在上世纪70年代就已经在IBM的虚拟计算系统中得以应用。随着云计算的兴起,虚拟化技术再次成为研究热点,究其原因主要在于:首先,计算机系统在功能变得日益强大的同时,本身也越来越难以管理;其次,当计算系统发展到以用户为中心的阶段时,人们更关心的是如何通过接口和服务来满足复杂多变的用户需求。由于虚拟化技术能够灵活组织多种计算资源,解除上下层资源的绑定和约束关系,提升资源使用效率,发挥资源聚合效能,为用户提供个性化和普适化的资源使用环境,因而得到高度重视。利用虚拟化技术,能够有效整合数据中心所有的硬件资源、虚拟服务器和其他基础设施,并通过高效的管理和调度为上层应用提供动态、可伸缩、灵活的基础设施平台[13。,从而满足云计算随需扩展、按需部署、即需即用的需求。不过,各种虚拟化技术各有优势和不足,例如目前主流的半虚拟化技术,其虚拟机管理系统带来的CPU额外开销较少但内存性能开销较大,因此原有的CPU密集型应用能够较好地迁移到虚拟化平台上来,而内存或I/o密集型应用,如数据库等就会遇到较大的性能问题。因此,如何融合各种虚拟化方法的优势,按照应用任务的需求,将各种资源进行动态共享和灵活配置,使计算系统具备按需构建能力,都是云计算中需要深入研究的问题。3.2海量数据处理海量数据处理指的是对TB甚至PB级规模数据的计算和分析。互联网时代的数据统计和分析通常都是海量数据级别的。单台计算机往往不能满足海量数据处理在性能和可靠性等方面的要求,因此,并行处理是最直接和有效的计算方式,而良好的编程模型就显得特别重要,它将直接影响海量数据处理、分析和挖掘的效率。目前最流行的海量数据处理编程模型是Google的MapReduce。该模型将某个任务分解成很多更细粒度的子任务,这些子任务能够在空闲的处理节点之间灵活调度,使处理速度越快的节点处理越多的子任务,从而避免处理速度慢的节点延长整个任务的完成时间。在云计算模式下,?3?

第34卷

电子测量技术

由于数据和处理服务器的规模在持续增长,且处理的实时

性要求很高,因此对系统的并行I/0能力、数据划分和组织方式、计算和数据的绑定关系等带来巨大考验。虽然MapReduce在设计之初,已经考虑了很多大规模分布式计算机集群进行海量数据处理时需要考虑的问题,但它主要针对的仍是索引、搜索、排序等搜索引擎服务,并不是从完全通用的角度考虑的[14。。因此,为了获得更高性能的处理效率,并行任务粒度划分、任务状态监控、任务跟踪与协作、操作本地化、容错机制等都是需要进一步深入研究的问题。

3.3大规模分布式存储

分布式存储指的是利用多台服务器的存储资源来满足单台服务器所不能满足的存储需求。它要求存储资源能够被抽象表示和统一管理,并保证数据读写操作的安全、可靠和高性能。大规模分布式存储是互联网时代应对数据爆炸

式增长的产物,由此催生了1批优秀的分布式文件系统,如

Frangipani、GoogleFile

System、DyrhaIno等[件16]。这些分

布式文件系统都具备冗余备份和容错机制来保证数据读写的正确性,允许用户将数据存储在多个远程服务器上,并且像访问本地文件系统一样访问远程服务器的文件系统。

云计算环境下的分布式文件系统将面临更多挑战,如

数据量将达到TB甚至以上级别,数据种类包含结构化、非

结构化、半结构化等多种类型,数据的存储和操作都需要以服务的方式提供等等。因此,如何保证海量多结构数据存储的高效性、可扩展性、安全性、高服务质量、易管理和低能耗等需求,将成为设计的关键所在。文件定位方式、数据访问方式、数据块划分方式、元数据组织管理方式、数据压缩和校验等都是需要深入研究的问题。

4未来发展趋势

如何动员和利用社会中丰富的计算能力,始终是一个充满挑战的问题。信息时代的知识爆炸,引发了计算模式的巨变。云计算因其规模按需可扩、处理能力超强、存储空间海量、资源利用率高、高度可靠、通用性强且成本低廉等优势,正以前所未有的速度蓬勃发展。

云计算未来的发展方向主要包括以下3个方面:1)实现云计算平台之间的互操作和资源共享,使互联网上的主要计算设施融为一个有机整体;2)构建与应用紧密结合的大规模底层基础设施,使应用能够扩展到很大规模;3)构建新型云计算应用,提供更加丰富的用户体验,并注重通过云计算基础平台将多个业务进行融合。

[1]瑚吖T,㈣s,咖K参考文献

data-intensive

scientific

discovery

m气h,哆

LRj.Microsoft

Corporation,2009.

[23

应怀樵.“云”智慧仪器与“云”智慧测试时代——数采计算机体系结构、海量信息avr-储与处理、数据密集型计算等。

DAQ、虚拟仪器Ⅵ和“试验室网络云时代”[J].电子

?4?

万方数据

测量与仪器学报,2010,24(6);507-514

[33

NationalScienceBoar&Long-liveddigital

datacollee-tions:enabling

research

and

education

in

the

21st

century[R].NationalScience

Foundation,2005.

[4]

NationalScienceFoundation.Cyber-enabled

discovery

and

innovation[R].NationalScience

Foundation,2008.

[53

KMIMediaGroup.Global

informationgridenterprise

即gjn醛Ti划口.2008

DISAYearinReview,2009:8-12.

[6]

KMIMedia

Group.RACEandcloud

computing[J3.

2008DISAYearInRenew,2009:14—16.

[7]DIS/EGIG

content

delivery

service(G(=DS)D].GCDSon

the

Edge-Monthly

Newsletter。2010:2.

[8]

NAS八NASA's

nebulacloud

computing

technologytO

play

key

mhinnew

open

source

initiative[R].

NationalAeronauticsandSpaceAdministration,2010.

[9]

KUNDRAv.Federalclond

computingstrategy[R].

TheⅥmiteHouse。2011.

[10]

ZHANGYX。ZHoUYZTransparentcomputing:a

new

paradigm

forpervasivecomputing[C].

Proceedings

of

the

3rd

Int’lConf

on

Ubiquitous

IntelligenceandComputing,2006.

[11]ZHANGYXTransparentcomputing:opportunities

andchallenges[C].Proceedings

ofthe

2008

IEEE/

巧1P

International'Conference

on

Embedded

and

UbiquitOus

Computing,2008.

[12]

刘鹏,赵伟.反垃圾邮件网格清扫网络[J].软件世界,

2006(13):56—57.

[133

GRIT

L,mWIN

D,ⅥT凇RⅡ删A,et

a1.Virtual

machine

hostillg

for

networkeddusters:buildingthe

foundations

for“autOnomic”orchestratior(C].ProceedirlgS

ofthe2ndInternationalWorkshop

on

Virtualization

TechnologyinDistributedComputing,2006.

[14]

YANGHC。DASDANA,HSIA0RL.et

a1.Map-

reduce-merge:simplified

relationaldataprocessing

on

large

cluster[C].Proceedings

ofthe2007

ACM

sIGMoD。2007.

[15]CHANGF,D】三AN

J,GH日订p眦S,et

a1.Bigtable:a

distributed

storage

syStemforstructureddata[C].

Proceedings

ofthe

7th

Symposium

on

Operating

SystemsDesignandImplementation,2006.

[16]DECANDIAG,HASTORUND,JAMPANIM,etaLDynamo:aiTlazon’s

highlyavailable

key-value

store

[c].Proceedings

ofthe2007SOSP,2007.

作者简介

李晓辉,女,1980年4月出生,工学博士,主要研究方向为

E-mail:lxh330@163.tom

更多相关推荐:
开题报告及文献综述内容和要求

开题报告及文献综述内容和要求一本科毕业设计论文开题报告的基本要求1本科毕业设计论文开题报告的功能开题报告是在学生接到教师下达毕业设计论文任务书后由学生撰写的对于课题准备情况以及进度计划作出概括反映的一种表格式文...

如何写开题和综述

开题报告主要包括以下几个方面:(一)论文名称论文名称就是课题的名字第一,名称要准确、规范。准确就是论文的名称要把论文研究的问题是什么,研究的对象是什么交待清楚,论文的名称一定要和研究的内容相一致,不能太大,也不…

范例-开题报告及文献综述

硕士学位论文开题报告及文献综述课题名称学号姓名学院学科专业指导教师机械与储运工程学院完成时间20xx年01月13日目录开题报告1一课题来源及研究意义111课题来源112研究意义1二国内外研究现状及不足221离心...

开题报告&文献综述范文

宁波大学本科毕业设计论文注此表需打印宁波大学本科毕业设计论文开题报告

开题报告和文献综述怎么写

(一)论文名称论文名称就是课题的名字第一,名称要准确、规范。准确就是论文的名称要把论文研究的问题是什么,研究的对象是什么交待清楚,论文的名称一定要和研究的内容相一致,不能太大,也不能太小,要准确地把你研究的对象…

开题报告文献综述范文

开题报告文献综述范文学生姓名学号专业技术经济班设计论文题目资本运营及某某企业资本运营的案例分析指导教师200年4月21日目录毕业论文开题报告1论文题目2所选论题的背景情况包括该研究领域的发展概况3本论题的现实指...

综述类论文开题报告(2)

赣南师范学院化学化工学院20xx级20xx届学生毕业论文综述类开题报告论文题目铱配合物及其应用研究概述学生姓名谢星星专业应用化学指导教师练萍教研室主任签名教学学院院长签名20年月日

开题报告以及文献综述的撰写方法

毕业设计论文开题报告的撰写方法1什么是开题报告开题报告是指开题者对科研课题的一种文字说明材料这是一种新的应用文体这种文字载体是随着现代科学研究活动计划性的增强和科研选题程序化管理的需要应运而生的开题报告一般为表...

开题报告文献综述范文

开题报告文献综述范文学生姓名学号专业技术经济班设计论文题目资本运营及某某企业资本运营的案例分析指导教师200年4月21日目录毕业论文开题报告1论文题目2所选论题的背景情况包括该研究领域的发展概况3本论题的现实指...

开题报告、文献检索账号、文献综述、外文翻译、抄袭检测软件、论文目录,都在这了都在这了,有备无患

开题报告文献检索账号文献综述外文翻译抄袭检测软件论文目录都在这了都在这了有备无患拿去吧开题报告文献综述外文翻译论文反抄袭软件论文目录就差论文正文了其他都全了开题报告主要包括以下几个方面一论文名称论文名称就是课题...

开题报告文献综述范文

开题报告文献综述范文学生姓名学号专业技术经济班设计论文题目资本运营及某某企业资本运营的案例分析指导教师200年4月21日目录毕业论文开题报告1论文题目2所选论题的背景情况包括该研究领域的发展概况3本论题的现实指...

论文开题报告、论文综述、参考文献格式

一开题报告主要包括以下几个方面一论文名称论文名称就是课题的名字第一名称要准确规范准确就是论文的名称要把论文研究的问题是什么研究的对象是什么交待清楚论文的名称一定要和研究的内容相一致不能太大也不能太小要准确地把你...

综述开题报告(43篇)