Gartner:解读大数据技术生命周期

时间:2024.3.19

Gartner:解读大数据技术生命周期 Posted on 20xx年09月5日 by DinK in 199IT推荐文章, 数据行业, 行业资讯 with 0 Comments

Gartner解读大数据技术生命周期

大数据还处于不断被人们重新定义的阶段,现在又多了一个属于自己的Hype Cycle技术生命周期。Gartner近期发布了首个专门针对大数据话题的报告——《20xx年大数据Hype Cycle》(Hype Cycle for Big Data, 2012)。 Hype Cycle技术生命周期指的是企业用来评估新科技的可见度,利用时间轴与市面上的可见度(媒体曝光度)决定要不要采用新技术的一种工具。它的定义本身就不太好理解,而报告中列出的大数据技术和专业术语更多达47个,数据科学家、基于云的网格计算、预测分析、开放政府数据,无一不缺。Gartner的Hype Cycle类别中遍布了这些技术,记录了大数据从炒作到成熟并进入主流的过程。 Gartner研究副总裁Hung LeHong在近期的一次网络研讨会上提到:“大数据不是一项单一的技术,而是一个概念,是一套技术。”

这一成套的技术在生命周期的早期阶段汇集到一起,逐渐变得越来越复杂。业务分析师希望从数据中获得更多的见解,厂商希望将“大数据解决方案”融入到更多的产品之中。从报告中可以看出,今年Gartner决定用文字把这一现象记录下来。如今,企业已经有能力利用低价的服务器、开源技术和云计算来进行开销不大的大数据实验。

尽管Hype Cycle报告通常较多利用图表的方式展现,但是本次报告同样辅以了更多的文字内容,每种技术都用一至两页进行了分析。

Hype Cycle生命周期的意义

Gartner调研副总裁兼大数据专家Mark Beyer说:“大数据的概念同样包含两个方面,它真实存在在我们的世界中,但其作用有时被夸大了。”

大数据之所以真实是因为科技的进步和恰当的时间点。20xx年,影响科技发展的四大要素——内存、存储性能、处理能力、网速——在规模与速度方面成倍增长。这些要素的突飞猛进并不奇怪,但各有各的周期,达到顶峰的时间点也就各不相同。因此,在大数据中它们同时爆发就不太寻常了。

除此之外,IT人士也变得越来越能够接受新鲜的技术。Beyer认为,在IT技术部门中产生了两种极端的情形:一种是技术发展促使性能大幅度提高;另一种是原有设备无法继续满足数据需求。20xx年,用户开始对数据有了更多的需求,IT系统压力陡增,市场中必须发展出缓解该压力的方式。

更多数据的需求以及技术支持的发展结合得恰到好处,市场的需求越来越大。于是一场技术革命风暴演变为炒作,席卷整个行业。

然而Beyer说:“即使是炒作,那又如何?”

虽然所有这些因素凑到一块儿相当少见,但也不是完全没有过。在20世纪70年代末80年代初互联网刚刚诞生的时候,业界就曾经遇到过这样的情况;在未来的15-18年里,这样的情况还会重现,而这次将属于大数据时代。在这段时间里,大数据的发展将不断挑战业内技术的革新,并构建出全新的收集、存储和分析数据的方式。

一些分析师认为现有的大数据技术会在未来几年之内变得无处不在,Beyer却不认同,他认为这些技术不会独立发展,而是会完全融入到传统IT环境中去。 Hype Cycle生命周期的阶段

今年8月中旬,也是大数据火起来的第二年,大数据还出现在了Gartner的《新兴技术Hype Cycle》(Hype Cycle for Emerging Technologies)报告中。去年,Gartner将大数据列为“科技诞生的促动期”(Technology Trigger),即Hype Cycle生命周期五个阶段中的第一个阶段。今年,大数据进化到了第二阶段,即“膨胀期望的高峰期”(plateau of inflated expectations),其中包括了生命周期的至高点和由胜走向衰的转折点。

Gartner对大数据所作的评估遭到了部分专家的异议。

《驾驭大数据浪潮》(Taming the Big Data Tidal Wave)一书的作者兼Teradata的首席分析官(CAO)Bill Franks说:“虽说大数据在市场中确实存在炒作现象,但我认为它离明显的衰败还差得远呢。”

Ventana调研公司的副总裁Tony Cosentino表示认同:“难道每一种技术都必须在成功前遭遇滑铁卢吗?”

然而,专家们质疑的还不仅仅是大数据发展周期的排列,他们还对其在第一阶段中所包含的内容有所怀疑。这也是Gartner选择专为大数据出一份独立报告的原因之一。

Opera Solutions LLC的首席策略官(CSO)Laura Teller说:“这就好像在19xx年的时候问别人新兴的互联网以后会不会流行一样;现在的问题在于大数据仅靠自己的力量无法真正提升业务。”

Cosentino表示同意:大数据正处变革期,开始的时候肯定会有很多人提出“为什么”,但慢慢地就会转变为“那又有什么关系”。问题的关键还得看分析技术的发展了。

Cosentino说:“用石油业打个比方,我们正在从石油开采向石油的提炼和分销发展。我不知道在一百年前石油的发现是不是也曾遭遇炒作,所以你无法预测一个技术未来的走向。”


第二篇:Gartner:大数据和BI商业智能的差别和影响


Gartner大数据和BI商业智能的差别和影响

Gartner大数据和BI商业智能的差别和影响

国内最具权威的市场调研门户网站之一

Gartner:大数据和BI商业智能的差别和影响

之所以要区分大数据应用与BI(商业智能),是因为大数据应用与BI、数据挖掘等,并没有一个相对完整的认知。

BI(BusinessIntelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。 伴随着BI的发展,是ETL,数据集成平台等概念的提出。ETL,Extraction Transformation Loading,数据提取、转换和加载,数据集成平台主要功能对各种业务数据进行抽取和相关转化, 学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

Gartner大数据和BI商业智能的差别和影响

国内最具权威的市场调研门户网站之一

以此来满足BI、数据仓库对数据格式和内容挖掘的要求。

数据集成平台的基础工作与ETL有很大的相似性,其主要功能是实现不同系统不同格式数据地抽取,并且按照目标需求转化成为相应的格式。数据集成开始是点对点的,慢慢地发现这种模式对于系统之间,不同所有权的企业数据流向以及数据标准控制很难,为此,诞生了对统一企业数据平台的需求,来实现企业级之间的数据交互。

数据集成平台就像网络中Hub,可以连接所有应用系统,实现系统之间数据的互通有无。数据集成平台以BI、数据仓库需求而产生,现在已经跨越了最初的需求,上升到了一个更高的阶段。 如今大数据应用更多关注非结构化数据,更多谈论互联网,Twitter、Facebook、博客等非结构化数据,如此理解大数据应用,显然就有些走偏了。结构化数据也属于大数据,且呈现出相同的特点和特征,如数据量大,增长越来越快,对数据处理要求高等。

结构化数据是广义大数据中含金量或者价值密度最高的一部分数据,与之相比,非结构化数据含金量高但价值密度低。在Hadoop平台出现之前,没有人谈论大数据。数据应用主要是结构化数据,多采用IBM、HP等老牌厂商的小型机或服务器设备。

采用传统方法处理这些价值密度低的非结构化数据,被认为是不值得的,因为其产出实在是有限。Hadoop平台出现之后,提供了一种开放的、廉价的、基于普通商业硬件的平台,其核心是分布式大规模并行处理,从而为非结构化数据处理创造条件。

大数据应用的数据来源应该包括结构化数据,如各种数据库、各种结构化文件、消息队列和应用系统数据等,其次才是非结构化数据,又可以进一步细分为两部分,一是社交媒体,如Twitter、Facebook、博客等产生的数据,包括用户点击的习惯/特点,发表的评论,评论的特点,网民之间的关系等,这些都构成了大数据来源。另外一部分数据,也是数据量比较大的数据,就是机器设备以及传感器所产生的数据。以电信行业为例,CDR、呼叫记录,这些数据都属于原始传感器 学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

Gartner大数据和BI商业智能的差别和影响

国内最具权威的市场调研门户网站之一

数据,主要来自路由器或者基站。此外,手机的置传感器,各种手持设备、门禁系统,摄像头、ATM机等,其数据量也非常巨大。

对于分析大数据的工具,目前所有的分析工具都侧重于结构化分析,例如针对社交媒体评论方向的分析,根据特定的词频或者语义,通过统计正面/负面评论的比例,来确定评论性质。如果有一个应用系统是接收结构化数据的,例如一个分析系统,接收这些语义就可以便于分析。 让大数据应用落地,其中的关键在于与行业应用的深度融合。

公安行业的视频影像处理是一个特定应用领域,传统BI、ETL工具拿这些数据没有办法,采用分布式Hadoop进行处理能够带来很好的效益,因为Hadoop可以处理数据量足够大。公安行业实际上已采集了大量视频影像数据,利用这些数据,可以追踪一个嫌疑犯的行踪,什么时间在全国哪些地区出现过。这些应用不可能单纯依靠人的力量,需要借助人脸识别、图像识别技术、模式处理,数据压缩等技术,需要海量处理软件,抓出相关特征,帮助公安人员提高工作效率。 在电信行业,计费系统实际上是对各种数据进行整合后的结果,是一个缩小的数据。借助大数据应用,运营商可以原始大数据进行分析,例如分析传感器数据是否有异常,从而判断设备异常等,这些都是一些用传统BI工具无法实现的分析,其结果往往会出乎意料,帮助运营商提高服务水平以及用户的满意度。

在互联网行业,通过分析手机上网轨迹,可以分析了解客户群,了解用户的偏好,此外,获取地理位置的信息,也具有特定价值。

从这些行业大数据应用分析来看,一个是视频影像处理,一个是日志分析,另外一个是处理特定文件格式的分析处理,彼此之间显然没有任何通用性的特点,其共同点就是利用了廉价的大数据 学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

Gartner大数据和BI商业智能的差别和影响

国内最具权威的市场调研门户网站之一

处理平台。

Gartner:大数据宣传在商务智能市场成效不明显

市场研究公司Gartner指出,去年的大数据宣传未能促进全球商务智能和分析市场出现快速增长。

Gartner称,尽管商务智能和分析市场在20xx年增长了8%,增长至144亿美元,但是涨幅低于预期。大数据通常指对来自社交网络、传感器等来源的海量非结构化信息进行的挖掘与分析,而传统的商务智能只是报告和分析结构化数据存储。

Gartner 分析师Dan Sommer和Bhavish Sood在报告写道: “虽然大数据宣传力度在20xx年达到了高潮,但是对分析市场的影响却不是很大。”报告称,在Gartner调研的机构中,仅8%的机构实际部署了大数据项目,57%的机构仍处于调研和规划阶段。这一水平已经影响到了大量企业的创新周期。

大数据巨头在20xx年的营利与增长速度之间出现了脱节。SAP、甲骨文、IBM和赛仕研究所等四大商务智能公司的增长率严重低于市场平均增长率。这些厂商面临的核心挑战是他们的成熟程度。“他们的核心解决方案一直是IT主导的企业商务智能平台,并通过语义层将信息与报告、查询与在线分析处理等功能连接在一起。尽管价值昂贵,但是大多数机构部署的均为这种类型的商务智能解决方案。”

为此类工具提升了低成本备选方案的Jaspersoft和Pentaho等公司在去年获得了快速增长,其增长率高于市场平均增长率。Gartner的报告指出,Tibco Spotfire和Tableau等公司在20xx年推出的数据发现工具对于商务智能终端用户体验来说可以说是一种全新的标准。这些工具让用户对数据集有了更多的视觉感受。

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

Gartner大数据和BI商业智能的差别和影响

国内最具权威的市场调研门户网站之一

分析师指出,大型商务智能厂商去年一直在不遗余力的开发自己的数据发现产品。这一举措将整个市场的竞争推出到了一个更激烈的阶段。基于云的商务智能在去年开始受到关注。尽管其仅占有4%的市场份额,但是其增长率达到了42%。“尤其是小型公司已经开始向云迁移,并将其视为一种可以处于有关大数据和分析等事务的使能器。”

摘自:199it

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

更多相关推荐:
The Green Banana观后感

TheGreenBanana青香蕉Althoughitmighthavehappenedanywheremyencounterwiththegreenbananastartedonasteepmountainr...

the green banana课文解析

本文是新编大学英语20xx年版第一册中的一篇课文作者是美国学者DonaldBatchelder摘选自DonaldBatchelder和ElizabethGWarner于19xx年编写的AnExperientia...

现代大学英语精读1 UNIT6 The Green Banana 课文翻译

第六单元TranslationofTextA青香蕉1尽管这种事情在任何地方都可能发生但我与青香蕉的邂逅却源自于巴西腹地一条险峻的山路上我那老式吉普车正吃力地穿过景色优美的乡村这时水箱突然漏水了而离我最近的汽车修...

Unit 6 The Green Banana

Unit6TheGreenBanana1AbouttheauthorandtextThistextistakenfromBeyondExperienceAnExperimentalApproachtoCross...

Unit10 The Green Banana

Unit10TheGreenBanana教学目的以课文内容为纲关键语汇为点带领学生了解文化背景知识并告诉我们应该尊重世界上的每一种文明任何一个地方任何一个小镇甚至家庭都可能被人认为是世界的中心认识课文逻辑顺序和...

Unit 6 The Green Banana

Unit6TheGreenBanana1LeadinPrereadingquestionsHowdoesthetitleGreenBananastrikeyouWhatdoyouexpectthestoryto...

The green banana

均是精品欢迎下载学习欢迎下载百度文库资源资料均是本人搜集TheGreenBananaByDonaldBatchelderAbouttheauthorIntroductiontothetextDetailsoft...

Unit 6 The Green Banana Key to exercises

Vocabulary1strain2teasingtease3dawn4death5leak6inspection7realization8burial9scatteringscatter10grasp11ap...

The Great Gatsby了不起的盖茨比读书报告

BOOKREVIEWCrystal1120xx3509ThebookisTheGreatGatsbyandtheauthorisFrancisScottFitzgeraldThereare255pagesThenameofthep...

Book review on the Great Gatsby了不起的盖茨比读后感

BookReviewontheGreatGatsbyIhavereadtheGreatGatsbyinthistermTheGreatGatsbyisamasterpiecewrittenbyafamousAmericanwrit...

The Great Gatsby 读后感

MyIndependentReadingoftheGreatGatsbyIthinkGatsbyisaweirdpersonIhavealreadyreadthefirsttwochaptersandIremembermostis...

The Great Gatsby读后感

ThroughoutthewholestorythegreenlighthadbeenusedinthreeplacesInchapter1thepresenceofgreenlightcatchmyeyesButIdidntca...

the green banana读后感(8篇)