大数据时代

时间:2024.5.2

我们不再热衷于寻找因果关系,而应该寻找事物之间的相关关系。这个命题是我读这本书最大的感触。个人认为也是这本书最核心的思想。从头说起吧,首先,书提出一个颠覆我以前认知的命题--“并非原子而是信息才是一切的本源”,将世界看做信息,看做可以理解的数据的海洋,为我们提供了一个从未有过的审视下是的视角。它是一种可以渗透到所有生活领域的世界观。这个命题是在书的最后一部分中的某一段中描写的。我之所以把它放在最前面来讲,因为我觉得,这是谈数据化世界的前提,自然也是谈论大数据的前提啦。书的中间部分有一节讲到数据化和数字化的区别。经过我自己脑子的整理,把数据化世界这个命题列为大数据思维的第二步。写到这里,我不由得反省下,我是不是有领悟到书的精髓所在(我认为的精髓),就是第一句话。因为回顾我整个思路,还是按照旧模式的因果关系思考模式思考问题。书中另一个吸引我的地方就是,有很多观点的论述,会从哲学的高度论述。虽然,自己肚子没多少墨水,但是读这些描述的时候,就会发现自己会更好的理解作者提出的命题。比如书中有一段文字

当我们说人类是通过因果关系了解世界时,我们指的是我们再理解和解释世界各种现象时使用的两种基本方法:一种是通过快速、虚幻的因果关系,还有一种就是通过缓慢、有条不紊的因果关系。大数据会改变这两种基本方法在我们认识世界时所扮演的角色。

在附上一些事例的时候,用作者提供的“本质”去看待时,很容易理解,确实是这么回事。好了,那么大数据到底改变了我们什么呢,作者给出3点,

大数据的精髓在于我们分析信息时的三个转变,这些转变讲改变我们理解和组建社会的方法。

第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(样本=总体)

第二个转变就是,研究数据如此之多,以至于我们不再热衷于追求精确度 第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系,而应该寻找事物之间的相关关系。大数据告诉我们“是什么”而不是“为什么”。在大数据时代,我们不必知道现象背后的原因,我们只要让数据自己发声。,出处:短美文(),转载请保留本出处,否则追究其责任,谢谢你的支持,我们会给做得更好!

正如大家所知道的那样,人类的大脑具备这样的功能,它会把新输入的刺激或信息与“过去的经验或积累的部分知识”相对照,然后进行调整并接受下来。如果眼前新的现实与大脑中储存的固有信息无法协调,便会在无意识中拒绝接受新的

现实(当作没有看见);或者通过自己一知半解的知识任意推测,使自己认识到的情况偏离实际(产生错觉)。这是人的一种本能,目的在于使自己保持冷静。

所以作者称之为revolution。()

讲了这么多,那么大数据到底给我们带来什么。在这里,我只想谈我感触最深的,其他的有兴趣的可以自己去了解。当然,书中提了很多,最多的就是,XXX公司或者个人利用大数据创造了多大的财富了,抛开这些表面的不说,最让我动心亦或者是害怕的是---预测。这是大数据带来最核心的东西,动心的理由无须赘述,计算机会告诉你什么时候买什么双色球可以中头奖,想想心里是不是有一点小激动咧。当然这只是我打的一个比较夸张的比喻。至于害怕呢,书中有段话我很喜欢

公平正义的基础是人只有做了某事才需要对它负责,毕竟,想做而未做不是犯罪,社会关系于个人责任的基本信条是,人为其选择的行为承担责任。如果大数据分析完全准确,那么我们的未来会被精准的预测,因此在未来,我们不仅会失去选择的权利,而且会按照预测去行动。如果精准的预测成为现实的话,我们也就失去了自由意志,失去了自由选择的权利。既然我们别无选择,那么我们也就不需要承担责任。这不是很讽刺吗。

扯到这里,顺便扯一下,书中另一段关于自由意志的描述

在哲学界,关于因果关系是否存在的争论已经持续了几个世纪。毕竟,如果凡事皆有因果的话,那么我们就没有决定任何事的自由了。如果说我们做的每一个决定或者每一个想法都是其他事情的结果。而这个结果又是由其他原因导致的。以此循环往复,那么就不存在人的自由意志这一说了。----所有的生命轨迹都只是受因果关系的控制了。因此,对于因果关系在世间所扮演的角色,哲学家们争论不休,有时他们认为,这是与自由意志相对立。

书中举了个例子,举了部电影《少数派报告》,当我看到这里的时候,“哎哟,我居然看过这部电影,想想心里还是有点小激动”,有兴趣的可以去看下,大概就是讲警察通过预测来提前抓捕犯人,不过不是通过大数据,是通过超人类的方式。当你什么举动都可以被预测,相当于你完全暴露在太阳光下,换成你,你害怕不。

最后,附上两段结语,一段是书中的一段话,另一段是我自己瞎编的 大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。

大数据终将会影响到我们,也像其他技术一样会是一把双刃剑,用得好,动心,滥用,害怕。如同核技术一样,用的话,造福地球,滥用,给个金刚石地球你,照样爆。我相信,未来的大数据的发展会如作者所说的,是一场生活、工作与思维的革命。

无论如何,大家看到这四个是不是有种,不管我上面扯得有没有道理,通不通顺,下面的话,会很有道理的样子的错觉(抄袭于《栋笃笑》)OK,无论如何,日子还是得照过。施主,我看你骨骼惊奇,是个练武奇才,最后送上《九阳神功》心法,以后维护世界和平的重任就交给你了。

他强由他强,清风抚山冈。

他横由他横,明月照大江。

他自狠来他自恶,我自一口真气足。


第二篇:大数据时代简介


大数据时代

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。

大数据

随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。著云台的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。

大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……

截止到20xx年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,20xx年全球产生的数据量为0.49ZB,20xx年的数据量为0.8ZB,20xx年增长为1.2ZB,20xx年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到20xx年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了20xx年,全世界所产生的数据规模将达到今天的44倍。

数据价值

一分钟内,微博推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万…… 这些庞大数字,意味着什么?

它意味着,一种全新的致富手段也许就摆在面前,它的价值堪比石油和黄金。 事实上,当你仍然在把微博等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。

现在就让我们一起来看看——他们是怎么做的。

这些数据都能干啥。具体有六大价值:

1、华尔街根据民众情绪抛售股票;

2、对冲基金依据购物网站的顾客评论,分析企业产品销售状况;

3、银行根据求职网站的岗位数量,推断就业率;

4、投资机构搜集并分析上市企业声明,从中寻找破产的蛛丝马迹;

5、美国疾病控制和预防中心依据网民搜索,分析全球范围内流感等病疫的传播状况;

6、美国总统奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好。

数据转化

案例 - 你开心他就买,你焦虑他就抛

华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一,就是利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再以“1”到“50”进行打分。根据打分结果,霍廷再决定如何处理手中数以百万美元计的股票。

霍廷的判断原则很简单:如果所有人似乎都高兴,那就买入;如果大家的焦虑情绪上升,那就抛售。

这一招收效显著——今年第一季度,霍廷的公司获得了7%的收益率。

可视化

大数据是如此重要,以至于其获取、储存、搜索、共享、分析,乃至可视化地呈现,都

成为了当前重要的研究课题。

“当时时变幻的、海量的数据出现在眼前,是怎样一幅壮观的景象?在后台注视着这一切,会不会接近上帝俯视人间星火的感觉?”

倒是有公司已经在大数据中有接近上帝俯视的感觉,美国洛杉矶就有企业宣称,他们将全球夜景的历史数据建立模型,在过滤掉波动之后,做出了投资房地产和消费的研究报告。

四个特征

数据量大(Volume)

第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

类型繁多(Variety)

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

价值密度低(Value)

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。

速度快时效高(Velocity)

第四个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

提供依据

大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据,而以云计算为代表的计算技术的不断进步,为我们提供了强大的计算能力,这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。

大数据虽然孕育于信息通信技术的日渐普遍和成熟,但它对社会经济生活产生的影响绝不限于技术层面,更本质上,它是为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。

事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。

最让人吃惊的例子是,社交媒体监测平台DataSift监测了Facebook(脸谱) IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时,Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时,10分钟后Facebook的股价又开始下跌。最终的结论是:Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。

这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一,此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面,大数据在社会建设方面的作为同样令人惊叹,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起,都与大数据技术与应用的发展息息相关。

“大数据”可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠“差不多”运行的社会发生巨大变革。

更多相关推荐:
大数据时代读书心得

一部似乎还没有写完的书读大数据时代有感及所思读了大数据时代后感觉到一个大变革的时代将要来临虽然还不怎么明了到底要彻底改变哪些思维和操作方式但显然作者想要终结或颠覆一些传统上作为我们思维和生存基本理论方法和方式在...

大数据时代书面记录与心得体会

大数据时代书面记录与心得体会20xx年5月12日听取了大数据时代相关技术的技术讲座当今大数据的到来已经成为现实生活中无法逃避的挑战每当我们要做出决策的时候大数据就无处不在大数据术语广泛地出现也使得人们渐渐明白了...

大数据时代读书心得

生活,工作以及思维的大变革——读《大数据时代》有感及所思读了《大数据时代》后,感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式,但显然作者想要“终结”或颠覆一些传统上作为我们思维…

读《大数据时代》有感

数据的故事——读《大数据时代》有感信息时代的到来,我们感受到的是技术变化日新月异,随之而来的是生活方式的转变??我们这样评论着的信息时代已经变为曾经。如今,大数据时代成为炙手可热的话题。笔者在这说明信息和数据,…

《大数据时代》读书心得

大数据时代引领信息全球化读大数据时代有感如今说起新媒体和互联网必提大数据似乎不这样说就OUT了而且人云亦云的居多不少谈论者甚至还没有认真读过这方面的经典著作舍恩佰格的大数据时代维克托迈尔舍恩伯格何许人也他现任牛...

大数据时代读后感

大数据时代生活工作与思维的大变革读后感最近有幸参加了单位的读书活动我选择了大数据时代生活工作与思维的大变革这本书正如书名中提到的我们的生活工作与思维都在大数据时代中经历着重大的变革一思考读书前想起了我亲身体验也...

读《大数据时代》有感

数据的故事读大数据时代有感信息时代的到来我们感受到的是技术变化日新月异随之而来的是生活方式的转变我们这样评论着的信息时代已经变为曾经如今大数据时代成为炙手可热的话题笔者在这说明信息和数据只是试图首先说明信息数据...

大数据时代的税收数据应用管理(方存)

大数据时代的税收数据应用管理方存内容摘要随着信息技术的飞速发展税收征管也已经进入大数据时代由于数据信息化的广泛运用使海量数据的即时获取和精确分析成为现实为研究纳税人办理涉税业务特征提供了良好条件带来了税收服务手...

大数据时代感受人文和科技的跨界之美

大数据时代感受人文和科技的跨界之美20xx1104大数据文摘作者张首晟斯坦福大学物理系教授纽约时间20xx年11月3日富兰克林奖委员会决定将本年度富兰克林物理奖授予美籍华人物理学家斯坦福大学教授张首晟奖励他在拓...

大数据时代的未来农业发展模式

大数据时代的未来农业发展模式吴磊现在古老的农业又到了变革前夜这一次的搅局者是信息技术传感器物联网云计算大数据以及互联网其不但颠覆了日出而作日落而息地手工劳作方式也打破了粗放式的传统生产模式转而迈向集约化精准化智...

大数据时代的云计算

大数据时代的云计算读后感花了差不多两周的时间把这本书看完了诚实地讲如果不是老师推荐以前的我是不会看类似的书籍的一直对有所这种书籍抵触更从来不会去想我们所运用的诸多科技成果以及享受的科技带给我们的便利到底是怎样的...

大数据与政府治理现代化心得体会

大数据与政府治理现代化心得体会通过学习哈尔滨工业大学管理学院教授米加宁题为大数据与政府治理现代化的学术讲座我主要有以下几方面的认识和体会大数据是一场管理革命用数据说话用数据决策用数据管理用数据创新会给国家治理方...

大数据时代心得(19篇)