篇一 :大数据时代读书笔记

大数据时代——读书笔记

一、引论

1. 大数据时代的三个转变:

1. 可以分析更多的数据,处理和某个现象相关的所有数据,而不是随机采样

2. 不热衷于精确度

3. 不热衷与寻找因果关系

2. 习惯:用来决策的信息必须是少量而精确的。实际:数据量变大,数据处理速度变快,

数据不在精确

3. 危险:不是隐私的泄露而是未来行动的预判

二、大数据时代的思维变革

1. 原因:没有意识到处理大规模数据的能力,假设信息匮乏,发展一些使用少量信息的技

术(随机采样)

1. 1086年 末日审判书 英国对人的记载

2. 约翰·格朗特:统计学,采样分析精确性随着采样随机性上升而大幅上升,与样本数

量关系不大

3. 1890年,穿孔卡片制表机,人口普查

4. 随机采样有固有的缺陷

1. 采样过程中存在偏差

2. 采样不适合考察子类别

3. 只能得出实现设计好的问题的结果

4. 忽视了细节考察

2. 全数据模式:样本=总体

1. 通过异常量判断信用卡诈骗

2. 大数据分析:不用随机抽样,而是采用所有数据。不是绝对意义而是相对意义。

(Xroom信用卡诈骗,日本相扑比赛)

3. 多样性的价值(社区外联系很多》社区内联系很多)

3. 混杂性而非精确性

1. 葡萄树温度测量:数据变多,虽然可能有错误数据,但总体而言会更加精确。

2. 包容错误有更大好处

3. word语法检查:语料库》算法发展

4. google翻译:让计算机自己估算对应关系,寻找成千上万对译

结论:大数据的简单算法好过小数据的复杂算法

5. 大数据让我们不执著于也无法执着于精确

6. MIT的通货紧缩软件:即时的大数据

7. 标签:不精确

8. 想要获得大规模数据的好处,混乱是一种标准途经

9. 新的数据库:大部分数据是非结构化的,无法被利用

10. Hadoop:与mapreduce系统相对的开源式分布系统,输出结果不精确,但是非常快 结论:相比于依赖小数据和精确性的时代,大数据因为更强调数据的完整性和混杂性,帮助我们进一步接近事情的真相。“部分”和”确切“的吸引力是可以理解的。但是当我们的视野局限在我们可以分析和确定的数据上时,我们对世界的整体影响就会产生偏差和错误。不仅失去了尽力收集一切数据和活力,也失去了从不同角度观察时间的权利。

…… …… 余下全文

篇二 :《大数据时代》读书笔记-20xx0203

大数据意味着什么——《大数据时代》读书笔记

自英国人维克托.迈克.舍恩伯格(Viktor Mayer Schonberger)20xx年写了一本叫《大数据时代:生活、工作和思维的大变革》的互联网专著,“大数据”一夜之间成为全球互联网领域的核心关键词,无论国外的谷歌、亚马逊、facebook、twitter,还是国内的新浪、腾讯、淘宝、京东、当当、百度等互联网企业及传播学者、新媒体研究者、媒体人都将注意力转移到这一核心关键词上面,仿佛这年头如果你还对大数据浑然不知,走出去都不好意思跟传播学大家谈互联网,谈新媒体,谈如今如火如荼的电子商务。那么,到底什么是大数据?大数据有哪些特征?大数据对互联网、对普通网民意味着什么呢?

去新华书店搬回来这本大部头,一口气读完,维克托用生动的案例幽默的语言,针对上述问题娓娓道来。

提起“数据”,大家都知道是一种用0、1等计算机语言表示的信息,而所谓的“大数据”就是一种流量、存储量超级大(以TB计算)数据。谷歌地图街景(图片)是大数据,每一个微博用户在微博上产生的全部内容合起来作为一个整体是一种大数据,淘宝店主和每一位淘宝用户在淘宝这个平台上产生的所有信息作为一个整体是一种大数据,国内最大的搜索引擎百度里面所有的无数条的类目信息合起来也是一种大数据,这些都是互联网企业普遍存在的大数据,事实上,大数据在我们的日常生活中还有更为普遍的应用:超级市场里每一位会员刷卡购物(非会员购物买单时留下的购物清单也是大数据的一部分)时留下来的信息是大数据,百货大楼、大商场里面各个角落里安装的摄像头拍下每一位顾客进出商场及在商场中活动的画面是大数据,甚至汽车里面安装的电子狗、导航系统作业时也能带来大数据。细数身边常接触的这些大数据,仿佛还不得不信维克托这位号称“大数据商业应用第一人”大胆提出的“大数据”这个新概念的存在。 大数据最大的特征就是数据量大、庞大、巨大。因为数据量大,所以才能商业特别是互联网企业带来不可估量的现时或潜在的价值,如果百度里面的数据量不够大,可供网民搜索的类目和条目不够多,那它毫无可能成为网民的“移动的百科全书”。如果超级市场里面顾客和会员没有留下大量的数据,那么超级市场根本无从精确判断下个月该进多少货,该进哪些货品。这,就是数据量够大带来的变革之一。其次,大数据还具有巨大的商业价值。 1

…… …… 余下全文

篇三 :大数据时代读书心得

生活,工作以及思维的大变革

——读《大数据时代》有感及所思

读了《大数据时代》后,感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式,但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前,我的思想被强烈震撼,不禁战栗起来。

本书从思维、商业、管理三个方面阐述了在大数据时代在下的变革,这些变革涉及到我们生活的方方面面,几乎其影响程度可以与两次工业革命相媲美。作者在第一部分提出了三个比较令人震惊的观点,也就是大数据的精髓在于我们分析信息时的三个转变,这三个转变将改变我们的理解和组建社会的方法。并且作者将生活,工作思维的大变革和这几个方面紧紧联系在一起。

第一个转变是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。也就是说样本等于总体;第二个转变是对研究数据不会追求精度,而且追求混杂性,小数据时代下,追求精确度是合理的,因为我们收集的数据很少,所以要越精确越好,包括如今仍然也在使用这种办法;但是在某些时代,尤其是在大数据时代背景下,快速获得一个大概轮廓和发展脉络,要比精确性重要得多,既然选择了整体性,肯定要忽视细节和确定性;第三个改变是不是因果关系而是相关关系,在大数据时代,我们更需要了解一个东西是什么,而不是为什么,要找到关联无,通过一个良好的关联物的相关关系可以帮助我们捕捉预测未来。

这三个方面是大数据时代所给我们带来的思维上的改变,所谓思路决定出路,思路有了创新,有了拓展,相应的社会也就会有很大的变化。紧接着第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力。第三部分则是阐述了大数据时代下的弊端以及在管理上的措施。个人认为本书的精髓部分是第一部分,第一部分的三个观点涉及的面很广,包括统计学、逻辑学、哲学等。后两个部分都是以第一部分这三个观点为基础展开阐述的。

…… …… 余下全文

篇四 :《大数据》读书心得

《大数据》读书心得

厦门双十中学思明分校代冰清

大数据时代已经悄然到来,如何应对大数据时代带来的挑战与机遇,是当下我们一线教师,尤其是年轻教师必须面对的一个严峻课题。大数据时代是我们的一个黄金时代,对我们的意义可以说就像是另一个“80年代”。

在前几年本世纪初的时候,世界都称本世纪为“信息世纪”。确实在计算机技术与互联网技术的飞速发展过后,我们面临了一个每天都可以“信息爆炸”的时代。打开电视,打开电脑,甚至是在街上打开手机、PDA、平板电脑等等,你都可以接收到来自互联网从世界各地上传的各类信息:数据、视频、图片、音频??这样各类大量的数据累积之后达到了引起量变的临界值,数据本身有潜在的价值,但价值比较分散;数据高速产生,需高速处理。大数据意味着包括交易和交互数据集在内的所有数据集,其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。遂有了“大数据”技术的应运而生。

现在,当数据的积累量足够大的时候到来时,量变引起了质变。“大数据”通过对海量数据有针对性的分析,赋予了互联网“智商”,这使得互联网的作用,从简单的数据交流和信息传递,上升到基于海量数据的分析,一句话“他开始思考了”。简言之,大数据就是将碎片化的海量数据在一定的时间内完成筛选、分析,并整理成为有用的资讯,帮助用户完成决策。借助大数据企业的决策者可以迅速感知市场需求变化,从而促使他们作出对企业更有利的决策,使得这些企业拥有更强的创新力和竞争力。这是继云计算、物联网之后IT产业又一次颠覆性的技术变革,对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。后工业社会时代,随着新兴技术的发展与互联网底层技术的革新,数据正在呈指数级增长,所有数据的产生形式,都是数字化。如何收集、管理和分析海量数据对于企业从事的一切商业活动都显得尤为重要。

大数据时代是信息化社会发展必然趋势,我们只有紧紧跟随时代发展的潮流,在技术上、制度上、价值观念上做出迅速调整并牢牢跟进,才能在接下来新一轮的竞争中摆脱受制于人的弱势境地,才能把握发展的方向。

…… …… 余下全文

篇五 :大数据时代读书心得

一部似乎还没有写完的书

——读《大数据时代》有感及所思

读了《大数据时代》后,感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式,但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前,我的思想被强烈震撼,不禁战栗起来。 “在小数据时代,我们会假象世界是怎样运作的,然后通过收集和分析数据来验证这种假想。”“随着由假想时代到数据时代的过渡,我们也很可能认为我们不在需要理论了。”书中几乎肯定要颠覆统计学的理论和方法,也试图通过引用《连线》杂志主编安德森的话“量子物理学的理论已经脱离实际”来“终结”量子力学。对此我很高兴,因为统计学和量子力学都是我在大学学习时学到抽筋都不能及格的课目。但这两个理论实在太大,太权威,太基本了,我想我不可能靠一本书就能摆脱这两个让我头疼一辈子的东西。作者其实也不敢旗帜鲜明地提出要颠覆它们的论点,毕竟还是在前面加上了“很可能认为”这样的保护伞。

近几十年,我们总是在遇到各种各样的新思维。在新思维面前我们首先应该做到的就是要破和立,要改变自己的传统,跟上时代的脚步。即使脑子还跟不上,嘴巴上也必须跟上,否则可能会被扣上思想僵化甚至阻碍世界发展的大帽子。既然大数据是“通往未来的必然改变”,那我就必须“不受限于传统的思维模式和特定领域里隐含的固

1

有偏见”,跟作者一起先把统计学和量子力学否定掉再说。反正我也不喜欢、也学不会它们。

当我们人类的数据收集和处理能力达到拍字节甚至更大之后,我们可以把样本变成全部,再加上有能力正视混杂性而忽视精确性后,似乎真的可以抛弃以抽样调查为基础的统计学了。但是由统计学和量子力学以及其他很多“我们也很可能认为我们不再需要的”理论上溯,它们几乎都基于一个共同的基础——逻辑。要是不小心把逻辑或者逻辑思维或者逻辑推理一起给“不再需要”的话,就让我很担心了!

…… …… 余下全文

篇六 :《大数据时代》读书心得

大数据时代,引领信息全球化

——读《大数据时代》有感

如今说起新媒体和互联网,必提大数据,似乎不这样说就OUT了。而且人云亦云的居多,不少谈论者甚至还没有认真读过这方面的经典著作——舍恩佰格的《大数据时代》。维克托·迈尔——舍恩伯格何许人也?他现任牛津大学网络学院互联网研究所治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人。他的咨询客户包括微软、惠普和IBM等全球顶级企业,他是欧盟互联网官方政策背后真正的制定者和参与者,他还先后担任多国政府高层的智囊。这位被誉为:大数据时代的预言家“的牛津教授真牛!那么,这位大师说的都是金科玉律吗?并不一定,读大师的作品一定要做些功课才好读懂,如果能做足功课又具备相应的理论功底,就能与之进行一场思想上的对话。

粗浅认识之我见

舍恩伯格分三部分来讨论大数据,即思维变革、商业变革和管理变革。在第一部分“大数据时代的思维变革”中,舍恩伯格旗帜鲜明的亮出他的三个观点:一、更多:不是随机样本,而是全体数据;二、更杂:不是精确性,而是混杂性;三、更好:不是因果关系,而是相关关系。对于第一个观点,我不敢苟同。一方面是对全体数据进行处理,在技术和设备上有相当高的难度。另一方面是不是都有此必要,

…… …… 余下全文

篇七 :《大数据》读书笔记

《大数据》读书笔记

版本介绍

书名:《大数据》 作者:涂子沛

出版社:广西师范大学出版社

副标题:正在到来的数据革命,以及它如何改变政府、商业与我们的生活(2.0升级版) 出版年:2013-11

页数 :362

字数:242千字

开本:700mm*1000mm 1/16

定价:49.90元

ISBN:9787549518371

作者介绍

涂子沛,知名专栏作家、信息管理专家、信息技术经理人、数据专家、自由撰稿人。先后为《南方都市报》、《IT经理世界》、艾瑞网等多个报刊网站撰写专栏,网易、财经网名博博主。毕业于华中科技大学、中山大学和卡内基梅隆大学。赴美留学之前,曾在省、市、县几级政府的不同部门磨砺10年,做过职业程序员,担任过公安边防巡逻艇的指挥官,也从事过政府统计工作。现为美国某软件公司数据中心的主任,居美国匹兹堡,专注于数据仓库、商务智能、客户关系管理以及互联网研究等领域。

学术界评价

大数据具有催生社会变革的能量。但释放这种能量。需要严谨的数据治理、富有洞见的数据分析,以及一个激发管理创新的环境。涂子沛的《大数据》这本书总结了美国的经验和实践,并为中国提出了一个路线图。我为他的成就感到骄傲。这本书完整地融合了技术、政治、商业三个角度,体现了我们学院师资教学的独特优势。我相信本书会在中国激发新的思想和讨论,帮助中国迎接大数据的挑战。

---Ramayya Krishnan(卡内基梅隆大学海因兹学院及信息管理学院院长、终身教授) 《大数据》是一本视角独特、取材新颖、别开生面的好书。它以数据位轴线,描绘了美国走过的开放创新历程。从该历程中我们看到,数据挖掘是一种知识生产过程,从中产生创新,产生管理,产生推动社会变革的理论与实践。更有意思的是,美国政治的发展,公民权利的实现,以及各种自由与福利的保障,都和对数据的创造性应用密切相关。这对已经步入信息时代的中国,尤其有借鉴意义。趋势所在,数据乃大。涂子沛先生的专业性分析和介绍,

…… …… 余下全文

篇八 :读《与大数据同行》心得体会

读《与大数据同行》心得体会

黄许博爱小学 黄道清

读完《大数据》,我才意识到这并不是一本枯燥无味的书籍。作者运用案例和讲故事的方式,把美国数据开放、收集、使用背后的立法故事、公民故事、技术故事、商业故事娓娓

道来,引人入胜,令我大开眼界。

大数据概念对于教育来说会产生什么样的实用价值呢?一直以来,中国教育在研究教育的数字化,比如数字化校园,这个思路就是把我们教育的内容进行数字化,其结果指向的就是电子教材的研发或者是教学过程的数字化。美其名曰,这是教育技术的重要内涵。

在教学过程中,学生的行为表现都可以被数据化,而这项研究不是任何一个专业可以深入下去的,它的专业性太强,所以我才会想到,所谓教育技术与其研究教育的数字化,不如研究教育的数据化来得实在,来的有意义。长期以来,我们并不了解教育对一个人的影响具体会如何表现,我们有的只是一个轮廓,我们也并不确定一个教师的行为对学生具体产生了哪些影响。所以,人们对教育一直有一个深深的质疑,它是不是科学的?大数据概念至少提出了关注“是什么”比“为什么”要有实际意义得多。而我们的教育恰好需要把注意力从“为什么”转移到“是什么”上面来,只有如此,才能把教育从为什么发展成“可能成为什么”上来,这会是一次思想上的革命。而对于现在地位岌岌可危的教育技术来说,把研究的重点从数字化转移到数据化上面,这才是它的出路。

如何将数据融入教学,教育者首先通过标准化全科教学处方,实现了教师授课模板和教学内容的标准化,保证每个教学过程和内容是可控的,然后结合每天的教学内容,处理好面对的数据,处理好数据,

自然也就处理好了课堂的反馈,最终形成了既注重教学体验又以教学结果为导向的教学体系。

与此同时,不仅要注重课上的学生资源,在课后还要对这些资源进行跟踪处理。这与过去的教育教学显然是不同的,面对大数据时代的到来,教学有所改变是必然的。所以,无论

环境怎么变换,数据如何复杂,我们都不能不去改变自己的教学去迎合将来的这个大数据时代。

…… …… 余下全文