《大数据时代》读后感
一、学习总结
1、关于作者
维克托·迈尔-舍恩伯格(Viktor Mayer-Schönberger),他是十余年潜心研究数据科学的技术权威,他是最早洞见大数据时代发展趋势的数据科学家之一。
2、关于大数据
1)大数据是什么
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点:Volume(大量)、Velocity((高)速率)、Variety(多样性)、Veracity(真实)。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。
2)大数据的来源
所谓的“Big Data”是由IBM和Gartner分析师提出的概念,我们比较时髦的称其为大数据。
3)大数据现状、应用
通过分析和优化企业数据实现一种对未来的企业运营的精准的预测能力。采用一系列的技术,从技术中获得洞察力,也就是BI或者分析;另外一个是分析路径,寻找关键绩效指标,从仪表盘这样的工具进行数据分析,实现预测性工作。
4)大数据未来
Fayyad曾被视为数据挖掘领域的No.1,他用下图向我们解释了为什么说分析是大数据未来的发展方向。
3、
关于大数据时代
1)思维变革
v 更多:不是随机样本,而是全体数据;“样本=总体”。
v 更杂:不是精确性,而是混杂性;允许不精确,最大化利用全体数据。
v 更好:不是因果关系,而是相关关系;“是什么”,而不是“为什么”。
2)商业变革
v 数据化:一切皆可“量化”;关注信息本身。
v 价值:发现、利用数据的价值。
v 角色定位:大数据掌控、大数据技术、大数据思维的三足鼎立。
3)管理变革
v 责任:数据来源有效性、数据存储安全性、数据使用合法性。
v 自由:反对数据垄断大亨。
二、读后感
1、大数据时代,是名符其实的“信息社会”
经历了口口相传、纸媒传播,到现在的网络技术,我们可以获得比以前更多的信息并进行分析,可以从更多的维度诠释世界。
通讯技术的发展,促进了个人/组织在信息获取上的平等发展,数据不再是限制我们努力的因素了。数据的的爆炸式产生,促使我们必须从海量的信息中做出选择、掌握数据挖掘技术和筛选工具。
2、大数据技术支持预测工作
大数据的4V特点,及对相对关系的发掘,改变了传统的基于少量样本的预测思维。思维的转变,将会在各行各业中爆发出更多的预测技术和工具,进而支撑预测工作的大力发展。
大数据技术越完善,我们越能更快更全面的获得更多的有效数据,预测则越准确。
3、知识管理迫在眉睫
大数据的未来是数据分析,而分析的目的是转化为经验、规律、总结……,它们的集合就是知识。知识是个人/组织成长的直接推动因素。
知识管理要遵循积累原则(知识积累是实施知识的管理基础)、共享原则(一个组织内部的信息和知识要尽可能公开,使每一个员工都能接触和使用公司的知识和信息)、交流原则(知识管理的核心就是要在公司内部建立一个有利于交流的组织结构和文化气氛,使员工之间的交流毫无障碍)。这三原则不正是大数据技术的组织基础吗?
三、在工作中的而应用
1、关注运作工作向数据管理方向的转化
在仓储工作中,为物品对象(仓库、货物、设备、员工等)、流程对象(如作业、异常处理、管理等)建立属性列表,关注数据积累。
同时,关注仓储数据与运输、客服、园区等各方面环境数据的对应。
2、重视数据挖掘,提高数据分析能力
根据运作问题和目标,通过数据挖掘和分析,寻找有效的数据指标。通过对关键指标的趋势预测,发现潜在风险、发掘改善途径。
3、推动数据转化,促进建立知识管理系统
在实际工作中,重视对裸数据、经验、执行文件的管理,引导各项目的知识转化。建立从数据积累、知识转化(数据到知识、隐性知识到显性知识、个体知识到组织知识等)、知识共享的知识管理体系,形成仓储管理知识体系及其良性循环。
(正文结束)
第二篇:数据库 学习总结
数据库学习总结
XX班 姓名 学号
摘要:在当今信息化的社会里,数据库可以说已经融入到我们生活的方方面面中,如交通运输、银行金融、工商企业等等。只要有大量的数据要管理或者需要有大量数据支持的工作,都要使用到数据库,它为我们的生活带来了便捷。 关键词:数据库,功能、SQL Server的特点
在学习《数据库原理及应用》这门课之前,就和课本上提到的一个观点一样,认为它只是存放数据的仓库而已,但是现在我深深体会到这个观点是多么的片面。数据库是长期存储在计算机内,有组织、可共享的大量的数据集合,前者只能表达它的一方面而已。
数据库技术发展到今天已经是一门非常成熟的技术,它的技术水平、应用水平多比初始时都有了很大的改变,但是它的最基本的特征却没有变,概括起来有以下几个方面:
第一点:数据库是相互关联的的数据集合;即在数据库中不仅要能够表示数据本身,还要能够表示数据与数据之间的关系。
第二点:数据库用综合的方法组织数据,保证尽可能高的访问效率;即根据不同的需要按不同的方法组织数据,例如顺序组织方法、索引组织方法、倒排数据组织方法等。
第三点:数据库具有较小的数据冗余,可供多个用户共享;即通过共享共用的数据,降低数据的冗余度,这也能保证数据的一致性。
第四点:数据库具有较高的数据独立性;即令数据的组织和存储方法与应用程序互不依赖,降低应用程序的开发代价和维护代价。
第五点:数据库能够保证数据的安全、可靠;即拥有(1)、安全控制机制,这可以有效地防止数据库中数据被非法使用或非法修改;(2)、完整的备份和恢复机制,这能保证当数据遭到破坏时(软件或硬件故障引起的),能立刻将数据完全恢复,从而保证系统能持续、可靠地运行。
第六点:数据库允许并发地使用,能有效、及时地处理数据,并能保证数据的一致性和完整性;即当多个用户同时使用相同的数据时,数据库能够协调一致,保证不发生冲突和矛盾。
那么对于上面数据库的各种功能和特性是如何实现的呢?当然它不是数据库中的数据固有的,是靠管理或支持数据库的系统软件——数据库管理系统(DataBase Management System)提供的。下面我将结合我所学习的内容,谈谈关于数据库管理系统——Mircrosoft SQL Server。
Mircrosoft SQL Server是一个高性能的、多用户的关系型数据库管理系统,它专为客户/服务器计算环境设计,它提供的内置数据复制功能、强大的管理工具和开放式的系统体系结构为基于事物的企业级信息管理方案提供了一个卓越的平台。
首先作为一个数据库管理系统,Mircrosoft SQL Server应该具备如下功能:
1、数据库定义功能:可以定义数据库的结构和数据库的存储结构,可以定义数据库中数据之间的联系,可以定义数据的完整性约束条件和保证完整性的触发机制等;
2、数据库操作功能:可以完成对数据库中数据的操作,可以装入、删除、修改数据,可以重新组织数据库的存储结构,可以完成数据库的备份和恢复等操作;
3、数据库的查询功能:可以以各种方式提供灵活的查询功能,使用户可以方便地使用数据库中的数据;
4、数据库的控制功能:可以完成对数据库的安全性控制、完整性控制、多用户环境下的并发控制等各方面的控制;
5、数据库的通信功能:在分布式数据库或是提供网络操作功能的数据库中还必须提供数据库的通信功能。
其次是Mircrosoft SQL Server中系统数据库的作用,每个SQL Server实例包括四个系统数据库(master、model、tempdb和msdb)以及一个或多个用户数据库。下面是关于四个系统数据库的介绍:
1、master数据库:用于存储SQL Server系统的所有系统级信息,包括所有的其它数据库的信息、所有数据库注册用户的信息以及系统配置设置等。
2、tempdb数据库:用以保存所有的临时表和临时存储过程,还可以满足任何其它的临时存储要求,例如存储SQL Server生成的工作表。
3、model数据库:它是一个模板,当使用CREATE DATABASE命令建立新的数据库时,新的数据库的一部分总是通过复制model数据库中的内容创建,剩余部分由空页填充。
4、msdb数据库:用于SQL Server代理程序调度报警和作业等系统操作。 同时在安装SQL Server时,还建立了一个pubs数据库,这是一个用户数据库,是一个可以用于练习的示例数据库。在建立数据库时,每个数据库至少有两个文件:一个主文件(存储数据库的启动信息、用户数据和系统表,以.mdf为扩展名)和一个事物日志文件(用来保存恢复数据库的日志信息,以.ldf为扩展名)。
接下来是SQL Server的数据库结构:
在SQL Server数据库中,数据被组织为用户可以看得见的逻辑组件,主要包括基本表、视图、存储过程、触发器和用户等。SQL Server在发出CREATE DATABASE命令建立数据库时,会同时发出建立操作系统文件、申请物理存储空间的请求;当CREATE DATABASE命令成功执行后,在物理上和逻辑上都建立了一个新的数据库。这就可以在数据库库中建立各种用户所需的逻辑组件,如基本表、视图等。
然后是Mircrosoft SQL Server管理中的几个特点:
1、数据库镜像:通过数据库镜像,将自动失效转移建立到一个待用服务器上增强SQL服务器系统的可用性。
2、在线检索操作:即在指数数据定义语句(DDL)执行期间,允许对基地表格或集簇索引数据和任何相关的检索,进行同步修改。例如,当一个集簇索引正在重建时,可以对基低数据继续进行更新、查询。
3、快速回复:新的、速度更快的恢复选项可以改进SQL服务器数据库的可用性,管理人员将能够在事物日志向前滚动之后,重新连接到正在恢复的数据库。
4、快照隔离:通过快照隔离,使用者能够使用与传统一致的视野观看数据库,存取最后执行的一行数据,这也为服务器提供了更大的可升级性。
5、专门的管理员连接:即即使在一个服务器被锁住,或者因为其他原因不能使用时,管理员可以通过这个连接,接通这个正在运行的服务器。这一功能能让管理员,通过操作诊断或Transact-SQL指令,找到并解决发现的问题。
最后是关于学习过程中的体会,数据库能给我们生活带来便捷,但它的学习肯定不会那么一帆风顺,总会遇到问题。我想解决问题最好的方法是理解它,从多方面理解、掌握它。
首先是对概念的理解,例如关于游标的使用,最基本的操作语句如定义游标:DECLARE CURSOR、打开游标:OPEN、从游标中读记录:FETCH、关闭游标:CLOSE、释放游标:DEALLOCATE、执行:EXEC等,如果都不明白这些语句含义,如何掌握它?其次是对数据结构的理解,数据库就象房子,也有地基、承重墙(框架)、门、窗、内部家俱饰品等,对应到数据库里,一样可以找到相应的东东。地基就象数据库的系统表,不论以后要盖多少房子,多高多大的房子,都要在地基上开始;框架(承重墙)可以是每张表,也可以是每张表中的字段,是不可逾越而又相互交叉的;门窗就是数据库中的通道,就是索引、访问权限、视图等;内饰、家具就是最终的用户数据,是放在数据库这所房子里的东西。然后是在思维上的理解,东西方的思维方式上存在差异,比如在多表查询、数据库结构优化时需要多考虑这种理解和实施层面的“差异性”。