3.2 HDFS基本原理

运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。POSIX标准设置的很多硬性约束对HDFS应用系统不是必需的。为了提高数据的吞吐量，在一些关键方面对POSIX的语义做了一些修改。

大规模数据集

运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被调节以支持大文件存储。它应该能提供整体上高的数据传输带宽，能在一个集群里扩展到数百个节点。一个单一的HDFS实例应该能支撑数以千万计的文件。

简单的一致性模型

HDFS应用需要一个“一次写入多次读取”的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。Map/Reduce应用或者网络爬虫应用都非常适合这个模型。目前还有计划在将来扩充这个模型，使之支持文件的附加写操作。

Namenode 和 Datanode

HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。

图3-1 HDFS架构

Namenode和Datanode被设计成可以在普通的商用机器上运行。这些机器一般运行着GNU/Linux操作系统(OS)。HDFS采用Java语言开发，因此任何支持Java的机器都可以部署Namenode或Datanode。由于采用了可移植性极强的Java语言，使得HDFS可以部署到多种类型的机器上。一个典型的部署场景是一台机器上只运行一个Namenode实例，而集群中的其它机器分别运行一个Datanode实例。这种架构并不排斥在一台机器上运行多个Datanode，只不过这样的情况比较少见。

集群中单一Namenode的结构大大简化了系统的架构。Namenode是所有HDFS元数据的仲裁者和管理者，这样，用户数据永远不会流过Namenode。

文件系统的名字空间 (namespace)

HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。当前，HDFS不支持用户磁盘配额和访问权限控制，也不支持硬链接和软链接。但是HDFS架构并不妨碍实现这些特性。

Namenode负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被Namenode记录下来。应用程序可以设置HDFS保存的文件的副本数目。文件副本的数目称为文件的副本系数，这个信息也是由Namenode保存的。

数据复制

HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，除了最后一个，所有的数据块都是同样大小的。为了容错，文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。HDFS中的文件都是一次性写入的，并且严格要求在任何时候只能有一个写入者。

Namenode全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表。

图3-2 HDFS数据复制

副本存放

副本的存放是HDFS可靠性和性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性，观察它的行为，为实现更先进的策略打下测试和研究的基础。

大型HDFS实例一般运行在跨越多个机架的计算机组成的集群上，不同机架上的两台机器之间的通讯需要经过交换机。在大多数情况下，同一个机架内的两台机器间的带宽会比不同机架的两台机器间的带宽大。通过一个机架感知的过程，Namenode可以确定每个Datanode所属的机架id。一个简单但没有优化的策略就是将副本存放在不同的机架上。这样可以有效防止当整个机架失效时数据的丢失，并且允许读数据的时候充分利用多个机架的带宽。这种策略设置可以将副本均匀分布在集群中，有利于当组件失效情况下的负载均衡。但是，因为这种策略的一个写操作需要传输数据块到多个机架，这增加了写的代价。

在大多数情况下，副本系数是3，HDFS的存放策略是将一个副本存放在本地机架的节点上，一个副本放在同一机架的另一个节点上，最后一个副本放在不同机架的节点上。这种策略减少了机架间的数据传输，这就提高了写操作的效率。机架的错误远远比节点的错误少，所以这个策略不会影响到数据的可靠性和可用性。于此同时，因为数据块只放在两个（不是三个）不同的机架上，所以此策略减少了读取数据时需要的网络传输总带宽。在这种策略下，副本并不是均匀分布在不同的机架上。三分之一的副本在一个节点上，三分之二的副本在一个机架上，其他副本均匀分布在剩下的机架中，这一策略在不损害数据可靠性和读取性能的情况下改进了写的性能。

第二篇：学生个人总结_个人总结 - 58同城

学生个人总结_个人总结 - 58同城工作总结发布信息 登录 注册 工作总结个人简历应届生职场招聘会个人简历模板职业规划劳动合同法城市招聘北 京企业招聘兼职工作上 海企业招聘兼职工作广 州企业招聘兼职工作深 圳企业招聘兼职工作武汉长沙天津成都南京西安苏州沈阳济南更多您当前的位置：58同城 » 工作总结 » 个人总结 » 学生个人总结学生个人总结来源：（58.com） 发布时间：2011-02-25 学生个人总结大三这一学期的学习已经过去了，现在我步入了大四的学习阶段，对于大三的学习和工作方面，需要做个总结，用来分析自己，发现缺点和不足以及优点和强势方面，并且让自己能够更加进步和提高。首先应该说说我的学习方面，作为一名大学生，我热爱我的学习，喜欢的所学习的内容，一个人要是喜欢一件事儿，就会特别认真的去做，这才能够把它做好。学习刻苦，态度认真，才能干大事，而作为学生的我们首要任务就是学这是一个态度的问题习，学会，学好了，然后再去运用到工作中去，我觉得这是我的路线----“学以致用”。我所学习的是电气工程与自动化专业，在当初报考这个专业的时候我丝毫没有犹豫，因为我很喜欢理工科，很喜欢这方面的知识，所以在就读大学后对这个专业的学习感到很兴奋，也算是圆了一个小小的梦想。在具体的学习中，我觉得对自己学习能力的培养很重要，若是学习那个能力不好的话，又怎么能够学好知识和运用到工作中呢。大学生，讲的就是个自学的能力，独立探求知识的能力。在条件完全相同的情况下，我们同学所取得的学习成绩是不同的，这有多方面的原因，但其中自学能力不同是一个重要原因。成绩优秀的同学往往具有较强的自学能力，他们不仅仅满足在老师指导下的学习，更注重独立探求知识，注重对书本的自学理解，遇到问题，并不急于求教，而是首先通过独立思考来解决，他们总是根据自己的实际情况来安排学习，表现出较强的独立性和自主性。我在这方面并不是做的很好，但一直努力争取做到百分之百的独立自主学习思考。我认为，在一个人所学到的知识中，独立探求的比例越大，那么知识掌握的就越好，而且能更好地促进他的进一步发展。所以，在学习中应加强自学精神和独立意识。其二，我觉得要重点说明的是我们在学习工作中与他人合作的能力。认识活动总是在一定的社会环境中完成的，在主张独立探求知识的同时，还需要加强与他人的合作学习，通过合作学习，更加全面、更加深刻地理解

知识。知识的掌握需要双向、多向交流，所以，我们不仅要主动与老师多交流，而且要与同学进行积极的讨论。学会认真听取别人的意见，互相协作解决问题，也是善于同别人打交道的一种社交能力。一位哲学家曾说过：“我有一个苹果，你有一个苹果，交换以后，我们还是拥有一个苹果。但是，我有一种思想，你有一种思想，交换以后，我们就会拥有两种思想。”我觉得平时我和我的同学这方面做的挺好的，有什么问题，或者遇到困难，同学之间的交流特别频繁，而且有时讨论一个问题时是那么的激烈，在这种学习环境中，我相信我们会有很大的提高和进步！第三，就是流畅的表达能力。有些同学认为，好象只有文科要求有较好的写作表达能力，实际上理科所要求的解答过程也是一种表达能力。我们所说的表达能力不仅包括文字表达，还包括口头表达。在很多学习活动中，善于演讲，能够准确、自如地表达自己的思想是一种重要的学习能力。语言是与人交流的工具，也是思维能力的表现，不注意表达能力的训练，不仅影响与他人的交往，而且会影响思维的发展，进而影响学习。所以，我们应有意识地加强表达能力的自我训练。第四，就是社会实践能力，其中包括我们的实际动手操作能力和人际交往能力。实践是大学生学习知识，锻炼才干的有效途径，更是大学生服务社会，回报社会的一种良好形式，它是学校教育向课堂外的一种延伸。通过实践，我学习到了一些课堂外的知识和做人的道理。同时也让我对自己有了更清楚地认识。我觉的在空余的时间，我们完全可以去一些和自己专业相关的单位、企业实习，给自己充能和开拓视野，这对自己和同学都是有好处的，完全可以检验自己的学习是否真正的学到了有用的东西，同时自己的工作经验还可以拿来和同学分享，大家都互相分享自己的学习和工作经验，会更加丰富自己的阅历，提高自身的素质。为自己以后的学习工作打下更加夯实的基础！即将由大学校园进入到社会工作的队伍里，我们因该多多总结自己，查漏补缺，尽力去完善自己，让自己能够以一个健康向上的精神去迎接新的挑战，以昂扬的斗志去面对更加复杂的学习和工作。TAGS:学生个人总结下一篇：内勤工作总结 上一篇：房地产工作总结 学生个人总结相关03-03检验员工作总结03-03如何写总结02-23个人工作总结范文02-23个人工作总结02-12先进个人总结02-12团员个人总结01-19医生的个人工作总结01-1920xx年公务员个人工作总结范文发布求职信息总结栏目导航个人总结年终总结工作总结范文销售工作总结财务工作总结

年度工作总结学期总结工作计划演讲稿教师工作总结心得体会实习总结辞职报告总结专题半年工作总结文章排行榜话务员工作总结区政协副主席个人工作总结20xx年教师个人工作总结精选(西部教育)海事处20xx年度个人工作总结个人总结格式个人总结怎么写公司秘书工作5个月个人总结试用期工作总结报告热门推荐检验员工作总结如何写总结个人工作总结范文个人工作总结先进个人总结团员个人总结医生的个人工作总结20xx年公务员个人工作总结范文实用工具万年历二十四节气表公交查询列车时刻表天气预报北京时间在线计算器星座速配表生男生女表关于我们 | 联系我们 | 58便民导航 | 58公交 | 58同城吧 | 与58对话 © 2010 58同城网