基于实例的迁移学习算法研究

【摘要】：传统的机器学习中当分布发生变换时，大部分的机器学习方法不具备自适应能力，需要重新学习，要求用户收集更多的训练数据。在现实的应用中，重新收集训练数据、重新训练学习机代价很大，非常有必要减少这些环节，迁移学习的研究就成为一种必然。迁移学习可以应用相关领域的数据，将相关领域的有用知识”迁移”到目标领域中，用以解决在目标领域的学习任务．而迁移学习的关键是如何选取相关数据以帮助目标领域的学习。本文提出一种基于聚类集成的迁移学习算法，通过从源数据中寻找能够帮助目标数据学习的实例以帮助目标领域的学习，并且针对基于聚类集成迁移学习目标数据较少，容易过度拟合的缺陷，提出了基于半监督的聚类集成迁移学习算法以改进该缺陷。最后对两个算法在20个新闻组数据集上进行了实验，证明这两个算法能有效提高目标数据的学习效率。【关键词】：迁移学习聚类集成半监督

【学位授予单位】：山西财经大学

【学位级别】：硕士

【学位授予年份】：2013

【分类号】：TP181

【目录】：摘要6-7ABSTRACT7-101.绪论10-151.1研究背景及意义10-111.2国内外研究现状11-131.2.1迁移学习研究现状11-121.2.2半监督学习的研究现状12-131.3论文的主要研究工作13-141.4论文的组织结构14-152.迁移学习与半监督学习的基本理论15-222.1迁移学习的基本理论15-182.1.1迁移学习的概念152.1.2迁移学习的研究内容15-172.1.3迁移学习的类型17-182.1.4迁移学习的应用182.2半监督学习的基本理论18-212.2.1半监督学习的概念18-192.2.2基本算法19-202.2.3半监督学习算法选择20-212.2.4半监督学习的研究趋势212.3迁移学习与半监督学习的关系21本章小结21-223.基于聚类集成的迁移学习算法22-403.1聚类与集成技术概述22-253.1.1聚类技术概述22-243.1.2集成技术概述24-253.2基于聚类集成的迁移学习25-283.2.1算法的基本思想25-263.2.2算法描述及分析26-283.3实验分析28-393.3.1数据集描述28-303.3.2数据集处理30-363.3.3评价指标363.3.4实验结果分析36-39本章小结39-404.与半监督结合的迁移学习算法40-484.1基于半监督的聚类集成迁移学习算法40-434.1.1算法的基本思想40-414.1.2算法的描述及分析41-434.2实验分析43-474.2.1实验数据集434.2.2评价指标43-444.2.3实验结果分析44-47本章小结47-48总结与展望48-49参考文献49-54致谢54-55攻读硕士学位期间发表的论文55-56   本论文购买请联系页眉网站。

第二篇：迁移理论

迁移理论

迁移效应 - 案例
1、在棒球队员中选拨出高尔夫球的集训队员；让会英语的人去突击学习法语、德语、西班牙语一般都有会取得较为理想的效果。
2、日本司机在美国开车，常发生困难，甚至出现车祸。这主要是因为在日本是“车左、人右”，而在美国却恰好相反。

在日常生活中，我们可以观察到这样一些现象：学会了骑自行车有助于学习驾驶摩托车;学会了一种外文，有助于掌握另外一种外文；当学生在家里养成干净整洁的生活习惯，有助于他们在学习或做作业时养成爱整洁的习惯等等，这些都是我们常见的迁移现象。由此，我们可以看出，动作技能、知识情感和态度都是可以迁移的。

对于迁移现象，我国古代就有相关的描述，例如：“举一反三”、“触类旁通”、“温故而知新”、“爱屋及乌”、“熟能生巧”等等。

迁移与学习息息相关。人们通常把迁移定义为“一种学习对另一种学习的影响”

相同要素说：认为学习是刺激和反应之间形成联结。当前后两种学习存在着相同的要素时，前一种学习上的成功可以迁移到后一种学习上，使学习产生正迁移效果。相同要素即相同联结，学习迁移即相同要素的转移，因此，相同要素说实际上就是相同联结说。

他所谓的相同联结,包括目的、方法、普遍原则与经验上的基本事实4个方面的相同联结;他进而解释所谓的相同要素，就其物质方面来说乃是共同的脑神经的联结。“联结”原指实验动物对实验笼内刺激感觉和反应动作的冲动之间形成联系或联想，它和只有人类才具有的观念联想概念不同，人与动物均具有联结现象。

因而，桑代克把学习的相同要素看成是相同的联结，含义是比较广泛的，他把联结概念推广到人类心理上，认为人和动物的联结只是复杂程度不同而已，学习的迁移过程只不过是把已有的联结简单地转移于新情境的结果，这样就把学习问题引向简单化的一种机械主义观点上。

概括说：它揭示出造成学习迁移的关键原因是两种学习遵循着共同的原理，而不仅仅是相同的成分，从而使学习迁移的范围大为扩大。需要指出，概括不是一个自动的过程，而是与教学方法有密切的关系，即同样的教材内容，由于教学方法不同，教学效果就会差异悬殊，迁移效应也大不相同。由此可见，教师的指导对学习者概括和掌握原理起着十分重要的作用。因此，教师在教学过程中应注重引导学生对学习材料进行广泛概括，从而发现导致学习迁移发生的一般原理的原则。

概括化理论主张，不在于仅仅讲解概括化原理知识，而在于结合实际讲解原理。因此，教育内容和手段同样受到重视。

例子：认知心理学创始人之一W.苛勒曾用母鸡和一个三岁孩子作实验，先使实验对象对深灰纸与浅灰纸形成分化性条件反射，即对深灰纸发生食物反射，对浅灰纸不发生食物反射。继用黑灰纸替换浅灰纸，以观察母鸡和孩子是对原来的深灰纸发生食物反射，还是根据刺激物的深浅关系而对黑灰纸发生食物反射，结果表明：母鸡的前一种反应为30％,后一种反应为70％;孩子则 100％地发生关系反射, 即都对黑灰纸发生食物反射。苛勒由此认为，人们越能发现事物之间的关系则越能加以概括推广，迁移作用越加普遍。布鲁纳强调的原理的迁移，其实质也在于领悟了事物之间的关系，因此原理或基本概念掌握得越透彻，则越能实现迁移。

 认知结构论：

（一） 布鲁纳论迁移

布鲁纳认为，学习是类别及其编码系统的形成。人是通过将新的信息归入某一类别，然后根据这一类别以及相关的类别作出推理，以此超越所给的信息。这些相关类别的有层次结构的安排就构成了编码系统，在编码系统中，较高级的类别比较抽象些，较低级的类别比较具体些。编码系统的这种非具体性对迁移具有重要的作用。正迁移就是把适当的编码系统应用于新的事例；负迁移则是把习得的编码系统错误地应用于新事例。

布鲁纳指出，迁移可分为两类。一种是特殊迁移，这是习惯和联想的延伸，主要是动作技能、机械学习的迁移； 一种是非特殊迁移，即原理和态度的迁移。布鲁纳承认一般的技巧、策略等有广泛迁移的可能性。在这两类迁移中，布鲁纳强调后者，认为后一类迁移是教育过程的核心。他提出，掌握学科的基本结构和领会基本原理和概念，是通向适当“训练迁移的大道”。从此，认知心理学家就特别强调认知结构与学习和迁移的关系。

（二）  认知结构迁移理论是奥苏贝尔从有意义言语学习理论发展而来的。他认为一切有

意义的学习都是在原有的学习基础上产生的，不受学习者原有认知结构影响的有意义学习是不存在的，即一切有意义学习必然包括迁移，而学习者原有认知结构的特征则始终是影响新的学习与保持的关键因素。

认知结构就是学生头脑中的知识结构。广义地说，它是学生头脑中全部内容和组织；狭义地说，它是学生在某一学科领域内观念的内容和组织。

（二）教学含义：

    奥苏伯尔认为，“为迁移而教”的实质是塑造学生良好的认知结构。可以从教学技术、教材内容及教材呈现这三个方面，确保学生形成良好的认知结构，以利于迁移。

在教学过程中，知识的掌握固然重要，但是，对于学生来说，能力的提高更为重要。古人说过：“授人以鱼，不如授人以渔”。

第三节 促进学习迁移的教学策略

一、影响学习迁移的因素

1、客体因素

学习材料相似性

学习情境相似性

教师的指导

2、主体因素

学习者的分析和推理能力

学习者的迁移心向

认知策略和元认知

促进学习迁移的方法

二、促进学习迁移的教学原则

按照从一般到个别逐渐分化综合贯穿的原则，合理编排教材；

根据学生的已有心理发展水平，合理安排教学程序；

按照过度学习的要求，保证教学为学生提供充分的知识领会、巩固和应用的机会

三、促进学习迁移的有效方法

创设可迁移的学习情境

帮助学生概括、理解基本原理

给学生以学习方法的指导

帮助学生建立合理的、最佳的知识结构

3、学习定势与迁移

学习定势，是哈洛提出并用以解释顿悟现象的一个概念。哈洛认为：“学习情境的多样化决定我们的基本人格特征，并使在某些人变成会思考的人中起重要作用。这些情境是以同样的形式多次重复出现的。不应以单一的学习结果，而应以多变但类似的学习课题的影响所产生的变化来理解学习。”

学习定势既反映在解决一类问题或学习一类课题时的一般方法的改进(学会如何学习)上，也反映在从事某种活动的暂时准备状态(准备动作效应或预热效应)中。学习定势的这两个方面都影响作业的变化。

练习一类课题有助于类似的课题的学习，这一现象首先是在实验室用无意义音节进行研究发现的。渥德早在1937年报告：被试在记忆数列无意义音节时，前面的练习，影响后面的记忆，记忆速度越来越快。

哈洛1949年的研究也发现了类似的现象。他首先用猴子作被试进行研究，然后以儿童为被试进行重复实验。对猴子作辨别训练时，在猴子面前呈现两个物体，如一个是立方体，另一个是立体三角形。在一个物体下面藏着葡萄干，以葡萄干为强化物。通过几次尝试，猴子很快"知道"葡萄干藏在立方体下面，不在立体三角形下面。当它解决了这个问题以后，立即给它呈现另一个类似的问题，如两个物体均为立方体，但颜色不同，一为白的，另一为黑的。它必须进行新的学习以解决这个新的辨别问题。当它解决了这个问题以后，又呈现一个新的辨别问题，如此继续多次。当猴子解决了许多这样的辨别课题之后，它解决新问题的速度越来越快，尝试的次数越来越少。于是，实验者认为，猴子学会了如何解决问题或者说学会了如何学习。哈罗在谈到这个现象时说“猴子已经获得了解决问题的学习定势”。

类似的学会如何学习的现象，在以儿童为被试的实验中得到了证实。例如，在一个实验中，智力落后的儿童(年龄为10岁，智龄只有4岁)在解决一个辨别问题时感到非常困难，但先从较容易的问题开始训练，然后转到较难的问题，学习效果就明显提高。实验分三组。课题是辨别油漆在方瓦片上的图形：黑的正方形■，黄的空心T形。实验中甲组无预备训练，学习成绩很差，虽经500次尝试并有反馈，仍不能始终如一地选出正确的图形。乙组和丙组先作预备训练。乙组在作预备训练时，要辨别的图形(即实验辨别图形)被割掉了一部分(瓦片被切割了一部分)，被试可以借助于触觉帮助，辨别的难度降低。当他们在连续5次辨别尝试中有4次正确以后，转入实验课题，他们的成绩显著高于甲组的成绩。丙组用被切割的红色+图形和绿色+图形作预备训练，也在5次选择中达到4次正确之后，转入实验课题。虽然丙组在预备训练以后所要解决的课题是新的，但其成绩仍然超过甲组。

学习定势的研究启示我们，在安排练习内容时应由浅入深，循序渐进，练习课题之间要保持一定的同一性，这样才有助于学习与迁移