河南理工大学上机实验报告

20##—20##学年              第    二   学期                    上机时间 20##、5、27      

专业班级计算机12-3         学号311209010306                    姓    名马文利            

实验类别：专业                         实验要求：必修  

实验类型：设计                         实验者类型：本科生

第二篇：增强现实-报告模板

目录

摘要.................................................................................................................................... 2

Abstract............................................................................................................................... 3

第一章　绪论...................................................................................................................... 4

1.1 课题国内外研究现状.............................................................................................. 4

1.2 发展历史............................................................................................................... 4

1.3 研究意义............................................................................................................... 5

第二章　增强现实技术介绍................................................................................................. 6

    2.1　核心技术............................................................................................................. 6

    2.2　工作原理............................................................................................................. 9

第三章　增强现实的实现................................................................................................... 11

    3.1实现中的难点问题................................................................................................. 11

    3.2　应用实例............................................................................................................ 11

第四章　总结与展望.......................................................................................................... 13

4.1 总结..................................................................................................................... 13

4.2 展望..................................................................................................................... 13

致谢.................................................................................................................................. 15

参考文献........................................................................................................................... 16

 

 

摘要

增强现实（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。该技术可以将虚拟的物体合并到现实场景中，并能支持用户与其进行交互，它已经成为虚拟现实研究中的一个重要领域 ,也是人机界面技术发展的一个重要方向。本课题讲述了国内外在这个领域中的主要研究内容和进展情况，并介绍了增强现实中的支撑技术、开发工具和相关理论；然后应针对当前AR应用的现状，简要分析了实现中的难点问题并介绍典型的AR应用实例。

关键词：增强现实、显示、注册、交互、应用

Abstract

AR (Augmented Reality, referred to as "AR"), is a kind of real-time computing the position of the camera image and Angle and combined with the corresponding image technology, using computer to generate a vivid visual, listening, force, touch and feel of virtual environment, such as through a variety of sensing device users "immersion" to the environment, realize the user and the environment of natural interaction directly. The technology of virtual objects can be incorporated into the real scene, and can support the user to interact with, it has become an important field in the study of virtual reality, is an important direction of development of human-machine interface technology. This topic describes the main research contents and progress in this field at home and abroad, and introduces the support in the augmented reality technology, development tools and related theory; Then should be based on the status quo of the current AR application, the brief analysis of the problem of the difficulty in the implementation and introduces the typical AR application example.

Key Words：Augmented reality, display, registration, interaction and application

第一章　绪论

1.1 课题国内外研究现状

作为新型的人机接口和仿真工具，AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。

国内在AR方面的研究起步较晚，但北京理工大学、国防科技大学、西安石油学院、电子科技大学、华中科技大学、四川大学等已经在AR系统的摄像机校准算法、虚拟物体的投影注册算法、用于AR的头盔显示器的设计、AR三色立体基准注册技术、AR中的遮挡问题、AR的工程应用等方面已经取得了一些研究成果。总体来讲，增强现实在中国处于起步阶段，现在许多虚拟现实领域的企业已经开始专注于“增强现实”的研发和应用。比如中视典数字科技研发的VRP12.0就集成了增强现实的功能。 

2.2 国外研究状况 

相较而言，国外对于增强现实的研究起步早了许多，收获颇多。国外研究AR系统的单位有德国SIEMENSAG、美国微软公司、美国MIT大学、美国哥伦比亚大学、澳大利亚Vienna大学、日本Nara协会等这些单位已经在AR系统的摄像机校正算法、AR头盔显示器的设计、硬件平台的应用、视觉跟踪技术等方面取得了一些可喜的成果。

1.2 发展历史

AR技术始于二十世纪六十年代，美国哈佛大学 IvanSutherland教授发明了光学透明头盔显示器(see一 throughHead一 MountedDisplay，简称STHMD)显示计算机生成的3D图形。

20世纪80年代到90年代，AR的发展较为成熟，一些公司和高校不断研制出完善的AR系统，其中比较好的有: 1986年，Furness研制的vCAss系统采用头盔显示器将射程、射击目标等作战信息显示在飞行员的视野上。1986年，美国北卡大学(LJNCatChaPelHill)研制出用于实现生物化学和建筑可视化的STHMD系统。1993年，美国哥伦比亚大学的Feine:教授等人设计了一个基于知识的AR系统。该系统用于指导机械维修，可以将有关技术说明叠加在激光打印机上，辅助技术人员完成维修工作。

20世纪90年代初期，波音公司的Tom Caudell和他的同事在他们设计的一个辅助布线系统中提出了“增强现实”（augmented reality，简称AR）这个名词。

接下来又相继出现了多种增强现实应用系统，主要集中在医疗、制造与维修、机器人动作路径的规划、娱乐和军事等几个方面。但是由于设备和精度等方面的原因，所有这些系统都没有真正投入实际应用，Azuma在1997年曾对这些系统和其使用的基本技术给出过一个详尽的综述。 

20世纪90年代末，这个领域的研究者们开始聚会在一系列每年召开的和增强现实相关的国际研讨会和工作会议上，例如，国际增强现实工作会议（IWAR），国际增强现实研讨会（ISAR）和国际混合与增强现实会议（ISMAR）等。这些会议在很大程度上促进了AR的研究发展。近年来随着移动设备计算能力的增强和对网格计算环境的关注，对户外增强现实系统和支持分布式协同操作增强现实系统的研究明显增加。

1.3 研究意义

增强现实，也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

 AR能为我们提供现实中无法直接获知的信息，这种信息实际上让每个人眼中的世界更加多样性。同样的大楼在我们的AR视线里，会披上完全不同的‘信息外套’，给予相关的注释，同时，信息的及时更新将给众多用户带来更多的互动与联系。此外，地理上没有关联的事物可以通过AR技术将这些零散的信息收集整合呈现在你的面前。这些都是目前AR已经显现出来的一些特点。当然随着技术的发展，未来的AR可能会更加先进。

第二章　增强现实技术介绍

2.1　核心技术

增强现实系统的核心技术主要有：显示技术、注册技术、交互技术。  

（1）增强现实的显示技术

增强现实系统设计最基本的问题就是实现虚拟信息和现实世界的融合。显示技术是增强现实系统的基本技术之一。一般而言，可以把增强现实的显示技术分为以下几类：头盔显示器、显示投影式显示、手持式显示器显示和普通显示器显示。

1.头盔显示器(Head-mounted display, 简称HMD)显示 

现有的虚拟现实技术的人机界面中大多采用头盔显示真实世界器。主要原因是头盔显示器较其他几种显示技术而言沉浸感最强。因为用于增强显示系统的头盔显示器能够看到周围的真实环境，所以叫做透视式（see-through）头盔显示器。 

透视式头盔显示器一般分为视频透视式（Vedio seethrough）和光学透视式（Optical see-through ）。前者是利用摄像机对真实世界进行同步拍摄，将信号送入虚拟现实工作站在虚拟工作站中将虚拟场景生成器生成的虚拟物体同真实世界中采集的信息融合，然后输出到头盔显示器。而后者则是利用光学组合仪器直接将虚拟物体同真实世界在人眼中融合，实现增强。

还有一种更为奇特的方法是虚拟视网膜显示技术（Virtual Retinal Display 简称VRD ）。华盛顿大学的人机界面实验室（HIT Lab） 研究出的VRD 是通过将低功率的激光直接投射到人眼的视网膜上，从而将虚拟物体添加到现实世界中来。 

2.投影式显示projection display 

投影式显示是将虚拟的信息直接投影到要增强的物体上，从而实现增强。日本Chuo 大学研究出的PARTNER 增强现实系统可以用于人员训练，并且使一个没有受过训练的试验人员通过系统的提示，成功地拆卸了一台便携式OHP（Over Head Projector）。 

另外一种投影式显示方式是采用放在头上的投影机(Head-Mounted Projective Display 简称HMPD)来进行投影。美国伊利诺斯洲立大学和密歇根洲立大学的一些研究人员研究出一种HMPD 的原型系统。该系统由一个微型投影镜头一个戴在头上的显示器和一个双面自反射屏幕组成。  由计算机生成的虚拟物体显示在HMPD 的微型显示器上，虚拟物体通过投影镜头折射后再由与视线成45 的分光器反射到自反射的屏幕上面。自反射的屏幕将入射光线沿入射角反射回去进入人眼中从而实现了虚拟物体与真实环境的重叠。  

3.手持式显示器(Hand Held Display 简称HHD)显示 

通过采用摄像机等其他辅助部件，一些增强现实系统采用了手持式显示器。美国华盛顿大学人机界面技术实验室设计出了一个便携式的MagicBook 增强现实系统 。该系统采用一种基于视觉的跟踪方法把虚拟的模型重叠在真实的书籍上，产生一个增强现实的场景同时该界面也支持多用户的协同工作。日本的SONY计算机科学实验室也研究出一种手持式显示器，利用这种显示器，构建了TransVision 协同式工作环境。 

4.普通显示器显示Monitor-based Display 

增强现实系统也可以采用普通显示器显示。在这种系统中，通过摄像机获得的真实世界的图像与计算机生成的虚拟物体合成之后在显示器输出。在需要时也可以输出为立体图像这时需要用户戴上立体眼镜。

（2）增强现实的注册技术 

为了达到增强现实虚实无缝融合，三维注册起着重要的作用，这也是近十年来增强现实研究领域最大的热点之一。三维注册技术一直以来是增强现实系统研究的重点．也是主要的技术难点。而三维跟踪注册精度是衡量AR系统性能、影响其实用性的关键指标。    

注册误差可分成两大类：静态注册误差和动态注册误差。当用户的视点与真实环境中的物体均保持静止时，系统产生的误差称静态注册误差。而只有当用户的视点或环境中的物体发生相对运动时才会出现的误差称为动态注册误差。动态注册误差是造成增强现实系统注册误差的主要来源，也是限制增强现实系统实现广泛应用的主要因素。 

目前增强现实的研究中主要采用以下两种三维注册方法：

1. 基于跟踪器(Tracing)的三维注册技术 

基于跟踪器的三维注册技术主要记录RE（real environment）中观察者的方向和位置，保持VE(virtual environment)与RE的连续性，实现精确注册。 主要采用的跟踪器包括电磁跟踪器、惯性跟踪器、测距仪、超声波定位仪、全球定位系统(GPS)等，常用的跟踪设备包括：机电式跟踪器、电磁式跟踪器、声学跟踪器、光电跟踪器、惯性跟踪器、全球卫星定位系统等。

为了弥补各跟踪器的缺点，许多研究者采用混合跟踪的方法以取长补短，满足增强现实系统高精度注册的要求。 

2. 基于视觉(Vision)的三维注册技术 

基于视觉的j维注册技术是目前占主导地位的跟踪技术。主要通过给定的一幅图像来确定摄像机和RE中目标的相对位置和方向。 

典型的视觉三维注册技术有：仿射变换注册和相机定标注册。 

仿射注册技术的原理是给定三维空间中任何至少4个不共面的点，空间中任何一个点的投影变换都可以用这4个点的变换结果的树形组合来表示。仿射变换注册是AR三维注册技术的一个突破，解决了传统的跟踪、定标等繁琐的注册方法，实现通过视觉的分析进行注册。 

相机定标注册则是一个从三维场景到二维成像平面的转换过程，即通过获取相机内部参数计算相机的位置和方向。

（3）增强现实的交互技术 

交互技术是增强现实中与显示技术和注册技术密切相关的技术．满足了人们在虚拟和现实世界自然交互的愿望。AR中虚实物体交互的基本方式有两类：视觉交互与物理交互。视觉交互包括虚实物体相互间的阴影、遮挡、各类反射、折射和颜色渗透等。物理交互包括虚实物体间运动学上的约束、碰撞检测和受外力影响产生的物理响应等。交互本身可以是单向或双向的，但由于技术上的原因，目前的研究基本上被限制在真实物体对虚拟物体的单向交互方面。 

通常会使用以下几种交互方法：

1、传统交互方法：在校园浏览系统中，用户背着移动PC和眼踪设备。头戴透视式头盔显示器，手持手写笔和DA，在校园中漫步。AR系统通过摄像头捕捉到校围场景，并在这些场景中添加建筑物的相关信息，从而帮助使用者了解校园情况。

2、手势交互手段：基于手势的人机交互手段是较为新颖的一种交互手段。基于视觉的手势交互已受到广泛的关注，由于手势本身的多义性及时空差异性，加之人手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的多学科交叉研究课题。

传统识别手的形态的方法分为基于模型的方法和基于表征的方法两大类。由于手的形态变化维度极高，在实时搜索自然人手对应的3D模型时，前者由于计算复杂度的原因往往达不到速度的要求，因此各种手戴标记被广泛应用。 

3、基于标记以及其他相关信息进行交互 

AR系统中不仅仅利用标识进行三维注册，有时也可以利用标识和虚拟系统中的信息进行交互。例如印度的大学生中已经有人研究了利用色环实现纸上投影的信息转移到电脑上。还有人研究采用装有反光标记的黑色手套，操纵虚拟的国际象棋棋子。

2.2　工作原理

移动式增强现实系统的早期原型增强现实的基本理念是将图像、声音和其他感官增强功能实时添加到真实世界的环境中。的确是这样，但是电视网络所做的只是显示不能随着摄像机移动而进行调整的静态图像。增强现实远比您在电视广播中见到的任何技术都要先进，尽管增强现实的早期版本一开始是出现在通过电视播放的比赛和橄榄球比赛中，例如Racef/x和添加的第一次进攻线，它们都是由SporTVision创造的。这些系统只能显示从一个视角所能看到的图像。下一代增强现实系统将显示能从所有观看者的视角看到的图像。

在各类大学和高新技术企业中，增强现实还处于研发的初级阶段。最终，可能到这个十年结束的时候，我们将看到第一批大量投放市场的增强现实系统。一个研究者将其称为“21世纪的随身听”。增强现实要努力实现的不仅是将图像实时添加到真实的环境中，而且还要更改这些图像以适应用户的头部及眼睛的转动，以便图像始终在用户视角范围内。下面是使增强现实系统正常工作所需的三个组件：

1.头戴式显示器

2.跟踪系统

3.移动计算能力

增强现实的开发人员的目标是将这三个组件集成到一个单元中，放置在用带子绑定的设备中，该设备能以无线方式将信息转播到类似于普通眼镜的显示器上。让我们分别来了解这个系统中的每个组件。

2.3 相关理论

增强现实是一种同时包括虚拟世界和真实世界之要素的环境。它的出现与下述科技进步密切相关：

（1）计算机图形图像技术

增强现实的用户可以戴上透明的护目镜，透过它看到整个世界，连同计算机生成而投射到这一世界表面的图像，从而使物理世界的景象超出用户的日常经验之外，这种增强的信息可以是在真实环境中与之共存的虚拟物体，也可以是实际存在的物体的非几何信息。

（2）空间定位技术

为了改善效果，增强现实所投射的图像必须在空间定位上与用户相关，当用户转动或移动头部时，视野变动，计算机产生的增强信息随之做相应的变化，这是依靠三维环境注册系统实现的。这种系统实时检测用户头部位置和视线方向，为计算机提供添加虚拟信息在投影平面中映射位置的依据，并将这些信息实时显示在荧光屏的正确位置。

（3）人文智能

人文智能将处理设备和人的身心能力结合起来，它并非仿真人的智能，而是试图发挥传感器、可穿戴计算机等技术的优势，使人们能够捕获自己的日常经历、记忆所见所闻，并与他人进行更有效的交流。在这一意义上，它是人的身心的扩展。作为智能，它基于用户在计算过程中的反馈，并不要求有意识的思考与努力。

第三章　增强现实的实现

3.1实现中的难点问题

虽然近年来增强现实技术取得了很大的发展，但是还是存在很多技术方面的难题。 

为了能够使用户始终感到虚拟物体确实是真实世界的一部分，就必须有一个连续一致的虚拟物体相对于真实世界的准确定标。但不幸的是，准确定标是一个较难解决的问题。首先，人的视觉系统对于视觉上的偏差，哪怕是非常微小的（甚至几个象素的误差）也是非常敏感的；其次，如定位的失误、头部跟踪系统的误差以及其他的干扰等在虚拟现实系统中可以忽略不计的误差；又如合成延迟所造成的真实环境与虚拟物体生成的不同步等在虚拟现实系统中不存在的问题，在增强现实系统中都是不能容忍的。这会使真实世界和虚拟物体严重脱节和错位，用户不但没有身临其境的感觉，反而这种表现形式还不如完全的虚拟环境。只有这个问题解决好了，增强现实技术才能严格地适用于各种应用领域。

此外，增强系统设备需要趋于微型化和低能耗，高储备。目前的大多数系统都是运用于预知的环境中，而在非预知的环境中的增强现实系统比较少。同时，如果增强现实系统运用于户外用户，必须戴上计算机、传感器、显示器、电池等许多设备，在便携式风靡全球的今天，笨重的AR系统设备是无法赢得人们的欢迎的。

    增强现实和人机交互关系密切，必须重视人机交互的研究。增强现实还有很长的路要走，机会和挑战并存。

3.2　应用实例

 到目前为止，增强现实技术已经被应用到多个领域。

一、军事

军队数十年来一直在设计使用增强现实。事实上，美国海军研究所已经资助了一些增强现实研究项目。国防先进技术研究计划署（DARPA）已经投资了HMD项目来开发可以配有便携式信息系统的显示器。其理念在于，增强现实系统可以为军队提供关于周边环境的重要信息，例如显示建筑物另一侧的入口，这有点像X射线视觉。增强现实显示器还能突出显示军队的移动，让士兵可以转移到敌人看不到的地方。美国海军在“弗吉尼亚”级潜艇的新一代成像系统中已经应用了增强现实技术，由美国科尔摩根公司研制，，主要用于潜艇远距离观测;

二、医学

在医学领域，利用增强现实技术能在临床外获得更好的经验。医生可以利用增强现实技术对外科手术进行可视化辅助操作和训练。使用表面感应器，像MRT，CT，实时地搜集病人的三维数据信息，并实时地绘制成相应的图像，融合到对病人的观察中。更确切地说，医生可以直接观察到“H射线版本”的病人。这对外科手术是非常有用的。增强现实技术可以使医生只需要很小，甚至不需要任何手术切口，就可以清晰地看到病人内部的“解剖视图”。例如用超声波感应器扫视孕妇的腹部，并在腹部对应处绘制出一个三维的胎儿图像，医生就可以看到胎儿在母体中的状态。

三、维修和建设

这很可能是应用增强现实的第一个行业。可以将标记器连接到人们正在施工的特定物体上，然后增强现实系统可以在它上面描绘出图像。这是一个比较简单的增强现实形式，因为系统只需要知道用户相对于他看到的物体所在的位置，而不必跟踪那个人的确切物理位置。日本Chuo大学工业和系统工程系研究出的PARTNER系统就指导了一个没有经过训练的人员成功地拆卸了一台投影机。这种系统一般是用增强现实技术为维护人员提供辅助信息。

四、娱乐　　

增强现实系统广泛应用于各种娱乐活动中。虚拟演播室技术是增强现实在传统视频合成技术的基础上发展的结果。 同时增强现实技术还可用于各种游戏体育比赛的转播等。德国 DML数字媒体实验室利用增强现实技术扩展了原来基于蓝影技术制作天气预报节目的方法，用虚拟的三维场景替换了原来的平面背景使得节目效果更好。

五、教育

增强现实技术在儿童教育领域也将发挥其交互性、趣味性的优势。 有专家评估，增强现实技术对教育的影响可以归结为三点，即知识可视化，实时交互性和超现实感官体验。增强现实技术可以通过虚实结合的学习环境来促进知识的迁移，达到寓教于乐的目的。随着移动设备和增强现实技术的结合，移动学习和自主学习成为现实。曼恒的研发人员开发的AR移动平台可以将一本普通的、印有插图的纸质图书中的二维内容通过互动形式来实现对应三维内容的生动展现。

第四章　总结与展望

4.1 总结

增强现实技术是一个多学科交叉的领域，它包括计算机视觉、计算机图形学、传感器、网络、GPS等诸多技术。人们能够通过增强现实技术将真实世界和虚拟世界重合在一起，得到对真实世界更深的理解。AR由于其具有对真实环境的增强输出特性，在医疗研究和解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域发挥着巨大作用，相信随着技术的日益成熟，AR将会走进人们的生活，给人们提供更多的便利与乐趣。 

4.2 展望

值得期待的 4 个增强实现应用方向：空间计算、感知人脑、交互提升。

空间计算：相机已成为采集信息量最大的传感器，但受一些计算机视觉算法和移动设备硬件的限制，目前增强现实技术的潜力还远远没有发挥出来。随着这两个问题的逐渐改善，我们所能体验到的视觉空间将得到极大延展——从那块小小的设备屏幕上解脱出来。在网络高度发展的今天，增强现实系统的网络化是一个重要的发展趋势。通过网络，可以减少一些装备，同时也可以大大提高增强现实系统的效能。通过GPS无线接入网络可以将增强现实系统连上因特网。和虚拟现实系统不同,增强现实系统的实时性要求非常高。前者的某些数据可以事先计算好，而增强现实系统中的虚拟物体必须实时地生成，并被准确地描绘到现实世界的景象中。这就要求降低系统的延迟性，提高软件的计算速度。

感知人脑：InteraXon 的首席技术官 Chris Aimone 认为，设备通过智能的方式感知人脑将带来巨大的方便，比如根据人的意识自动调节信息的显示，根据人的心情给出生活建议。这种技术与增强实现的结合可以让设备更好地感知用户的状态，从而使得增强现实技术更加实用而不只是“炫”。这对于 Google Glass 这种头戴式设备无疑是个很好的机会。

交互提升：Geoloqi 的联合创始人 Amber Case 认为，只要使用增强实现技术创作内容、动画的障碍降低，增强实现就会变得有趣起来，从而交互将发生实质的改变。想想那些大片中悬浮在房间里的菜单界面，如果能实现，那这将是一个巨大的飞跃。移动增强现实的一个发展方向是基于投影仪的基于移动终端的增强现实。尽管目前手机屏幕越来越大，但是不可能无限增大，同时大的显示屏幕对于电池是一个非常大的考验。美国MIT开发的基于移动终端的增强现实借助微型的投影仪把增强信息投到用户手上以及用户阅读的报纸上，同时用户可以通过不同的手部动作和投射出的影像进行交互，通过投影机可以把用户周围任何的平面、曲面都变成显示表面，可以帮助用户更好的工作和生活。 

致谢

　感谢南京邮电大学计算机软件学院提供的这次专业能力测试评估活动，给了我接触前沿技术的机会，感谢指导老师提供的课题说明指导和论文辅导，感谢室友的讨论与建言，感谢百度、３６０搜索引擎的大力支持，本文主要通过信息搜索技术查找相关信息，其提供了很大帮助。

参考文献

[1]百度百科（增强现实）：

http://baike.baidu.com/view/104668.htm?fr=aladdin#10

[2]360百科（增强现实）：

http://baike.so.com/doc/6131606.html