人脸识别技术综述

李勃

摘要：简要介绍了人脸识别技术的研究背景及其发展历程；对人脸识别技术的常用方法进行了分类总结；重点对近年来人脸识别方法的研究进展进行综述并对各种方法加以评价；总结了现阶段存在的研究困难并提出今后的发展方向。

关键词：人脸识别；人脸检测；人脸定位；特征提取

Abstract: Briefly introduces the background of automatic face recognition and its development. Gives a classified summary of the common methods for face recognition, mainly aiming at the latest works. Concludes key factors of research difficulties and gives the future research direction.

Keywords: face recognition; face detection; face localization; feature extraction

1 引言

人脸识别技术是生物识别技术的一种，它结合了图像处理、计算机图形学、模式识别、可视化技术、人体生理学、认知科学和心理学等多个研究领域。从二十世纪六十年代末至今，人脸识别算法技术的发展共经历了如下四个阶段：

1.        基于简单背景的人脸识别

这是人脸识别研究的初级阶段。通常利用人脸器官的局部特征来描述人脸。但由于人脸器官没有显著的边缘且易受到表情的影响，因此它仅限于正面人脸（变形较小）的识别。

2.        基于多姿态/表情的人脸识别

这是人脸识别研究的发展阶段。探索能够在一定程度上适应人脸的姿态和表情变化的识别方法，以满足人脸识别技术在实际应用中的客观需求。

3.        动态跟踪人脸识别

这是人脸识别研究的实用化阶段。通过采集视频序列来获得比静态图像更丰富的信息，达到较好的识别效果，同时适应更广阔的应用需求。

4.        三维人脸识别

为了获得更多的特征信息，直接利用二维人脸图像合成三维人脸模型进行识别，即将成为该领域的一个主要研究方向。

人脸识别技术的研究范围主要包括以下几个方面：

1.        人脸检测：在输入的图像中寻找人脸区域。

2.        人脸的规范化：校正人脸在尺度、光照和旋转等方面的变化。

3.        特征提取：从人脸图像中映射提取一组能反映人脸特征的数值表示样本。

4.        特征匹配：将待识别人脸与数据库中的已知人脸比较，得出相关信息。

人脸识别流程

2 图像预处理

2.1 图像去噪

一般来说，自然界中的噪声可以看成是一种随机信号。根据图像获取的途径不同，噪声的融入也有多种方式：

1.        图像是直接以数字形式获取的，那么图像数据的获取机制会不可避免地引入噪声信号；

2.        在图像采集过程中，物体和采集装置的相对运动。或采集装置的抖动，也会引入噪声，使图像变的模糊不清；

3.        在图像数据的电子传输过程中，也不同程度的引入噪声信号。

这些噪声信号的存在，严重的情况会直接导致整幅图像的不清晰，图象中的景物和背景的混乱。对于用于人脸识别的图像。由于噪声的引入，将不可避免地造成识别率的下降。对图像噪声的消除可以通过两个途径：空间域滤波或频率域滤波。消除噪声的方法很多，对于不同的噪声应该采用不同的除噪方法。主要的方法是：线性滤波、中值滤波、维纳滤波以及小波去噪等。

2.2 增强对比度

为了使人脸在图像中更为突出以便于下一步的特征提取，增强图像对比度是很有必要的。增强对比度有很多种方法，常见的有直方图均衡化和“S”形变换等方法。

“S”形变换方法将灰度值处于某一范围（人脸特征范围）内的像素灰度分布差距拉开，从而保证了对比度的提高，但此方法降低了其他灰度值的对比度。而直方图均衡化则是将像素的灰度分布尽量展开在所有可能的灰度取值上，这样的方法同样能使得图像的对比度提高。

将彩色图像转化成灰度图像是人脸识别方法中常见的处理过程，虽然转化过程丢失了一部分色彩信息，但是灰度图像拥有更小的存储空间和更快的计算速度。文献[1]给出了一种能够将RGB色彩转换成灰度级且适于突出人脸区域对比度的转换模型：；其中f代表灰度值，r,g,b分别表示Red,Green,Blue分量的值。

文献[2]通过将人脸彩色图像从RGB色彩空间转换到RIQ色彩空间，得到了更适于频谱分析的特征分量。

3 人脸检测与定位

人脸自动识别系统包括两个主要技术环节：人脸检测与定位和特征提取与人脸识别。

人脸检测与定位是指检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其在图像中的位置。

在某些可以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标尺内，此时人脸的定位很简单。证件照背景简单，定位也比较容易。在另一些情况下，人脸在图像中的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受到以下因素的影响：

1.      人脸在图像中的位置、角度及人物的姿势；

2.      图像中人脸区域的不固定尺度；

3.      光照的影响。

轮廓和肤色是人脸的重要信息，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此可以针对彩色图片利用肤色特征进行快速的人脸检测。基于特征检测方法的基本思想是：首先建立并利用肤色模型检测出肤色像素，然后根据肤色像素在色度上的相似性和空间上的相关性分割出可能的人脸区域，最后利用其他特征进行验证。

由于眼睛在人脸中相对位置固定，而且与周围面部区域灰度差别较大，所以在各个人脸候选区域中，指定眼睛可能存在的位置范围，并在该范围内用一系列阙值进行二值化处理，看能否搜索到代表瞳孔所在位置的两个黑色区域。如找到，则判为人脸。进一步的确定可再进行唇部检测，因为唇部一般位于人脸的下三分之一处，所以人脸位置初步确定后，可在下三分之一位置搜索唇形，使用方法是排除红色法。此技术也称基于眼唇定位技术。

4 特征提取与人脸识别

特征提取之前一般需要做几何归一化和灰度归一化的工作。前者是指根据人脸定位的结果将图像中的人脸区域调整到同一位置和大小；后者是指对图像进行光照补偿等处理，以克服光照变化的影响。

提取出待识别的人脸特征之后，即可进行特征匹配。这个过程是一对多或一对一的匹配过程，前者是确定输入图像为图像库中的哪一个人，后者是验证输入图像的人的身份是否属实。

以上两个环节的独立性很强。在许多特定场合下人脸的检测与定位相对比较容易，因此，特征提取与人脸识别环节得到了更广泛和深入的研究。

4.1 人脸特征提取

人脸特征提取是人脸识别中的核心步骤，直接影响识别精度。由于人脸是多维弹性体，易受表情、光照等因素影响，提取特征的困难较大。特征提取的任务就是针对这些干扰因素，提取出具有稳定性、有效性的信息用于识别。

人脸特征是识别的重要依据之一。检测定位过程中也会用到人脸特征。其中统计特征和灰度特征是在人脸定位和特征提取过程中常用到的两类特征：

a) 统计特征

统计特征即用统计的方法对目标对象的肤色、光照变化等因素建模。基于肤色特征的识别方法简单且能够快速定位人脸[1]。人脸肤色不依赖于细节特征且和大多背景色相区别。但肤色的确定对光照和图像采集设备特性较敏感。不同的光照下脸部色彩复杂。这给统一建模造成了一定难度。该方法通常作为其他统计模型的辅助方法使用，适于粗定位或对运行时间有较高要求的应用。

文献[1]使用人脸灰度图像的水平和垂直方向的像素灰度均值来描述人脸特征。通过分别对灰度图像各行和各列中的像素灰度值进行求和，获得水平方向与垂直方向的灰度均值轮廓，以此来描述人脸特征。

b) 灰度特征

灰度特征包括轮廓特征、灰度分布特征(直方图特征、镶嵌图特征等)、结构特征、模板特征等。由于人脸五官位置相对固定，灰度分布呈一定规律性，因此，可利用灰度特征来进行人脸识别。通常采用统计的方法或特征空间变换的方法进行灰度特征的提取，如利用K-L变换得到的特征脸，利用小波变换得到的小波特征等[2][3][4]。

文献[2]使用傅立叶变换得到人脸图片的频域信息，通过选取适当的遮盖模板，提取其中的频谱信息来描述人脸的特征。实验证明该方法对光照和表情/姿态的变化有一定的容忍力。

       文献[4]使用小波变换的方法在小波域通过多分辨率分析克服光照和面部表情对人脸识别的影响，获得了较好的识别效果。

4.2 人脸特征提取常用方法

近年来对人脸特征提取的研究主要集中在三个方面：

1.        几何特征点的提取；

2.        变换域中的特征提取；

3.        利用变形模板进行特征提取。

特征提取方法归纳起来分为两类：基于局部特征的提取方法和基于整体特征的提取方法。

基于局部特征的人脸面部表情识别是利用每个人的面部特征(眉毛、眼睛、鼻子、嘴巴和面部轮廓等)的位置、大小及其相互位置的不同进行特征提取，达到人脸面部表情识别的目的。基于人脸整体特征的提取是从整个人脸图像出发，通过加强反映整体特征来实现人脸面部表情识别。

对比两种方法，基于局部特征的方法很大程度上减少了输入的数据，但是用有限的特征点来代表人脸图像，一些重要的表情识别和分类信息就会丢失。基于人脸整体特征提取在计算量和计算时间上都多于局部特征提取，而且系统设计也相对复杂。

此外，还可以通过多种方法综合利用来进行特征提取。

4.2.1 模板匹配方法

模板匹配方法是模式识别的传统方法，其思想是：库中存储着已知人脸的若干模板。识别的时候，将经过预处理的输入图像与库中的所有模板采用归一化相关度量进行匹配识别，来达到分类的目的，完成人脸的识别。由于这种方法要求两幅图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。上述为静态模板匹配，但是它存在着对不同表情的人脸鲁棒性差的缺点，针对这一情况，人们提出了弹性模板匹配。

弹性模板匹配是根据待检测人脸特征的形状信息（通常利用小波特征）。定义一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如位置、大小、角度等，它们最终通过模型与图像的边缘、峰、谷和灰度分布特性的动态地交互适应来得以修正。由于模板变形利用了特征区域的全局信息，因此可以较好地检测出相应的特征形状。弹性模板匹配的方法在一定程度上容忍光线等的干扰，对细微的表情不敏感。而且弹性匹配中的人脸模型还考虑了局部人脸细节，它的可变形匹配方式，一定程度上能容忍人脸从三维到二维投影引起的变形。

4.2.2 几何特征方法

基于几何特征的人脸识别方法将人脸用一个几何特征矢量表示，用模式识别中的层次聚类思想设计分类器来对人脸进行识别。流程大体如下：首先检测出面部特征点，通过测量这些关键点之间的相对距离，得到描述每个脸的特征矢量，比如眼睛、鼻子和嘴的位置和宽度，眉毛的厚度和弯曲程度等，以及这些特征之间的关系。比较未知脸和库中已知脸中的这些特征矢量，来决定最佳匹配。

基于几何特征的识别方法具有如下优点：①符合人类识别人脸的机理，易于理解；②对每幅图像只需存储一个特征矢量，存储量小；③对光照变化不太敏感。

该方法同样也有其缺点：①从图像中抽取稳定的特征比较困难，特别是在特征受到遮挡时；②对强烈的表情变化和姿态变化的鲁棒性较差；③一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，更适合于粗分类。

文献[3]使用人脸部下巴的轮廓曲线来辅助检测人脸特征，然后使用Gabor小波变换(GWT)进行人脸识别，获得了较理想的实验结果。

4.2.3 特征脸方法

该方法是从主成分分析(PCA)导出的一种人脸识别和描述技术。其主要思想是，一副由N个象素组成的图像，可以看作N维矢量，或是N维空间中的一点。假设人脸图像只占据这个高维图像空间的一个很小的子区域，因此可以利用PCA来得到一个人脸图像的优化坐标系统。即是对这个人脸子区域的坐标进行降维，使得每个人脸图像可以用很少几个参数来表示，这就降低了计算复杂度。特征脸方法在应用中是比较成功的。

4.2.4 神经网络方法

神经网络是利用大量简单处理单元（神经元)互联构成的复杂系统来解决识别问题。它在正面人脸识别中取得了较好的效果。常用的神经网络有BP（反向传播）网络、自组织网络、卷积网络、径向基函数网络和模糊神经网络。BP网络运算量相对较小，耗时较短。其自适应功能有助于增强系统的鲁棒性。

神经网络在人脸识别上有独到的优势。通过学习获得其他方法难以获得的关于人脸识别规律和规则的隐性表达。但其运算量大、训练时间长、收敛速度慢、容易陷入局部最小。人工神经网络由于其固有的并行运算机制以及对模式的分布式全局存储，故可用于模式识别，而且不受模式形变影响。用于人脸识别的神经网络方法可训练有较强噪声和部分缺损的图像，这种非线性方法有时比线性方法更有效。

4.2.5 隐马尔可夫模型方法

利用隐马尔可夫模型(Hidden Markov Model，HMM)，将人脸图像按某种顺序划分为若干块，对各块进行K-L变换，选取前若干变换系数作为观测向量训练HMM。HMM有3个主要问题：评估、估计及解码。我们关心的是前两个问题。评估用于解决识别问题，估计用来产生用于识别的各个单元的HMM。

Samaria等人首先将一维隐马尔可夫模型(1D-HMM)用于人脸识别，并对不同状态数模型的识别性能进行了详细比较和分析。根据人脸由上至下各特征区具有自然不变的顺序。可用1D-HMM表示人脸。脸上的特征区被指定为状态，即从上到下为人脸图像进行一维连续HMM建模。

伪二维隐马尔可夫模型(P2D-HMM)是1D-HMM的一种扩展。P2D-HMM利用了图像的二维特征，不但能表现人脸垂直方向的空间结构，还能表现水平方向从左至右的空间结构。更适合于人脸图像识别。但是P2D-HMM结构较复杂，运算量很大。

4.2.6 弹性图匹配方法

弹性图匹配法(Elastic Graph Matching)是一种基于动态链接结构(Dynamic Link Architecture，DLA)的方法。该方法在二维空间中为人脸建立属性拓图，把拓扑图放置在人脸上，每一节点包含一特征向量，它记录了人脸在该顶点附近的分布信息，节点间的拓扑连接关系用几何距离来标记，从而构成基于二维拓扑图的人脸描述[11]。

利用该方法进行人脸识别时，可同时考虑节点特征向量匹配和相对几何位置匹配。在待识别人脸图像上扫描拓扑图结构并提取相应节点特征向量，把不同位置的拓扑图和库中人脸模式的拓扑图之间的距离作为相似性度量。此外，可用一个能量函数来评价待识别人脸图像向量场和库中己知人脸向量场间的匹配度，即最小能量函数时的匹配。该方法对光照、姿态变化等具有较好的适应性。该方法的主要缺点是计算量较大。必须对每个存储的人脸计算其模型图，占用很大存储空间。

文献[11]使用了广义弹性图匹配的人脸识别方法，在适应人脸的姿态及表情变化方面获得了较好的实验效果。

4.2.7 支持向量机(SVM)方法

近年来，支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个2分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化为一个高维的线性可分的问题。实验结果表明支持向量机有较好的识别率。

4.3 基于视频序列的方法

相对于单个静止图像，视频序列能提供更多的信息，如：同一人的大量图像可供使用；可以根据运动变化估计3D人脸结构；可以用于补偿光照、姿态、表情等变化；视频序列的时间连续性和识别对象身份的一致性为人脸识别提供信息；可以从低分辨率图像恢复出高分辨率图像；可以根据眼球的运动、姿态的变化等进行身份识别以防止基于静态图像的欺骗等。这类方法一般是基于视频序列的空间轨迹或概率模型进行匹配识别，因而具有更好的鲁棒性。

视频序列中人脸识别有两部分工作：

第一，人脸检测和跟踪，即从视频图像序列中确定是否存在人脸并对其准确定位和保持跟踪状态；

第二，人脸识别，识别视频中脸像身份。

视频系列中人脸的识别一般有两种方案：

1.        从视频序列中选择几帧质量较好的图像，然后用静止图像的人脸识别方法进行匹配；

2.        对所有跟踪帧应用识别方法识别，不断调整识别概率。

视频序列中人脸识别面临如下挑战：视频图像质量较差、视频图像分辨率较低以及外界各种不确定因素的影响等。

超分辨率图像技术被广泛应用于基于视频序列的人脸识别方法之中[5][6]。通过在视频序列中提取连续的多帧图像，经过图像重建，可以得到解析度高于输入视频序列图像的单幅高解析度复原图像。这种方法有助于克服视频人脸识别在实际应用中视频图像质量较差的问题。

4.4 基于三维的方法

把人脸当作平面图像来看待就是二维识别问题，将人脸用立体图像来表示，就是三维识别问题[9][10]。三维人脸的研究始于计算机动画和生物医学成像。采用三维识别与传统的方法最大的区别就在于，人脸的信息可以更好的表现和存储，同时由于三维人脸模型具备光照无关性和姿态无关性的特点，能够正确反映脸的基本特性。而且人脸主要的三维拓扑结构不受表情的影响，从而形成相对稳定的人脸特征表述。因此基于三维人脸模型的识别方法可以很好地解决目前在这一领域存在的研究瓶颈。

三维人脸识别主要有基于图像特征的方法和基于模型可变参数的方法。基于图像特征的方法实现的过程类似人脸重建的方法：首先匹配人脸整体的尺寸轮廓和三维空间方向；然后，在保持姿态固定的情况下，去作脸部不同特征点的局部匹配。也可以用一个精确的透视模型估计姿态参数，同时利用一个稀疏特征集合去插值和提炼其余的脸部结构。基于模型可变参数的方法使用将通用人脸模型的3D变形和基于距离映射的矩阵迭代最小相结合，去恢复头部姿态和3D人脸。随着模型形变的关联关系的改变不断更新姿态参数，重复此过程直到最小化尺度达到要求。

基于模型可变参数的方法与基于图像特征的方法的最大区别在于：后者在人脸姿态每变化一次后，需要重新搜索特征点的坐标，而前者只需调整3D变形模型的参数。

文献[9]通过融合2D和3D人脸数据，获得了比使用单一数据信息进行人脸识别更好的识别效果。该方法对光照和表情、姿态的变化均有较好的鲁棒性。

目前三维人脸识别算法还很不成熟，主要面临如下困难：

1.        信息来源方面的困难：用于3D识别的完整信息难于获取，或者用于3D识别的信息往往是不完整的，这造成了识别算法本身不可纠正的错误。

2.        海量存储和计算量庞大：由于3D识别的数据容量和计算量十分巨大，给存储和运算带来困难，也对计算机的硬件提出了更高要求。

3.        对人的生理认识的不足：对于生物生理学和生物心理学等相关学科的认知水平制约了计算机的算法实现，比如：对于肌肉的运动理论和表情的形成等问题，不能提供给计算机足够的专家支持。

4.        受到环境和条件的约束：影响二维识别的不利因素在三维识别上同样存在。比如：光线、方向、遮盖、阴影背景等。

5 结论

人脸图像受到很多因素的影响，比如：光照条件、姿态、背景、面部表情以及附属物等。这些因素的变化，都会导致人脸图像的明显不同，目前还没有有效的识别算法能够完全解决这些因素的影响。很多识别算法都是对光照条件、姿态等因素进行约束化简。在上述因素中，主要的影响来自于光照条件和姿态的变化。

为了消除它们对识别效果的影响，通常的做法是扩大样本空间，收集各种光照和姿态下的样本，识别判断时考虑测试图像与各种条件下样本的差异，然后进行综合分类。一种克服光照影响的做法是通过使用不同的采集源，如热红外(IR)图像，以实现在暗光环境下的人脸识别，或用来消弱不同角度光照对人脸图像的影响[7][8]。对于姿态的影响，可以利用弹性图匹配的方法，跟踪面部关键特征点的变化，估计姿态参数；或使用3D变形模型来匹配面部表情的变化。

总体来说，光照和姿态变化仍是人脸识别所面临的重大挑战，特别是当两种因素混在一起时。目前看来，弹性图匹配方法、特征脸方法和3D人脸建模是解决当下实际问题的较为行之有效的方法，将会得到更加深入的研究。

参考文献

[1]         Weihua Wang, WeiFu Wang. A Gray-Scale Face Recognition Approach[J]. 20## Second International Symposium on Intelligent Information Technology Application, 2008, 395~398

[2]         Zhiming Liu, Chengjun Liu. A Hybrid Color and Frequency Features Method For Face Recognition[J]. IEEE Transactions on Image Processing, 2008, v17, n10, 1975~1980

[3]         Jiann-Shu Lee, Kai-Yang Huang, Sho-Tsung Kao, Seng-Fong Lin. Face Recognition by Integrating Chin Outline[J]. 20## Fourth International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), 2008, 567~571

[4]         A.Abbas, M.I.Khalil, S.Abdel-Hay, H.M.Fahmy. Expression and illumination invariant preprocessing technique for face recognition[J]. 20## International Conference on Computer Engineering & Systems (ICCES '08), 2008, 59~64

[5]         Zhifei Wang, Zhenjiang Miao. Feature-based super-resolution for face recognition[J]. 20## IEEE International Conference on Multimedia and Expo (ICME), 2008, 1569~1572

[6]         Frederick W.Wheeler, Xiaoming Liu, Peter H.Tu. Multi-frame super-resolution for face recognition[J]. 20## First IEEE International Conference on Biometrics: Theory, Applications, and Systems - BTAS '07, 2007, 250~255

[7]         D.A.Socolinsky, L.B.Wolff, A.J.Lundberg. Face recognition in low-light environments using fusion of thermal infrared and intensified imagery[J]. Proceedings of the SPIE - The International Society for Optical Engineering, 2006, v6206, p620622-1-12

[8]         Kong, S.G.1; Jingu Heo; Boughorbel, F.; Yue Zheng; Abidi, B.R.; Koschan, A.; Mingzhong Yi; Abidi, M.A.. Multiscale fusion of visible and thermal IR images for illumination-invariant face recognition[J]. International Journal of Computer Vision, 2007, v71, n2, 215~233

[9]         G.P.Kusuma, Chin-Seng Chua. Image level fusion method for multimodal 2D + 3D face recognition[J]. Image Analysis and Recognition. 5th International Conference, ICIAR 2008,  2008, 984~992

[10]     Al-Osaimi, F.1; Bennamoun, M.1; Mian, A.1. An expression deformation approach to non-rigid 3D face recognition[J]. International Journal of Computer Vision, 2009, v81, n3, 302~316

[11]     Hochul Shin, Seong-Dae Kim, Hae-Chul Choi. Generalized elastic graph matching for face recognition[J]. Pattern Recognition Letters, 2007, v28, n9, 1077~1082