可变光照条件下的图像预处理方法研究
来源:用户上传
作者: 薛 冰
摘要:图像预处理是人脸识别技术的重要组成部分,而光照问题是预处理技术的难点和重点。传统的图像预处理算法使图像信息损失较大。全局调整函数在调整图像的光照状态的过程中并不会引入更多的噪声或者损失更多的信息,而是加强了图像中原有的一些信息,从而使得图像中的特征更加的明显,降低了光照因素对图像的影响,使图像的辨识度更高。
关键词:人脸识别;直方图均衡;视觉感知;全局调整函数
DOI:10.3969/j.issn.1672-8289.2010.10.053
0 引言
随着社会安全和计算机技术的迅猛发展,人脸识别技术得到了广泛应用。促进了人脸识别技术的迅速发展,现有的算法在检测和识别室内正常环境中采集的人脸图像已经达到了较高的识别率,但是,各种系统对于处理复杂环境中采集的人脸图像还不是很成熟,还有很多问题有待解决。对于同一张人脸,当人的姿态、表情以及采集环境中的光源数量、光源强度和方向等因素发生变化时,采集到的人脸图像将会有重大的变化。现有的一些算法的性能将明显的下降。研究人员分别针对光照、姿态以及表情等因素提出了一些相应的算法。因为本课题主要应用背景是车辆内的人脸识别,因此针对姿态和表情问题可以采取相应的限制手段解决,因此对图像的预处理主要解决光照变化对图像识别的影响。
针对光照问题,目前现有的研究方法主要分为以下3类:增强图像的方法、基于不变特征的方法、光照变化建模方法的方法[1]。第一类算法着重于图像本身,期望从现有的图像中恢复出尽可能多的信息,以减弱光照变化给图像带来的影响,其中最常采用的方法是直方图均衡法。第二类算法着重于寻找具有光照不变性的特征来描述光照变化下的图像。而第三类算法着重于描述不同光照环境中图像的变化情况,即通过建立模型来预测人脸在各种光照环境中可能的产生的图像。该模型可以直接通过人脸的形状信息建立,也可以利用光照对图像带来的变化建立。利用形状信息建立模型最关键的问题就是要从图像中恢复出物体的三维信息[2]。
1 传统图像预处理方法
1.1增强图像方法
当目标物体本身的姿态固定,同时采集设备的观测角度也确定后,环境中的光照条件将决定采集到的图像的表像。而入射光可以看作是目标物体表面特性的放大器,即较强的光线可以放大目标物体的表面特性而较弱的光线则起抑制作用。于是,对于在非均匀光照条件下采集到的图像,可以看作是其中的一部分信息被放大或者抑制。如果可以对被抑制或者放大的信息做适当的调整,则可以减弱光照对图像的影响。直方图均衡[3](Histogram Equalization, HE)是常用手段,它把一已知灰度概率分布的图像,变换成具有均匀概率分布的图像的过程,直方图均衡是针对图像的一个整体的操作,也就是对取相同灰度值的点所作的操作都是相同的。直方图均衡只是针对象素点的运算,调整的过程中并没有考虑到每个象素点周围的情况,所以调整之后的图像虽然对比度可以加强,但同时图像中的噪声也会被加强。直方图均衡方法在人脸检测、识别中常被用来预处理图像,以减弱光照变化对图像的影响。Sung以及Rowley在人脸检测算法中,通过从原图中减掉一个近似的平面反射光照估计来去除光照的影响,而后通过直方图均衡的方法加强对比度。根据光照的基本知识,光照对于灰度值的影响并不是加性的而是乘性的,因此用减法并不能消除光照的影响。
1.2基于不变特征的方法
基于不变特征方法的主要思想是寻求人脸中光照不变或至少对光照变化不敏感的特征。Adini 指出表面反射率或方向的不连续会引起灰度跃变,而那些与灰度跃变有关的图像边缘信息可能对光照变化不敏感。基于上述结论,很多研究人员设计通过提取人脸的边缘特征进行人脸识别。首先进行边缘检测,然后通过计算两幅图像的边缘图距离来进行识别。Takacs用 Sobel 边缘检测算法得到二值边缘图,然后计算两幅边缘图的 Hausdorff 距离来进行识别[4]。Gao 等提出提取图像的线性边缘图(Line Edge Line)的方法,这种方法将模板匹配与几何特征匹配结合起来,既保留了基于特征的识别方法的光照不敏感性和低存储量,又具有模板匹配的高识别率。Gabor 函数对于图像的边缘敏感,能够提供良好的方向选择和尺度选择特性而且对于光照变化不敏感,能够提供对光照变化良好的适应性。Liu 和 Wechsler利用增强的 Fisher 线性判别模型对 Gabor 特征进行进一步的提取和分类。此外,人脸图像中常用的对光照变化不敏感的特征还有:图像的梯度信息、非线性 Log 函数变换以及图像的微分变换等。
基于不变特征方法的思想很直接,但实践表明这种方法对光照校正都有一定的局限性,Adini 实验表明“没有任何表示本身能克服光照方向变化”。[5]
1.3光照变化建模方法
光照变化建模方法的主要思想是在一个适合的子空间或者流形中表示光照变化引起的变化。近年来,很多研究者应用 3D 方法建立光照模型进行人脸识别。同时,由于人工神经网络在模式识别领域的成功应用,很多科研人员尝试用神经网络进行人脸识别。Georghiades 等提出基于光照锥(Illumination Cone) [6]的人脸识别方法。Batur 等利用聚类算法分割人脸图像区域,该方法比较简单有效。最近,Lee 等直接基于每人 9 个特定的光源方向的实际图像获得每个人的子空间,又称九点光源法,实验表明该方法是有效的。Basri从理论上推导出朗伯凸表面对象的光照空间可用一个 9 维子空间表示。该方法用球谐函数描述光照,将朗伯凸反射表面看作入射光的一个低通滤波器。在己知人脸的 3D 形状和表面反射率的情况下,可获得描述人脸光照的 9 个球谐函数图像基。但是,利用球谐函数做光照处理需要己知物体的表面法向量,这限制了该方法在检测或者识别中的进一步的应用。Lee基于线性代数的子空间理论寻找到一个线性子空间,即点光照子空间。该子空间与光照锥的交集达到最大同时与球谐子空间的距离最小,从而保证了所求子空间与球谐子空间的性质相似,从而大大的提高了算法的易用性。
神经网络方法是把模型的统计特征隐含于神经网的结构和参数中,对于人脸这类复杂的、难以显式描述的模型具有独特的优势,即它避免了复杂的特征提取工作,可以通过学习的过程获得其它方法难以实现的关于人脸识别的规律和规则的隐性表达。该方法便于建模,鲁棒性较好,但是运算速度较慢。Cottrell 等人使用级联 BP 神经网络进行人脸识别[7],它对部分受损的人像、光照有所变化的人像的个人识别能力较好。Intrator 等人用一个无监督/监督 (BCM/BP)混合神经网络进行人脸识别。其输入是原始图像的梯度图像,以此可以去除光照的变化。无监督的目的是寻找类的特征,有监督的目的是减少训练样本被错分的比例。
2 基于视觉感知的光照处理
2.1 基于视觉感知的全局光照调整
自然环境中的光照强度变化范围非常大,一天中,正午太阳的光照强度约为,是夜晚月光的光照强度的百万倍。但是我们人类的视觉系统却可以根据当前的光照情况对自身作出相应的调整以应对不同的光照环境,使得我们在不同环境下分辨出不同的物体。这主要是因为人的视觉系统可以根据当前的光照情况对自身作出相 应的调整,以得到最佳的成像效果。图像采集设备也是模拟人的视觉系统,利用感光器件包括传统的胶片或者模块来成像。由于图像采集设备无法象视觉系统那样根据当前的光照情况做精准的自适应调整,从成像的过程来看,调整图像的光照状态就是要进一步对于采集到的图像做自适应的调整。而对图像的调整可以根据人的视觉系统针对光照环境的自适应调整机制来完成。调整之后的图像应当与在适当的光照环境中采集的图像尽量的接近,即图像中应当能够尽量表达出目标物体本身的变化,包括高频的和低频的变化信息都应当真实的表达出来。
从信号处理的角度来看,观测到的或者采集到的图像中的灰度值是入射到该点的光线和该点的表面特性共同作用的结果。而光线在其中起到了增益器的作用,即较暗的光线对目标物体的表面特性起到了压制的作用,而较亮的光线则会对目标物体的表面特性起放大的作用。因此,如果是在非均匀的光照条件下采集的图像,则图像中表达的目标物体的表面特性也是不均匀的。在原始图像中被缩小的信息要重新适度放大,而原始图像中被放大的信息也要适度的缩小。因此可利用视觉调整的思想,基于现有的有限的灰度级尽量真实的描述目标物体的特征。
2.2全局映射函数
色调重现[8]的概念最早是由Tumblin和Rushmeier提出的。色调重现主要用于解决把真实的场景映射到显示系统中的物理过程以及能够把场景最真实的展现给观察者的心理学过程。Tumblin和Rushmeier基于亮度感知的心理学模型,给出色调重现算子保持了场景与图像中的亮度关系。和的基于亮度的色调重现算子是要寻找到场景中的亮度上限,并且在图像中加以表现。
Ward给出了另外一种不同的色调重现方法[9],他提出的色调重现算子的目标是要保持对比度,即保证在场景中的对比度真实的表现在图像之中。其算子的形式为:
其中 ,为观测者观测到的场景的亮度; 是将 映射到显示系统后的亮度。 为“检测闽值”相对于测试环境中光照强度构成函数, 为映射到显示设备中的平均亮度,为场景中的平均亮度,则乘数m可保证直接观测与从显示设备观测时可见度的匹配。
本文着重应用视觉系统中的感光细胞的物理模型[10]来解决对于光照的调整。视觉系统中感光细胞对于光照的自适应调整的模型可以写为:
其中,参数 和 满足。当 的值较小时,参数 起控制作用;而当 的值较大时,参数 起控制作用,也就是说参数 控制了映射后图像的最小灰度值的取值,而参数 控制了映射后图像的最大灰度值的取值。参数 决定了映射后图像灰度值的动态范围。当参数 =0,式(2.2)便退化为Ward的色调重现算子。式(2.2)还有一个隐含的重要参数 ,即半饱和参数。半饱和参数决定了当时, 的值为。也就是说半饱和参数决定了把原始图像中 范围内的信息可以映射到新图像中
的范围内。式(2.2)半饱和参数为
其中半饱和参数应当满足 。于是约束参数 应当满足 <2 。特别当 =1时,半饱和参数为。
对其做光照调整,则需要把 换做为原始图像灰度值 ,把 换为调整后图像的灰度值 ,即
若要应用式(2.4)来调整图像的光照状态,还需要对该算子作进一步的约束,以使得调整后的图像满足图像表达的要求。也就是说,输入图像的灰度值范围是[0,255],调整后输出图像的灰度值范围也应当是[0,255]。所以应当利用256个灰度级来充分的描述图像中的各种信息,于是可以令 =255,调整函数
调整函数应当满足以下边界值条件,
则可进一步推导出参数 和 的关系为:
由于输入图像的灰度值范围 ,所以有
式(2.8)两边同时乘以 ,再加上255之后可以得到
式(2.9)可以改写为
将式(2.7)带入式(2.10)可以得到
则根据对参数 和 的约束以及式(2.11),可以推导出参数
和 应当满足
若令参数, 则可以令参数
这样就可以把两个参数统一起来用一个参数来表示。于是,加入了对图像显示限制的条件,并统一参数之后,式(2.4)可以写为以下映射函数的形式,即
其中,参数。
当光线强度较大时,由于暗调整函数可以对较暗的信息做提升,而过渡曝光图像的逆图像,即的状态就是曝光不足,于是可以巧妙的应用暗调整函数来处理过渡曝光图像的逆图像。对逆图像调整之后,再做一次逆处理就可达到降低原图亮度同时增加对比度的效果。处理过度曝光信息的映射函数,也称之为明调整函数,可以写为
其中 应当满足。
从上述推导过程可以看出参数 和 决定了映射函数的拐点以及对图像的调整程度。若要使得该调整函数对图像作出自适应的调整,就应当针对每幅图像不同的光照情况来确定其调整参数。映射函数中的半饱和参数 决定了原始图像中的某一灰度值可以映射为新图像中的 暗调整函数中的半饱和参数心为 为
明调整函数的半饱和参数为
如果要充分表达一幅图像中的各种信息,我们应当充分的利用0到255者256个灰度级来描述图像中的信息,因此我们必须保证调整后的图像采用尽量多的灰度级来描述图像的信息。因此我们可以设定调整后的图像应当在[0,128]来表达图像中的一半的像素点信息,这就需要我们在原始图像中寻找一个灰度值 ,并且保证满足 所有小于该值的像素点数之和占图像像素点总数的一半,映射灰度值 到调整后图像的表达范围的中值(灰度为128)。灰度值可表达为
其中 为原始推行的灰度直方图中取值 的项所包含的象素个数,N为整幅图像中所有的像素点个数。令灰度值 映射为新图像的中值,则灰度值 应当等于映射函数中的半饱和参数 ,则
则映射函数可以改写为
映射函数中的参数 和 也有着明确的物理意义,他们描述了图像中光照情况的一致性。如果光照比较均匀,图像中各个部分的变化不是很大,则参数 和 的取值较小;如果图像中各部分的光照变化比较大,参数 和 的取值也会随之增大。因此,通过参数 和 ,可以根据图像自身的光照状态来调整图像。
3 实验结果
为了验证本文的算法,选取了一幅偏光比较严重的图像,运用常用的直方图均衡化作为对比研究,检验全局光照的效果,图1和图3分别为原始图像、全局光照调整函数、直方图均衡化的处理后图像,图2和图4分别为其直方图,从图中可以看到直方图均衡的方法确实使得图像中象素值的分布变得相对的较均匀,但是由于直方图均衡法的目标是使各个灰度值出现的概率相等,而并没有考虑到相邻象素间的关系,从而使得调整之后的结果图像中经常会引入很多比较明显的噪声点。比对后可以知道全局调整函数在图像处理以及减小失真方面有其独特的优势。
此外,在特征提取上采用经典的 PCA 算法,并用欧式距离做判别,最后用 k-近邻方法(k=3,即 3-NN)[11]做分类,在相同的训练集和测试集的基础上,本文还进行了一些对比实验:
1) Praw: 在原图上直接运用 PCA 算法;
2) Ph : 对原图进行直方图均衡化后,再运用 PCA 算法;
3) Pra w3:在原图上直接运用去掉三个特征值最大的 PCA 特征向量的方法;
4) Pc : 用全局光照调整函数处理后,再用 PCA 算法;
5) Pc 3;用全局光照调整函数处理后,再运用去掉三个特征值最大的 PCA 特征向量的方法
图5不同方法的3-NN识别率
通过分析,将全局光照调整函数处理方法与去掉三个特征值最大的 PCA 特征向量的方法相结合,使得其在两个测试集都取得了不错的识别率,特别是光照条件大范围变化的情况下,其识别率比原图的高了 44%。
4 结束语
由于全局光照调整函数在调整图像的光照状态的过程中并不会引入更多的噪声或者损失更多的信息,而是加强了图像中原有的一些信息,从而使得图像中的特征更加的明显,降低了光照因素对图像的影响,使图像的辨识度更高。而且,文中提出全局调整函数是与图像内容无关的,只是根据图像中象素值的分布情况给出相应的调整,无论是对人脸图像还是非人脸图像都有较好的调整。
参考文献
[1]FARID H.Blind inverse Gamma correction[J].IEEE Transactions on Image Processing,2001,10(10):1428-1433
[2] 山世光. 人脸识别中若干关键问题的研究. 中国科学院研究生院博士学位论文. 2004
[3] T. Sim, T. Kanade. Combining Models and Exemplars for Face Recognition:An Illuminating Example. Proceedings of Workshop on Models versus Exemplars in Computer Vision, CVPR 2001
[4] Jiali Zhao, Yong Su, Dejun Wang, Siwei Luo. Illumination ratio image: synthesizing and recognition with varying illuminations. Pattern Recognition Letters, Volume: 24, Issue: 15,November, 2003, pp: 2703-2710
[5] 卿来云, 山世光, 高文, 基于商图像的人脸图像光照补偿算法. 生物识别研究新进展(二). 清华大学出版社, 2003-12, 106-109
[6]Ramamoorthi R., Hanrahan P. On the Relationship between Radiance and Irradiance: Determining the illumination from images of a convex Lambertian object. Image Science and Vision. Vol.18 No.10 2001pp.2448-2459
[7] N.Intrator, D.Reisfeld, Y. Yeshurun. Face recognition using a hybrid supervised/unsupervisedneural network. Proceedings of the 12th International Conference on Pattern Recognition,1994. Conference B: Computer Vision & Image Processing.Volume: 2, 9-13 Oct.
[8]XIAO Jun, SONG Shou-peng, DING Li-juan. Research on the fast algorithm of spatial homomorphic filtering[J].Journal of Image and Graphics,2008,13(12):2303-2306.(in Chinese)
[9] 尹飞,冯大政.基于PCA算法的人脸识别 计算机技术与发展 2008,18(10):31-33.
[10] Samaria F, Hatter A. Parameterisation of a stochastic model for human face identification. In Proceedings of the 2nd IEEE Workshop on Applications of Computer Vision, Sarasota FL, 1994,pp.110-116[10]
[11]M.K. Fleming, G.W. Cottrell. Categorization of faces using unsupervised feature extraction., International Joint Conference on Neural Networks, 1990. vol.2, 17-21 June 1990.Pages:65- 70
转载注明来源:https://www.xzbu.com/8/view-53347.htm
