自然图像质量评价方法综述

来源:用户上传      作者:张丹丹　赵迎会

　　摘要：5G时代的到来使得图像处理技术也得到了迅猛发展，自然图像质量评价方法成为图像处理领域的重要研究热点。在自然图像获取、图像压缩、存储等处理时，图像质量不可避免的产生各种类型的失真，从而自然图像质量评价方法的应用越来越广泛。首先阐述自然图像的失真类型和公开标准图像数据库的相关知识，然后分别从主观评价和客观评价两种方法分析自然图像质量评价，最后对未来自然图像质量评价方法的发展趋势进行了总结和展望。
　　关键词：图像质量评价;自然图像质量;主观评价;客观评价;图像处理
　　中图分类号：TP391 文献标识码：A
　　文章编号：1009-3044（2020）09-0203-03
　　1 引言
　　自然图像以立体、丰富、生动直观和精彩的特点向我们传送大量信息，无论是人或动物都是通过眼睛通过光学信号来获取信息，从而人眼感知就作为自然图像质量评价的较为可靠的依据。但是在图像获取、图像重建、图像传输及压缩等处理过程均会给图像质量带来各种失真（降质、下降）[1][2]，因此图像的失真是无法避免的。自然图像质量的好坏直接影响到信息获取和主觀感受，自然图像质量评价（ natural image quality assess-ment，NIQA）方法的研究比较具有实际应用价值。NIQA划分为主观和客观图像质量评价方法两大类。主观质量评价主要是根据参与观测评价人员的视觉感知而计算出图像质量的主观评价值（mean option score， MOS）或差分平均主观分（Differen-tial mean opinion score，DMOS）（即人眼对无失真图像和有失真图像评价得分的差异）。客观质量评价方法依据参考图像（原始图像）是否存在将其分为三大类：1）全参考（Full Reference.FR）评价方法、2）半参考（Reduced Reference， RR）评价方法，3）无参考（No Reference，NR）评价方法也称为盲图像质量评价方法。有些质量评价方法是专门针对如噪声、压缩等特定的失真类型进行图像质量评价，有些评价方法是先进行失真原因分类，再进行质量评价。所以本文在介绍图像不同种类的失真和已经公开的图像数据库后，将自然图像评价方法进行详细的分析研究。
　　2 自然图像不同类型失真
　　在现实应用及生活中自然图像经常伴随着不同种类的失真而使得图像的质量受到不同程度的影响，因此只有在精准有效的判别出具体的图像失真类型后，才能有针对地选择较为匹配的图像质量评价方法。
　　2.1 图像噪声
　　对于人类听觉感知而言，谈话过程中如果伴随有嘈杂的声音，直接影响到接收对方信息的清晰度。同样的，相较于图像，如果在获取蕴含丰富有效信息的图像时出现一些影响接收图像数据信息的因素，就可以称之为图像的噪声。概率统计学上不可预测的随机误差[3]的存在称之为理论上的噪声。
　　2.2 图像模糊
　　高斯模糊（ Gaussian Blur）[4]是图像中较为常见的图像降质，也将其称之为高斯平滑效应，图像模糊的实现原理实际上就是对图像进行平滑操作以达到降低图像细节和噪声的目的，图像处理中的平滑操作也即是对图像做卷积操作，一般均采用行和列为奇数的卷积核进而形成图像的模糊。模糊形成的原因多种多样，如运动拍摄、大气及光等因素，目前超分辨的图像重构、图像的复原和增强等均成为模糊图像技术处理方法。
　　2.3 图像压缩
　　图像压缩根据对原始图像信息能否全部得到还原分为两大类：有损压缩和无损压缩。有损压缩方式能够最大限度地减少压缩后所需要的存储空间而牺牲了压缩后图像的质量，JPEG[5]（Joint Photographic Experts Group）就是其中一种首个国际标准的有损压缩格式。另外一种是JPEG 2000c6]压缩标准，它同时支持有损和无损两种压缩方式。
　　3 公开图像数据库
　　图像质量评价方法的研究越来越深入，相对的较为标准的图像数据库也是迫切需要建立的，因为任何一种自然图像质量评价方法都需要去检测。目前供人们研究使用的公开图像数据大约有二十个，它们是由大量的研究者和观测人员共同建立的。本文接下来将会针对目前较为常用且具有代表性的公开图像数据库进行简介，包含CsIQ、TID2008，LIVE和IVC四个图像数据库，四个图像数据库之外的可参见文献[7]。
　　3.1 LIVE图像数据库
　　LIVE[8]（Laboratory for image&video engineering图像数据库的实际应用也是比较广泛的。它提供了BMP格式原始参考图像共29幅，五种不同类型失真图像共982幅，其中包含的五种失真类型分别是：JPEG、JPEG2000、高斯白噪声、快衰落和高斯模糊，每种失真类型又提供了约五种不同失真程度。另外还提供了每一张失真图像的DMOS值，这些值是由约161名观测评价者给出的约20000多条数据综合统计后所得到的。
　　3.2 IVC图像数据库
　　IVC[9]数据库是在2005年由法国中央理工大学建立的共享型图像数据库，图像数据库提供BMP格式原始参考图像共10幅，还提供了LAR（ Locally Adaptive Resolution）编码、JPEG、JPEG2000和高斯模糊共四种失真类型且包含不同程度失真的185幅图像。IVC公开标准图像数据库一共提供了由15位测试者通过主观评价值统计得到的所有失真图像的MOS（MeanOpinion Scores）值。
　　3.3 CSIQ图像数据库
　　在2010年美国俄克拉荷马州立大学建立了CSIQ[10]（ Cate-gorical subj ective image quality）公开共享的图像数据库，该图像数据库提供了PNG格式的原始参考图像共计30幅。其中包含有：JPEG和JPEG2000压缩、对比度缩减、加性高斯粉红噪声等共六种不同失真类型的图像共计866幅，每种失真类型的图像是由约5种程度等级的失真所组成。该数据库中所有失真图像的DMOS（ Difference Mean Opinion Scores）值是来自参与观测评价的35名人员给出的约5000条数据综合总计而所得。 　　3.4 TID2008图像数据库
　　TID 2008[11]（ Tampere image database）是在2008年由乌克兰国家航空航天大学建立的，它提供了BMP格式的原始参考图像共计25幅，约十七种不同失真类型的图像，同时每种失真类型是由4个不同程度失真等级组成的一共1700幅图像。库中包含了所有失真类型图像的标准差和MOS值，这些值是由838名不同国家的观测评价者根据人眼感知系统主观评价得到的约256428条数据综合统计得到的。MOS的取值范围是[0，9】，图像质量的好坏程度随着MOS值的递增而递增，递减而递减。
　　4 自然图像质量评价方法
　　主观评价方法主要依据人类的视觉感知神经，在特定的相同环境下，观测人员根据图像亮度、图像噪声以及图像清晰度等综合分析图像的质量好坏给出相应的观测值。但是主观评测结果值最容易受所处环境和观测者本身等客观因素的限制。它有着自身显著的劣势存在，其一：需要耗费时间组织观测人员，且结果易受个人主观意见的影响;其二：当需要处理的图像数量达到一定值时，该方法在时间上存在極大限制;其三：该方法不能嵌入到计算机或图像处理系统中达到自动化评价，耗时费力。由此可看出主观评价方法在实际进行图像质量评价时并不适合，所以接下来主要分析研究几种不同的客观评价方法。
　　4.1 客观评价方法
　　下面本文主要介绍目前较为常见使用的客观图像质量评价方法。其中无参考（No Reference，NR）图像质量评价方法由于该方法不需要原始图像作为参考而受到更多的研究关注。其中费歇尔信息量[12]（ Fisher Information）、点锐度[13]（Sharp-ness）、中值滤波梯度相似性[14]以及均方根对比度㈣等都是比较常用的无参考（No Reference，NR）图像质量评价方法。
　　4.1.1 费歇尔信息量（Fisher Information）
　　Fisher信息（费歇尔信息量）也可以称为费歇尔信息矩阵。费歇尔信息量主要是对数学中：对数似然函数对总体分布参数倒数的方差。在实际应用中我们将该数学计算公式到图像质量评价中，可以得到费歇尔（Fisher）信息量公式：
　　上述公式（1）中的F是表示被评价的自然图像，M代表图像的长，N表示的是图像的宽。
　　4.1.2 均方根对比度（root-mean-square contrast，RMS-con-trast）
　　均方根对比度（ RMS-contrast）：真实值与预测值之间的偏差与被测量总数比值的平方根，应用在图像中表示的是图像的强度与平均强度之间的偏差与图像像素总数N比值的平方根。该评价方法能够很容易的因图像内容的变化而变化，因此该方法被广泛领用到图像质量评价的研究领域内。
　　上述公式（3）中的F是表示被评价的自然图像，N就是上述图像像素总数。
　　4.1.3 点锐度（Sharpness）
　　边缘锐度[16]是一种常用的图像处理方法，它可以用来增强视频或图像的边缘对比度来改善图像明显的清晰度（锐度）。点锐度（Sharpness）就是由该图像处理方法改进后的一种图像质量评价方法。该评价方法的计算函数定义：
　　其中F是表示被评价的自然图像，M和N是图像的长和宽即图像的大小。
　　4.1.4 中值滤波梯度相似性（Median Filter-Gradient Similarity，MFGS）
　　基于中值滤波的结构相似性（ MFGS）方法由邓辉[1]等人在2015年提出的一种新的无参考图像质量评价方法。MFGS图像质量评价方法主要的计算函数：
　　上述公式（5）中表示的是首先将待评价图像R通过一个3*3尺寸的滤波器进行中值滤波处理得到图像p，公式（6）中gr和gP分别表示的是待评价图像R和处理后图像p的每个像素梯度值。
　　本文选取CSIQ公开图像数据库中的噪声失真类型的图像为实验对象，表1和表2分别列出了高斯粉红噪声和白噪声失真类型图像的不同评价方法的实验结果。表中线性相关（Lin-early correlation，LC）CC系数和斯皮尔曼（SROCC）系数分别表示主客观评价方法之间的线性相关性以及直线相关性和数据间单调性，另外平均cv系数能够体现出数据的变异程度，系数值越大体现出客观图像质量评价方法性能越好。
　　5 结论
　　本文综合分析相关图像质量评价方法文献的基础上，将图像失真类型、公开标准图像数据库、主观和客观图像质量评价方法进行综合分析。我们从实验统计结果总结：1）相同的客观图像质量评价方法在评价高斯粉红噪声和白噪声时结果不尽理想;2）同种失真类型的图像使用不同的评价方法的效果相差甚远。所以目前存在的多种客观图像质量评价方法只是适应于某种特定失真类型的图像时才有效，那么适用于多种失真类型的通用自然图像质量评价方法有待继续研究。
　　参考文献：
　　[1] Wu H R，Yuen M.A generalized block-edge impairment metricfor video coding[Jl.lEEE Signal Processing Letters， 1997，4（11）：317-320.
　　[2]P.C.Teo， and D.J.Heeger.Perceptual image distortion， [Jl.inProc. lEEE Int. Conf. Image Processing， Austin， TX，1994，2：982-986.
　　[3]何东健.数字图像处理[M]西安：西安电子科技大学出版社，2003.
　　[4] Hummel R A，Kimia B，Zucker S W.Deblurring Gaussian blur[J]. Computer Vision， Graphics，and Image Processing， 1986， 36f1、：134. 　　[5] Information technology. Digital compression and coding of con-tinuous-tone still images[S]. BSl British Standards，.DOI：10.3403/bsisoiec10918
　　[6] Schelkens P，Skodras A，Ebrahimi T.The JPEG 2000 suite[Ml.Chichester， UK： John Wiley&Sons， Ltd， 2009.
　　[7] Chandler D M.Seven challenges in image quality assessment：past， present， and future research[Jl. ISRN Signal Processing，2013，2013：1-53.
　　[8] Sheikh H R，Wang Z，Cormack L，Bovik A C.LIVE Imagequality assessment database release 2[01]， available： http：//live.ece.utexas.edu/research/quality， February 4，2015
　　[9] Callet P L，Autrusseau F.Subjective quality assessment lRC-CyN，IVC database [OLl， available： http：//www. irccyn. ec- nantes.fr/ivcdb/. February 4，2015
　　[10]E.C.Larson and D.M. Chandler， "Categorical subjective im-age quality CSIQ database[0L]，”2009， http：//vision. okstate.edu/csiq/
　　[11] Chandler D M，Hemami S S.Dynamic contrast-based quantiza-tion for lossy wavelet image compression[Jl.IEEE Transactionson Image Processing， 2005，14（4）：397-410.
　　[12] Barrett H H，Denny J L，Wagner R F，et al.Objective assess-ment of image quality Il Fisher information，Fourier crosstalk，and figures of merit for task performance[J].Journal of the Opti-cal Society of America A，1995，12（5）：834.
　　[13]王鴻南，钟文，汪静，等.图像清晰度评价方法研究[Jl.中国图象图形学报，2004，9（7）：828-831.
　　[14] Deng H，Zhang D D，Wang T，et al.Objective image-quality as-sessment for high-resolution photospheric images by Medianfilter-gradient similarity[J]. Solar Physics， 2015， 290（5）： 1479-1489.
　　[15] Denker C，Mascarinas D，Xu Y，et al.High-spatial-resolutionimaging combining high-order adaptive optics，frame selection，and speckle masking reconstruction[J].Solar Physics， 2005，227（2）：217-230.
　　[16]张霞，张兵，赵永超，等，中巴地球资源一号卫星多光谱扫描图象质量评价[J].中国图象图形学报，2002，7（6）：581-586.
　　【通联编辑：梁书】
　　收稿日期：2019-11-29
　　作者简介：张丹丹（1989-），女，河南驻马店人，助教，硕士研究生，主要研究方向为图像处理;赵迎会（1990-），女，河南新乡人，助教，硕士研究生，研究方向：信号处理。
转载注明来源:https://www.xzbu.com/8/view-15210174.htm