基于图像块分类的图像超分辨率重建

来源:用户上传      作者:

　　摘 要：针对当前图像超分辨率重建算法中存在的字典单一而导致重建图像质量不佳的问题，提出一种将图像块分类与图像卡通纹理分解相结合的单幅图像超分辨率重建算法。首先，将图像分块，并将图像块分为边缘类、纹理类和平滑类三类，其中纹理类用形态成分分析 （MCA）算法分解为卡通部分和纹理部分;然后，对边缘类、卡通部分和纹理部分分别训练高低分辨率字典;最后，求解稀疏系数并与高分辨率字典重建图像块。仿真结果显示，与基于稀疏表示的超分辨率重建（SCSR）算法和单幅图像超分辨率重建（SISR）算法相比，所提算法的峰值信噪比（PNSR）值分别提高了0.26dB和0.14dB，表明该算法的重建效果更好，重建图像纹理细节更丰富。
　　关键词：图像重建; 图像块分类;卡通纹理;稀疏表示;K奇异值分解
　　中图分类号： TP391.41
　　文献标志码：A
　　Abstract： Concerning the poor quality of existing image super-resolution reconstruction caused by single dictionary， a new single image super-resolution algorithm based on classified image patches and image cartoon-texture decomposition was proposed. Firstly， an image was divided into image patches which were classified into smooth patches， edge patches and texture patches， and the texture class was divided into cartoon part and texture part by Morphological Component Analysis （MCA） algorithm. Secondly， ege patches， cartoon part and texture part of texture patches were applied respectively to train the dictionaries of low-resolution and high-resolution. Finally， the sparse coefficients were calculated， then the image patches were reconstructed by using the corresponding high-resolution dictionary and sparse coefficients. In the comparison experiments with Sparse Coding Super-Resolution （SCSR） algorithm and Single Image Super-Resolution （SISR） algorithm， the Peak Signal-to-Noise Ratio （PSNR） of the proposed algorithm was increased by 0.26dB and 0.14dB respectively. The experimental results show that the proposed algorithm can obtain more details in texture with better reconstruction effect.
　　Key words： image reconstruction; image patch classification; cartoon-texture; sparse representation; K-Singular Value Decomposition （K-SVD）
　　0 引言
　　圖像作为人们日常生活及工作中最重要的信息载体之一，其分辨率高低在某些应用方面，如医学领域、遥感信息处理领域等至关重要。而当仅靠硬件已经难以再有效提高其分辨率，或者需要付出更大代价才能达到要求时，用软件方法提高图像分辨率就显得尤为重要，超分辨率图像重建算法便应运而生。目前，图像超分辨率重建可大致分为三类：基于插值的方法[1]、基于重建的方法[2]和基于学习的方法。基于插值的重建法，简单快速，但重建图像模糊高频信息丢失严重;基于重建的图像重建法需要对多幅图像配准，重建过程复杂，重建图像细节不理想;基于学习的超分辨率重建算法能够将先验知识融入图像高频信息重建中，极大地提高了重建图像质量，已成为国内外学术界的研究热点。基于学习的超分辨率算法常用的研究方法包括神经网络和稀疏表示等[3]。Dong等[4]首次提出使用三个卷积层的超分辨率卷积神经网络算法，较传统方法在图像重建效果上有明显优势。Kim等[5]提出的深递归卷积网络超分辨率重建算法，使用递归神经网络并增加卷积层，避免了过多的网络参数，改进了Dong等[4]的算法。Ledig等[6]在此基础上提出新的超分辨率算法SRGAN（Super Resolution using Generative Adversarial Network），该算法使用了生成式对抗网络，同时改进了代价函数，使重建高分辨率图像看起来更真实。基于神经网络的超分辨率重建已经取得了突破性的成绩，但如何在放大倍数较高情况下保持重建图像质量是目前的难点。
　　Yang等[7-8]应用压缩感知理论[9]提出了基于稀疏表示的超分辨率算法，使得图像重建效率有了很大提升。Zeyde等[10]将K奇异值分解（K-SingularValue Decomposition，K-SVD）算法[11]和正交匹配追踪（Orthogonal Matching Pursuit，OMP）法[12]应用到图像重建的字典训练和稀疏编码的过程中，降低了算法复杂度。张晓燕等[13]提出了一种改进的稀疏表示超分辨率重建算法，通过提高稀疏表示系数的精度增强图像的纹理特性。王旸[14]将迭代反投影结合自适应字典学习提出了超分辨率图像重建效果优化算法。以上基于稀疏表示的算法虽然在图像重建上都取得了较好的效果，但是都存在字典单一的问题，导致部分图像重建效果不佳。徐川[15]提出将图像用形态成分分析（Morphological Component Analysis，MCA）分解为纹理和卡通部分之后分别生成两对字典，使其高分辨重建图像的高频细节效果有了很大改善。练秋生等[16]提出将图像块分类处理，该方法对图像边缘重构效果较好。文献[15-16]的方法在一定程度上解决了字典单一问题，但字典对不同类图像块的适用性仍有待提高。 　　鉴于此，针对目前图像重建算法中存在字典单一[3]、适用性低的问题，受到文献[15-16]的启发，本文在文献[10]的框架下提出一种图像块分类与卡通纹理分解相结合的算法。通过将图像块分类，应用MCA对纹理类图像块分解，将各类图像块作为不同的样本训练生成特征字典，可更好地对图像的边缘和纹理细节信息进行重构。实验结果表明，本文算法在视觉及客观效果上都有所提高。
　　1 相关工作
　　基于稀疏表示的图像超分辨率重建算法根据学习样本库图像的先验知识，通过机器学习的方法训练字典，然后将低分辨率图像在一定程度上重建为高分辨率图像。由于其引入了先验信息，对图像的重建效果较好，因此已经成为当前图像重建领域的研究热点之一。而图像信号的稀疏表示和字典训练是基于稀疏表示的图像超分辨率算法的关键。
　　1.1 图像信号的稀疏表示
　　基于稀疏表示的图像超分辨率重构算法的理论基础之一是信号的稀疏表示。信号的简单、高效表示是信号处理性能效率提高的关键。图像的稀疏表示简而言之就是用大而少的
　　稀疏系数将图像信号线性表示出来，便于对图像的加工处理。图像信号的稀疏表示可以简单表示为：
　　1.2 字典训练
　　基于学习的超分辨率重建算法的另一关键是字典学习。字典训练是对庞大样本图像信号的一种降维表示，通过字典训练可以学习样本图像信号中的特征，并用尽可能少的资源存储，以满足稀疏表示用尽可能少的系数表示图像信号的要求。字典可看成一个由许多原子（或基函数）组成的n×l矩阵，其中l≥n，即该矩阵的列数远大于行数。字典是通过机器学习的方法训练已有的一系列样本生成的，可将其表示为求解优化问题：
　　式中：X= [x1，x2，…，xx]是由样本组成的矩阵;t0是控制稀疏系数α的稀疏度。字典学习的常用方法有最佳方向法（Method of Optional Direction， MOD）和K-SVD算法。 超完备字典训练过程为：给定一个随机初始字典D0∈Rn×l，并将其规范化;求解稀疏系数α，根据α更新字典D0至D1，再由D1更新稀疏系数α;迭代更新，直至满足算法的终止条件，即可得到超完备字典Dk。
　　1.3 基于稀疏表示的重建算法
　　在图像获取过程中，常常由于成像设备或者天气因素的影响，使图像的分辨率达不到预期目标。高清晰图像亦可能在图像传输过程中丢失部分信息，导致清晰度降低。由上述等各种原因造成的单幅图像退化，可以描述为：
　　式中：Zl是低分辨率图像;Yh是高分辨率图像;S和B分别为下采样算子和模糊因子;C为加性噪声。图像超分辨率重建就是由低分辨率图像求解高分辨率图像，是图像退化的逆向过程，也是典型病态问题求解。
　　基于稀疏表示的图像超分辨率重建算法是通过学习高低分辨率图像之间存在的映射关系，求解高分辨率图像，包括字典训练与图像重建两个关键步骤。在字典训练阶段，通过对样本库图像学习得到一对具映射关系的高低分辨率字典对。在图像重建阶段，通过低分辨率图像和低分辨率字典求解稀疏系数，用稀疏系数和高分辨率字典重建高分辨率图像块。
　　2 本文算法
　　针对现有算法存在的字典单一、适用性低的问题，为了提高字典的适用性，使其对图像局部特征更具有针对性，本文将图像块分为三类作为不同的训练样本，训练出对图像不同局部特征适用性更强的字典。本文算法主要步骤包括：1）图像分块并将图像块分类：先将图像分块，然后通过局部方差和熵将图像块分为平滑类、边缘类和纹理类，并对纹理类图像块作卡通纹理分解;2）字典训练：对不同类图像块用K-SVD算法进行字典训练，得到不同类图像块的多个字典对;3）图像重建：求解稀疏系数并与高分辨率字典对图像重建。
　　2.1 图像块分类
　　将图像分为8×8大小的图像块，根据局部方差和熵将图像块分成三类：平滑类、边缘类和纹理类，并将边缘和纹理类分别处理之后用作不同字典的训练样本。以这种方式生成的字典训练不同类型的图像块对图像细节及高频信息恢复更为精确。局部方差值的大小反映了图像块中像素灰度值的差异变化，方差值越小图像块中像素差异越小，图像更趋于平滑;熵值E反映图像块中像素灰度值的分布特征和空间特性，主要用于区分边缘和纹理块。
　　4 结语
　　针对现有的基于稀疏表示的图像超分辨率重建算法存在的字典单一问题，本文提出了一种将图像块分类与图像卡通纹理分解相结合的图像超分辨率重建算法。该算法针对图像局部特征块生成更具有针对性的特征字典，能够更好地重建图像的边缘部分和高频纹理信息，不论是客观评价还是视觉效果上都取得了较好的效果。如何在图像块分类阶段更好地针对不同图像设置合适的阈值，以及如何更好地将彩色图像的色彩信息重建将是下一步研究方向。
　　参考文献：
　　[1] ZHOU D. An edge-directed bicubic interpolation algorithm [C]// Proceedings of the 2010 3rd International Congress on Image and Signal Proncessing. Piscataway， NJ： IEEE， 2010： 1186-1189.
　　[2] 陶志強，李海林，张红兵.基于新边缘指导插值的迭代反投影超分辨率重建算法[J].计算机工程，2016，42（6）：255-260. （TAO Z Q， LI H L， ZHANG H B. Iterative back projection super resolution reconstruction algorithm based on new edge directed interpolation [J]. Computer Engineering， 2016， 42（6）： 255-260.） 　　[3] 曾凯，丁世飞.图像超分辨率重建的研究进展[J].计算机工程与应用，2017，53（16）：29-35. （ZENG K， DING S F. Advances in image super-resolution reconstruction [J]. Computer Engineering and Applications，2017，53（16）：29-35.）
　　[4] DONG C， CHEN C L， HE K， et al. Learning a deep convolutional network for image super-resolution [C]// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8692. Cham： Springer， 2014：184-199.
　　[5] KIM J， LEE J K， LEE K M. Deeply-recursive convolutional network for image super-resolution [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 1637-1645.
　　[6] LEDIG C， THEIS L， HUSZAR F， et al. Photo-realistic single image super-resolution using a generative adversarial network [C]// Proceedings of the 2017 Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2017： 105-114.
　　[7] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2861-2873.
　　[8] YANG J， WANG Z W， LIN Z， et al. Coupled dictionary learning for image super-resolution [J]. IEEE Transactions on Image Processing， 2012， 21：3467-3478.
　　[9] CANDES E J， WAKIN M B. An introduction to compressive sampling [J]. IEEE Signal Processing Magazine， 2008， 25（2）： 21-30.
　　[10] ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations [C]// Proceedings of the 7th International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010： 711-730.
　　[11] AHARON M， ELAD M， BRUCKSTEIN A， et al. K-SVD： an algorithm for designing of overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing， 2006， 54（11）： 4311-4322.
　　[12] RUBINSTEIN R， ZIBULEVSKY M， ELAD M. Efficient implementation of the K-SVD algorithm using batch orthogonal matching pursuit [R]. Technion， Israel： Technion University， 2008： 1-15.
　　Rubinstein R， Zibulevsky M， Elad M. Efficient Implementation of the K-SVD Algorithm Using Batch Orthogonal Matching Pursuit， Technical Report， Technion University， Israel， 2008.
　　[13] 张晓燕，秦龙龙，钱渊，等.一种改进的稀疏表示超分辨率重建算法[J].重庆邮电大学学报（自然科学版），2016，28（3）：400-405. （ZHANG X Y， QIN L L， QIAN Y， et al. An improved sparse representation of super resolution reconstruction algorithm [J]. Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2016， 28（3）： 400-405.）
　　[14] 王旸.超分辨率图像重建效果优化算法研究[J].控制工程，2018，25（5）：740-745.（WANG Y. An optimal algorithm for super-resolution image reconstruction [J]. Control Engineering of China， 2018， 25（5）： 740-745.）
　　[15] 徐川. 基于卡通纹理分解和稀疏表示的图像超分辨率重建[J]. 软件工程，2016，19（5）：2096-1472. （XU C. Image super-resolution reconstruction based on cartoon-texture decomposition and sparse representation [J]. Software Engineering， 2016， 19（5）： 2096-1472.）
　　[16] 練秋生， 张伟. 基于图像块分类稀疏表示的超分辨率重构算法[J]. 电子学报，2012，40（5）：920-925.（LIAN Q S，ZHANG W. Image Super-resolution algorithms based on sparse representation of classified image patches [J]. Acta Electronica Sinica， 2012， 40（5）： 920-925.）
转载注明来源:https://www.xzbu.com/8/view-14941669.htm