基于预测稀疏编码的快速单幅图像超分辨率重建

摘要：针对经典的基于稀疏编码的图像超分辨率算法在重建过程中运算量大、计算效率低的缺点，提出一种基于预测稀疏编码的单幅图像超分辨率重建算法。训练阶段，该算法在传统的稀疏编码误差函数基础上叠加编码预测误差项构造目标函数，并采用交替优化过程最小化该目标函数；测试阶段，仅需将输入的低分辨图像块和预先训练得到的低分辨率字典相乘就能预测出重建系数，从而避免了求解稀疏回归问题。实验结果表明，与经典的基于稀疏编码的单幅图像超分辨率算法相比，该算法能够在显著减少重建阶段运算时间的同时几乎完全保留超分辨率视觉效果。

关键词：图像超分辨率；预测稀疏编码；字典学习；交替优化

中图分类号： TP391.41 文献标志码：A

英文摘要

Abstract：The classic superresolution algorithm via sparse coding has high computational cost during the reconstruction phase. In view of the disadvantages， a predictive sparse¢ codingbased single image superresolution method was proposed. In the training phase， the proposed method imposed a code prediction error term to the traditional sparse coding error function， and used an alternating minimization procedure to minimize the resultant objective function. In the testing phase， the reconstruction coefficient could be estimated by simply multiplying the lowdimensional image patch with the lowdimensional dictionary， without any need to solve sparse regression problems. The experimental results demonstrate that， compared with the classic single image superresolution algorithm via sparse coding， the proposed method is able to significantly reduce the reconstruction time while maintaining superresolution visual effect.

英文关键词

Key words：image superresolution； predictive sparse coding； dictionary learning； alternative optimization

0 引言

图像超分辨率是指将低分辨率图像转换为高分辨率图像，是图像处理领域的热门研究方向之一。考虑到硬件成本以及硬件技术的局限性，现有的图像超分辨率工作研究主要集中在软件算法领域，主要解决的问题是将输入的单幅或者多幅低分辨率图像通过算法处理重建出一幅高分辨率图像[1]。目前，图像超分辨率技术在卫星遥感探测、医学图像、军事监控、公共安全等领域发挥着重要的应用。

单幅图像的超分辨率主要分为基于插值的方法、基于重建的方法、基于学习的方法三大类。基于插值的算法包括经典的二次插值、双三次插值[2]等方法，具有实现简单的优点。然而，采用插值法重建出来的图像往往存在锯齿效应，尤其是当图像放大显示时，锯齿效应更为明显。基于重建[3-4]的方法主要利用图像的先验知识建立超分辨率模型。由于先验模型选取受主观因素影响较大，这类方法缺乏自适应性，重建出的结果也往往不令人如意。

近年来，随着机器学习理论和算法的突飞猛进，基于学习的图像超分辨率算法成ฟ为主流方法ม，此类方法依托相似的训练集训练字典，能够预测出低分辨率图像中丢失的细节信息。早期，Freeman等[5]提出的基于实例的方法，利用马尔可夫模型建立高、低分辨率图像之间的联系，但是这种算法需要数以百万计的高、低分辨率图像块进行训练，计算量非常巨大。之后，Chang等[6]提出的局部线性嵌入的流形学习方法，学习出低分辨率图像块到高分辨率图像块的局部特征映射模型，使得高分辨率图像块能够用近邻的线性组合表示。然而，在重建的过程中，使用固定的K个近邻会产生过拟合或者欠拟合效应从而导致成像模糊。稀疏编码模型是近年来稀疏学习的研究热点之一。给定一组输入数据，稀疏编码的主要目标就是学习一个字典（码本）以捕捉原始数据的高维特征，使得输入信号能够在该字典上构造一组稀疏表示系数（编码）来线性重建该信号。与主成分分析方法不同的是，稀疏表示能够学习一个过完备的基并且增加了一个惩罚项来确保稀疏程度。目前，稀疏编码在特征表示上面已经有了很多成功的应用，例如图像建模方面[7]、音频分类方面[8]、自然语言处理方面[9]等。文献[10]中，Yang等利用稀疏编码的方法进行单幅图像超分辨率重建，取得了不错的结果。该方法的基本思想是在训练阶段对图像分块处理，假设高、低分辨率图像块共享一个稀疏编码，通过一组高、低分辨率图像数据集训练出对应的高、低分辨率字典对。在重建过程中，对于输入的低分辨率图像块，首先利用稀疏表示模型求解出最佳的稀疏编码；然后利用高分辨率字典和低分辨率稀疏编码的乘积得到高分辨率输出图像块；最后将高分辨图像块组合成高分辨率图像。然而，该算法在重建阶段需要对每一个图像块求解一个稀疏表示问题（等价于稀疏约束二次规划），可想而知，当图像块较多时，算法的运算量较大，重建效率低。Dong等[11]提出了自适应选择字典和正则项的重建方法，虽然该方法提高了稀疏表示的有效性，但是重建后的图像多块状效应，并且整个重建过程也比较费时。 针对稀疏编码图像超分辨率算法重建效率低的缺点，本文提出一种新颖的基于预测稀疏编码的图像超分辨率算法。相比经典的稀疏编码算法，本文算法在原有的稀疏表示误差项的基础上增加了编码线性预测误差项，使得学习得到的低分辨字典不仅具有稀疏编码功能，同时具有线性预测解码功能。本文采用交替优化的方法优化所提出的编解码误差函数，得到最优的高分辨率和低分辨率字典对。重建阶段，给定一个低分辨率图像块，只需要将低分辨率字典和图像块相乘就可以直接得到稀疏编码系数，然后直接利用高分辨率字典和该系数相乘重建出高分辨率块。

1 基于稀疏表示的图像超分辨率

2 基于预测稀疏编码的图像超分辨率

2.1 线性预测稀疏编码

稀疏编码过程往往需要迭代求解，因此在大数据环境下耗时较多。作为稀疏编码的一个变种，预测稀疏编码在采用一个非迭代逼近步骤来取代迭代编码过程，可以显著减少测试阶段的计算量。预测稀疏编码已经在图像和视频物体识别中取得了很好的应用[13-14]。本文中，给定采样的训练块对{Xh，Xl}，考虑如下训练准则实现高、低分辨率字典训练和编码线性预测：

3.1 重建质量对比

从图像的视觉效果来看，插值法得到的结果边缘模糊，多锯齿状，一些细节信息丢失，例如图2（a）中睫毛部分、眼角的纹理部分、眼睛黑白区分的地方，图3（a）中车轴的圈纹也呈现模糊状。而Yang算法明显增加了很多细节信息，图2（b）中睫毛还有眼角的纹理都能很好地重现出来，在图3（b）中车轴的纹理能够得到清晰的体现。Dong算法实验结果整体偏模糊，并且有明显的块状效应，图像的局部细节完全没有反映出来。本文算法得到的实验结果与Yang算法相比，在视觉效果上相当。仔细比较图2中（b）和（d），本文算法不但很好地

体现出了睫毛、眼角部位的细节信息，而且与Yang算法的结果相比，整体上更显干净、清晰。对比图3中（b）子图和（d），本文算法也能得到和Yang算法相当的实验结果。

除了视觉效果这种主观评价标准[18-19]，超分辨率图像重建结果也可以利用峰值信噪比（Peak SignaltoNoise Ratio，PSNR）和结构相似度[17]（Structural Similarity，SSIM）等客观标准进行质量评价。表1列出了本文所考虑的不同超分辨率方法重建结果的PSNR和SSIM数值。从表1中可知，本文算法和插值法、Dong算法相比，在PSNR和SSIM上均略有提高。与Yang算法相比，本文算法的PSNR和SSIM相当或者略有下降。然而，下一节的运行时间对比结果表明本文算法相对于Yang算法的优势在于显著减少了重建阶段花费的时间。

3.2 实验时间对比

本文着重强调重建时间的对比。在实验时，本文选取了多幅大小不同的图像作为输入，分别用本文算法、Yang算法、Dong算法进行实验，每幅图像实验三次，记录下三次的平均时间，实验时间对比如表2所示。

从表2可以看出，本文算法在重建过程中所需要的时间明显少于Yang的方法和Dong的算法。由于本文方法在重建阶段无需再对每一个块去求解一个稀疏系数问题，因而省去了大量的计算开销，特别是当图像维ツ数大的时候，本文算法优势更加明显。可以看到，当输入图

4 结语

本文提出了一种基于预测稀疏编码的快速单幅图像超分辨率重建算法。本文算法在经典的稀疏编码算法基础上增加了编码线性预测误差项，并且根据新的误差函数设计了字典训练方法。在重建过程中，本文直接采用低分辨率字典和输入图像块的乘积得到近似稀疏编码系数，ถ省去了经典算法在重建过程中需要计算编码系数的运算开销。从实验效果来看，本文算法在几乎完全保留了经典稀疏编码图像超分辨率算法重建效果的同时，显著减少了重建时间。在未来的工作中，将寻求更好的优化策略，进一步减少重建时间；同时，采用分布式并行的策略快速训练出字典也将是下一步的研究方向。

参考文献：

[5]FREEMAN W T， JONES T R， PASZTOR E C. Examplebased superresolution [J]. Computer Graphics and Applications， 2002， 22（2）： 56-65.

Scaling up Machine Learning： Parallel and Distributed Approaches， 2011： 399-419.