第12组题_图像超分辨率_第七组汇报

图像超分辨率技术 Image SuperResolution小组成员： 20132112 任万盛 20132216 周子轩

概述图像超分辨率是指由一幅低分辨率图像或图像序列 恢复出高分辨率图像。 图像超分辨率技术分为超分辨率复原和超分辨率重 建。 目前， 图像超分辨率研究可分为 3个主要范畴: 基于插值、 基于重建和基于学习的方法.

图像超分辨率示意图

基于插值的超分辨率技术：基于多帧图像插值技术的方法是超分辨率研究中最直观的方 法。这类方法首先估计各帧图像之间的相对运动信息，获得HR图 像在非均匀间距采样点上的像素值，接着通过非均匀插值得到HR 栅格上的像素值，最后采用图像恢复技术来去除模糊和降低噪声。 典型的方法包括：Rajan和Chaudhuri通过分解、插值和融合3个步骤 实现的通用插值方法；TAOHJ等提出的小波域的双线性插值； Lertrattanapanich和Bose提出的使用基于光滑性约束的Delaunay三角 化插值算法等。这类方法的优点是算法快速易行，适合并行计算， 基本可以满足实时要求，但因为不能引入额外有用的高频信息，因 而很难在SR图像中得到锐化的效果，同时，也没有考虑到LR图像 的像素值并不是HR图像的理想采样值，而是对HR图像像素值的空 间平均和卷积效应这一事实。

理想插值 最近邻插值 四点三次插值 六点双三次插值

基于重建的超分辨率技术：基于重建的超分辨率方法的基础是均衡及非均衡采样定理。它 假设低分辨率的输入采样信号(图像) 能很好地预估出原始的高分辨 率信号(图像)。绝大多数超分辨率算法都属于这一类，其中主要包 括频域法和空域法。 频率域方法是图像超分辨率重建中一类重要方法，其中最主要 的是消混叠重建方法。消混叠重建方法是通过解混叠而改善图像的 空间分辨率实现超分辨率复原，最早的研究工作是由 Tsai 和 Huang 在 1984 年进行的。在原始场景信号带宽有限的假设下，利用离散 傅立叶变换和连续傅立叶变换之间的平移、混叠性质，给出了一个 由一系列欠采样观察图像数据复原高分辨率图像的公式。多幅观察 图像经混频而得到的离散傅立叶变换系数与未知场景的连续傅立叶 变换系数以方程组的形式联系起来，方程组的解就是原始图像的频 率域系数，再对频率域系数进行傅立叶逆变换就可以实现原始图像 的准确复原。

在空域类方法中，其线性空域观测模型涉及全局和局部运 动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想 采样等内容。空域方法具有很强的包含空域先验约束的能力， 主要包括非均匀空间样本内插、迭代反投影方法、凸集投影法、 最大后验概率以及混合 MAP/ POCS 方法、最优

和自适应滤波 方法、确定性重建方法等。

频域方法通过在频率域消除频谱而改善图像的空间分辨率。 基于傅里叶变换的移位特性； (Tsai andHuang) 考虑光学系统的点扩展函数和噪声的影响；(Tekalp) 估计帧间整体平移参数的解算方法；(Kaltenbacker and Hardie) 用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。 由于频率域方法只能应用于全局平移和线性空间不变降质模 型，并且它对空间域先验的能力不足，缺少灵活性，所以目 前这类方法已经不再是研究的热点。

空域方法非均匀样本内插法(Non-uniform interpolation); 迭代反投影方法(Iterative Back Projection , IBP); 凸影投影法(Projection onto Convex Set, POCS); 最大后验概率估计(Maximum a Posteriori ,MAP); 混合Map/POCS方法； 自适应滤波方法；

基于学习的超分辨率技术基于学习的方法是近年来超分辨率算法研究中的热点，它采 用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率 图像进行恢复的过程中引入由学习模型获得的先验知识，以得到 图像的高频细节，获得较好的图像恢复效果。 基于学习的超分辨率方法中关键是建立学习模型，获得先验 知识。常用的学习模型有马尔科夫随机场模型、图像金字塔模型、 神经网络模型、主成分分析模型等。基于学习的方法充分利用了 图像本身的先验知识，在不增加输入图像样本数量的情况下仍能 产生高频细节，获得比基于重建方法更好的复原结果，并能较好 的应用于人脸和文字等图像的复原。

具体步骤为：(1)将高分辨率图像按照降质模型进行降质，产生训练集。 (2)根据高分辨率图像的低频部分和高频部分对应关系对图像 分块，通过一定算法进行学习，获得先验知识，建立学习模型。 (3)以输入的低分辨率块为依据，在建立好的训练集中搜索最 匹配的高频块。

超分辨率重建技术应用(1)生物医学成像: 核磁共振成像等；(2)卫星成像：遥感、遥测、军事侦察等； (3)视频监控 (4)视频格式转换 (5)视频增强和复原：老旧电影的翻制等； (6)显微成像、虚拟现实等

存在的问题目前，图像超分辨率重建的研究比较成熟，但距离实用还 有较大差距。未来研究方向主要集中在以下几个方面：

发展和寻求新的退化模型，使成像模型更加精确和全面， 实现对点扩散函数和噪声的精确估计。图像超分辨率增强的成 功依赖于准确的、符合实际成像系统特性和成像条件的降模型， 而要获得符合实际成像过程的降质模型是十分困难的，通常采 用简单、确定的降质模型进行近似，这样的近似模型与实际成 像过程差距较大。压缩域的超分辨率重建。

传统的超分辨率算法都是针对图 像序列，而实际中最常见的图像序列是视频文件。因而下一步 的工作可以针对不同的视频压缩格式和编解码技术，在超分辨 率算法中综合考虑成像模型和压缩算法带来的图像降质效果， 以及运动补偿和编码传输机制，实现压缩域的超分辨率重建。

效率和鲁棒性问题。目前的超分辨率算法具有很高的计算 复杂度，如何减少计算量，提高算法速度，是下一步值得研究问 题。同时，在目前很多算法中都做了各种假设，如照度变等，这 在实际应用中是很难满足的，因此需要研究稳健的算法满足实际 应用的需要。 模糊图像和三维图像的超分辨率研究。模糊一直是图像处理 中的一个难点，如何对模糊图像进行超分辨率需要进一步研究。 目前针对三维图像的超分辨率研究还很少，如何对三维图像进行 建模也是一个值得研究的课题。 超分辨率客观评价标准研究。目前对于图像超分辨率结果主 要依靠人的主观评价，缺少一种客观的评价标准，现有的 PSNR、 MSE 等并不能很好的反映超分辨率效果，需要发展一种客观的 评价机制。

谢 谢 ！

本文来源：https://www.bwwdw.com/article/p3k4.html