图像超分辨率重建方法及应用 pdf下载

图像超分辨率重建技术在遥感、军事侦察、视频监控、医疗诊断和工业产品检测等许多领域有着广泛的应用需求。近年来，超分辨率重建技术已成为图像、信号与信息处理以及计算机视觉领域的重要研究内容。本书系统介绍图像超分辨率重建技术的有关概念、原理和方法。本书共分8 章。第1 章主要介绍图像超分辨率重建的意义、基本概念及技术分类。第2 章主要介绍基于优化-*小求解的广义总变分图像超分辨率重建的单帧图像超分辨率重建方法及技术。第3~8 章主要介绍多帧图像超分辨率重建方法及技术，内容包括：基于混合确定度和双适应度归一化卷积的超分辨率重建、基于三边核回归的超分辨率重建、基于特征驱动先验的MAP 分块超分辨率重建、基于Tukey 范数和自适应双边总变分的超分辨率重建、基于超视锐度机理及非连续自适应MRF 模型的遥感图像超分辨率重建、基于超视锐度机理及边缘保持MRF 模型的遥感图像超分辨重建方法及技术等。


目录
第1 章绪论 1
1.1 超分辨率重建的背景及意义 1
1.2 图像超分辨率的基本概念 3
1.3 图像超分辨率重建原理 5
1.4 图像超分辨率重建的频域方法 7
1.4.1 基于傅里叶变换的频域重建法 7
1.4.2 基于离散余弦变换的频域重建法 7
1.5 图像超分辨率重建的空域方法 8
1.5.1融合-复原法 8
1.5.2 统计方法 9
1.5.3 基于集合理论的重建方法 13
参考文献 14
第2章基于优化-*小求解的广义总变分图像超分辨率重建 22
2.1 问题描述 23
2.1.1 MAP 图像超分辨率重建的求解框架 23
2.1.2 正则化函数的选取原则 24
2.2 广义总变分正则项 25
2.2.1双边总变分(BTV)的思想 25
2.2.2改进的BTV——广义TV正则项 26
2.3基于优化-*小算法的GTV图像超分辨率重建方法 27
2.3.1 MM 算法 28
2.3.2基于优化-*小算法的GTV图像超分辨率重建方法推导与求解步骤 28
2.4 实验结果与分析 30
2.4.1 遥感图像超分辨率重建实验 30
2.4.2标准测试图像Lena的超分辨率重建 33
2.4.3标准测试图像Cameraman的超分辨率重建 34
参考文献 37
第3 章基于混合确定度和双适应度归一化卷积的超分辨率重建 39
3.1 基于多项式基的归一化卷积与双边滤波器 40
3.1.1 利用多项式基的归一化卷积框架 40
3.1.2 加权*小二乘解 41
3.1.3 双边滤波器及相关比对 44
3.2 基于混合确定度和双适应度的归一化卷积 45
3.2.1 基于双适应度的归一化卷积框架 45
3.2.2 混合确定度函数 47
3.3 基于改进归一化卷积的超分辨率重建 48
3.3.1 三分步骤法 48
3.3.2 基于混合确定度和双适应度的归一化卷积融合法 49
3.4 实验结果与分析 50
3.4.1 基于高斯确定度和双适应度的归一化卷积超分辨率重建实验 51
3.4.2 基于混合确定度和双适应度的归一化卷积超分辨率重建实验 53
3.4.3 新超分辨率重建算法在水位测量中的应用实验 55
参考文献 57
第4 章基于三边核回归的图像超分辨率重建 60
4.1 图像处理中的回归问题 60
4.2 核回归及其在超分辨率重建中的运用 62
4.2.1 一维核回归 62
4.2.2 二维核回归 64
4.2.3 结构自适应核回归 66
4.3 基于改进核回归的超分辨率重建 68
4.3.1 三边核回归 68
4.3.2 基于三边核回归的超分辨率重建算法流程 69
4.4 实验结果与分析 69
4.4.1 基于三边核回归的超分辨率重建算法有效性验证 69
4.4.2 三边核回归超分辨率重建算法在水上桥梁遥感识别中的应用实验 76
参考文献 78
第5章基于特征驱动先验的MAP分块超分辨率重建 80
5.1基于MAP框架的超分辨率重建 81
5.2基于新型先验的MAP分块超分辨率重建 82
5.2.1 不变先验模型的不足 82
5.2.2 特征驱动的先验模型 83
5.2.3用于超分辨率重建的分块MAP框架 84
5.2.4 十字伪影及解决方法 85
5.3 实验结果与分析 87
5.3.1 特征驱动先验的图像超分辨率重建实验 87
5.3.2 基于分块的图像超分辨率重建实验 89
5.3.3 超分辨率重建中十字伪影消除实验 91
参考文献 93
第6章基于Tukey范数和自适应双边总变分的超分辨率重建 94
6.1 图像观测模型和超分辨率重建 94
6.2 Tukey 范数 95
6.3基于Tukey范数保真项和自适应BTV正则项的SRR算法 98
6.3.1 BTV 正则项 98
6.3.2结合Tukey范数和自适应BTV正则项的SRR算法 98
6.4 实验结果与分析 100
6.4.1标准Lena图像超分辨率重建实验 100
6.4.2 遥感图像超分辨率重建实验 105
6.4.3 文本图像超分辨率重建实验 108
参考文献 112
第7章基于超视锐度及非连续自适应MRF模型的遥感图像超分辨率重建 114
7.1 图像配准 115
7.2 基于超视锐度机理的初始图像估计 116
7.2.1 基于非均匀采样的立方插值实现超视锐度机理 116
7.2.2 基于归一化卷积的超视锐度机理实现 116
7.3 MAP+DAMRF 超分辨率重建算法 118
7.3.1 MAP 模型 118
7.3.2非连续自适应性MRF(DAMRF)先验模型 119
7.3.3基于GNC优化算法的MAP实现 122
7.4 实验结果与分析 123
7.4.1 全局平移的图像超分辨率重建实验 124
7.4.2 全局平移和旋转的图像超分辨率重建实验 135
参考文献 139
第8章基于超视锐度及边缘保持MRF模型的遥感图像超分辨重建 141
8.1 联合图像配准和高分辨图像估计的建模 142
8.1.1联合配准参数估计的MAP模型 142
8.1.2边缘保持MRF先验模型 144
8.1.3 梯度计算及正则化参数的确定 145
8.1.4 算法实现步骤 147
8.2 实验结果与分析 147
8.2.1 全局平移的图像超分辨率重建实验 147
8.2.2 全局平移和旋转的图像超分辨率重建实验 154
参考文献 160
索引 162


第1 章绪论
1.1 超分辨率重建的背景及意义
20世纪70年代以后，在许多数字成像设备中，CCD(charge-coupleddevice)和CMOS图像传感器被广泛使用以获取数字图像。尽管这些传感器能够满足大多数成像应用，但其分辨率水平与成本却远没有满足人们的消费需求，特别是高端科技研发的需要。即使经过近几年突飞猛进的发展，图像和视频的视觉质量也仍然无法达到人们更高的期待，例如，在监测、遥感、军事、医学和视频娱乐等数字成像应用领域，高质量图像要求不仅能够提供足够的像素密度，而且还可以展示丰富的细节信息。
通过硬件改进来提高空间分辨率的方法有：①改进传感器制造工艺以降低像素尺寸，即增大成像装置中传感器单位面积上的像素数。然而，随着像素尺寸的降低，接受到的有效光强也相应减小，这样产生的散粒噪声会严重影响到图像质量。
②增大芯片尺寸来增加像素数，但这会导致电容的增加。由于大电容会严重阻碍电荷转移速率的提高，因此这种方法也不被有效采纳。③通过提高相机的焦距来增强图像的空间分辨率，但这会受到相机的体积变大、重量变重、镜头光学零件的尺寸增大等负面影响，导致光学材料和光学加工的制造工艺难度加大，故通过增加相机焦距的方法来提高图像的空间分辨率并不可取。④随着纳米级生物学观测研究而迅速发展的荧光显微技术。依靠荧光显微镜可以观测到活细胞、组织以及动物体内的生物分子、通路和活动。显微成像技术的空间分辨率可达到纳米级别，但其仅能应用于生物学的组织成像，应用范围较窄，很难推广到诸如太空探索、遥感测报、监测监控等大视场的高分辨率成像。另外，高精度光学图像传感器的高昂成本也是许多高分辨率成像应用中所要考虑的重要因素。综上，由于受到工艺水平、成本等因素的影响，单纯依靠硬件上的改善来获取高质量高分辨率图像，往往并不现实。
为了克服硬件方法的局限，可以考虑通过一种图像增强的软方法来实现图像分辨率的提高。运用信号与信息处理来实现由单帧或多帧低分辨率观测图像获得高分辨率图像或序列，使信号与信息处理变得比以往更有意义，这样的技术可以摆脱硬件的技术瓶颈，具有广阔的发展前景。国内外图像处理领域的研究人员将这种经济且有效的图像增强软方法称为超分辨率重建技术[1]。Tsai和Huang的开创性论文开启了通过软计算实现高分辨率成像的现代超分辨率重建技术研究。尽管早在20世纪50年代Yan和70年代Papoulis在抽样理论的研究成果中已经初步萌发了这个想法，但确实是Tsai和Huang在理论上明确提出：通过配准和融合多个图像来增强分辨率是可行的[2]。利用超分辨率重建技术来获取高分辨率图像可以充分利用已有的低分辨率成像设备，且无需升级硬件，只要通过软件算法的开发就能低成本地实现提高分辨率的目的。
20世纪90年代以来，超分辨率重建技术日益成为国内外图像、信号与信息处理以及计算机视觉领域的研究热点[3.12]。尤其2010年之后的五年左右时间里，图像超分辨率重建在学术领域异常活跃，进一步说明了对其进行深入研究具有重要的学术价值。在美国的WebofScience数据库，通过对标题包含super-resolution的论文进行统计，结果显示，其论文数量和引文数量均呈大幅增长，如表1.1所示。例如，引文数量从1996年的几十篇，到2005年的500多篇、2010年的1600多篇，直到2015年接近7000篇，这证明了超分辨率的研究具有日益重要的学术意义。
表1.11996年以来发表的超分辨率论文统计
对低分辨率图像序列进行超分辨率重建是前端视觉信息处理的一个重要任务，它为后端处理中的图像检测、分类和识别工作提供了高质量空间分辨率的图像。超分辨率重建研究要解决的是图像生成过程中所遇到的共性问题(下一节将详细介绍)，因此在尽可能多地获得相同场景图像的条件下，不论何种应用领域，超分辨率重建的基本方法过程都是相同的。再加上高效廉价的独特优势，超分辨率重建正在被军事和经济社会的各个应用领域所关注，因此也具有进一步研究的必要性和迫切性，预想会在以下方面具有广泛的应用前景和实用意义：
(1)视频监控(图1.1(a))，如基于图像的水利量测、刑侦取证、试验故障检测等；
(2)卫星成像，如各种遥感、遥测、地球资源调查及军事对地侦察等(图1.1(b))；
(3)生物医学成像，如计算机X射线断层摄影(图1.1(c))和磁共振成像等；
(4)视频标准转换，如NTSC和PAL标准的相互转换、SDTV信号向HDTV信号的转换等；
(5) 视频增强和复原，如各种视频消费电子的后期处理、老旧电影的翻制等；
(6) 其他应用，如数字拼嵌、显微成像、虚拟现实和太空探索等。
图1.1成像设备实例
1.2 图像超分辨率的基本概念
高分辨率(highresolution,HR)是指图像的像素密度高并尽可能包含图像信号的高频成分，从而使图像能够提供更多的关于目标场景的细节信息[13]，这一点在许多应用领域既是重要的，也是相当必要的，因为这样可以为许多后端的图像处理、分析、运行、理解、研判与操作提供准确依据与高质量保障。通常，获取高分辨率图像主要有两种途径：①硬件的高分辨率成像，即通过硬件材料及其制造工艺的改进与升级开发出高分辨率的成像设备，以此直接应用于获取高分辨率图像；②软件的超分辨率(super-resolution,SR)重建，即通过信号与信息处理方法对已获取的单帧或多帧低分辨率观测图像进行融合重建获得含有高频信息的高分辨率图像。
超分辨率重建是一种利用信号处理方法，由一帧或多帧低分辨率(lowresolu-tion,LR)的观测图像来获取高分辨率图像或图像序列的技术[14]。在国内外的一些文献中，也有将超分辨率称为分辨率增强(resolutionenhancement,RE)或超分辨率(superresolution,SR)复原技术。这一过程的实质是增加重建图像的高频成分和消除低分辨率成像过程中产生的退化。目前，绝大多数超分辨率重建都是指空间分辨率重建，但也有部分研究将之扩展到时间分辨率甚至光谱分辨率的层级。
本书如无特殊说明均指基于运动的空间分辨率增强。这里对运动加以解释：一般情况下，我们使用常规成像设备所得到的低分辨率图像序列都被认为是亚采样图像序列，并且由于机景的相对位移或场景内的物体运动，序列中的每幅图像之间都有像素移动，这就是所谓的“基于运动”。超分辨率正是利用这样的图像序列来重建出高空间分辨率的图像。
前已述及，通过硬件增加分辨率不再合适，而要利用基于信号处理的超分辨率重建技术，还要必须对图像序列获取的整个过程进行科学的分析和表征。由于硬件限制，数字成像系统获取的图像包含各种退化。例如：有限孔径尺寸导致光学模糊，由点扩散函数(pointspreadfunction，PSF)建模；有限孔径时间导致运动模糊，视频中普遍存在；有限传感器尺寸导致传感器模糊，图像像素不是由冲击采样产生，而是由传感器区域内的积分融合生成；有限传感器密度导致混叠效应，限制了所获取图像的空间分辨率。在各种不同的SR技术中，这些退化都可以被完全或部分地建模。
图1.2为典型的观测模型示意图，它将文献[15,16]所述的高分辨率图像到低分辨率视频帧的演化过程直观地表示了出来。
图1.2低分辨率图像序列产生模型
根据图1.2所示，成像系统的输入为连续的自然场景，一般可近似地假设场景为带限信号。这些信号在进入成像系统之前可能受到大气湍流的干扰。由于数字图像所表征的数据都是以离散的形式存在的，所以在超分辨率重建中，欲求解的理想高分辨率数字图像可看成是对原始二维连续场景信号进行采样而生成的图像。但这里的采样率高于原始连续带限场景的Nyquist采样率，所以图像并无混叠效应。
在SR技术中，通常还设定某种镜头与获取场景之间的运动，这使得相机的输入变为同一场景的多帧图像，这些图像可能包含局部或全局位移。再考虑到前面的大气湍流以及拍摄角度，图像会是扭曲的版本。我们所说的扭曲可以是平移、旋转等简单的刚体运动，也可以是仿射、透射等复杂的映射变换。由于拍摄空间时间的差异，每个LR图的扭曲都是不同的，要将它们恢复到原有的“形状”就必须进行配准，也就是将它们的像素放置于假想原型网格内。
进入相机，这些经过位移的高分辨率帧将受到不同类型的模糊影响，如光学模糊、运动模糊等。模糊建模是建立在对物理光学的理解之上的，数学模型要考虑到介质(大气、水等)湍流、镜头或传感器的光学响应、运动与快门反应、光学散焦等。模糊以及后面的噪声污染是LR图像降质的重要原因，解决这两个问题也是图像复原领域的主要任务，因此超分辨率重建技术与图像复原有着紧密的联系。
模糊后的图像在图像传感器(如CCD)上被下采样形成*终的像素，形成像素的过程主要通过对落入每个传感器区域图像的积分来实现。模糊后的下采样是导致图像混叠的重要原因，这是由于低密度像素采集设备使图像采样率低于带限场景Nyquist采样率，必然形成混叠现象。
下采样图像还会受传感器、色彩滤波等噪声的影响。噪声模型的建立要根据不同噪声来源，这其中有光电噪声、热敏噪声、传输存储噪声、压缩量化噪声以及在配准中的误差。
至此，一个真实场景(也可看成是理想的高分辨率图像)就被低分辨率成像系统捕获，经过扭曲、模糊、下采样和噪声污染，*终成为我们通常所看到降质的扭曲、模糊、低分辨率混叠的噪声图像。
以上是低分辨率图像的产生过程的具体描述，从产生模型可以看出高分辨率原始图与低分辨率观测序列图之间的关联。事实上，超分辨率重建过程可以被看作是低分辨率图像成像系统产生模型的逆过程。值得注意的是，在多数超分辨率数学建模中，扭曲和模糊被合并为同一算子对图像进行处理，因此图1.2中用一个方框来包括这两个过程是合适的。
1.3 图像超分辨率重建原理
实现超分辨率重建并不是将低分辨率观测图像简单放大，也不是单纯地对低分辨率观测图像进行去模糊去噪，因此必须将它与相关的单帧插值和简单的图像去模糊去噪概念区别开来。在区分两种概念的基础上，下节给出了实现超分辨率重建的两种条件：①已知同一场景多帧亚像素偏移的图像；②已知高分辨率图像的先验信息。满足上述任一条件，都可实现超分辨率重建。下面给予详细阐述。
(1)单帧插值仅仅是将图像进行放大而没有引入任何有用的新的信息，低于Nyquist采样率而形成的频率混叠现象并不能由图像的插值放大而被解决。要实现解混叠这一目的，首先要尽可能多获取目标场景的降质混叠低分辨率图像。但这并不是充分条件，不是说拥有低分辨率图像序列就一定能够重建出理想的高分辨率图像，或者说图像重建质量不完全取决于低分辨率图像的数量。从图1.3可以看出，整像素位移图像之间不能够为重建提供有效的信息，而亚像素位移的图像可以达到各帧之间信息互补，为重建提供丰富的信息源。假使每一幅低分辨率图像之间都存在亚像素位移，那么它们各自都包含互补有效信息。在已知相对位移关系情况下，低分辨率图像序列可以被合成来消除混叠效应进而重建出高分辨率图像。进一步地，如果重建出的高分辨率图像采样率满足Nyquist采样准则，它就可以精确代表原始连续场景。由此，我们可以说混叠信息可以被合成获取非混叠图像。因此，对于多帧超分辨率重建，能够改善分辨率的条件就是：低分辨率图像之间存在的位移必须是亚像素级的，即亚像素位移。图1.4给出了非降质亚采样低分辨率图像与高分辨率图像的关系，演示了多帧超分辨率重建实施的可行性。图1.4(e)表示运用已知的亚像素位移得到的非均匀采样高分辨率图像。通过重采样，图1.4(e)可以转
图1.4多帧超分辨率重建实施的可行性演示
(2)简单的去模糊去噪仅仅是用已固化的方法(如维纳滤波)恢复降质(模糊有噪声)的图像，并没有更多考虑图像本身特征，先验信息不够准确，也就达不到提高分辨率、恢复高频信息的目的。我们所讲的超分辨率重建过程，实质上是对降质