小波域图象超分辨率重构算法.ppt

小波域图象超分辨率重构算法 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望图象退化模型n n图象退化模型：n n几何变换：高分辨率图象与低分辨率图象序列之间的坐标变换关系通过运动分析和图象对准获得。n n模糊：光学系统造成的模糊和CCD传感器空间积分造成的模糊。n n亚采样n n噪声图象超分辨率重构的分类n n频率域方法和空间域方法n n单幅图象超分辨率重构和序列图象超分辨率重构序列图象超分辨率重构分类n n迭代后向投影（IBP）方法n nBayes重构方法n n集合论重构方法n nML/MAP/POCS混合方法n nTikohonov规整化方法序列图象超分辨率算法综述（一）n n迭代后向投影(IBP)方法序列图象超分辨率算法综述（二）n nBayes重构方法n n条件概率：由噪声的统计特性确定n n先验概率：根据实际图象物理特性确定图象的先验模型序列图象超分辨率算法综述（三）n n集合论重构方法，凸集投影方法（POCS）1.1.一组凸集代表了期望高分辨率图象具有的特性，如正性，能量有限，忠实于观察数据，以及光滑性等。2.2.给定高分辨率图象解空间中任意一点，通过依次在这些凸集上进行投影寻找一个满足所有这些凸集约束的图象作为对所要求的高分辨率图象的近似。序列图象超分辨率算法综述（四）n nML/MAP/POCS混合方法n n各种方法的优点：采用高斯MRF作为先验知识的ML/MAP估计具有完美的解析表达式，而POCS方法容易考虑各种约束（凸集）。n nElad 等结合二者的优点提出了序列图象超分辨率的ML/MAP/POCS混合方法。序列图象超分辨率算法综述（五）n nTikohonov规整化方法n nTikohonov规整化方法的本质在于，将关于解的先验知识融入病态方程的求解过程。采用什么样的约束条件对于获得高质量的高分辨率图象是至关重要的。一个根本原则是，先验约束应该与场景或高分辨率图象的物理性质相一致。单幅图象超分辨率算法分类n n插值方法n n基于重构的单幅图象超分辨率算法n n基于学习的单幅图象超分辨率算法单幅图象超分辨率算法（一）n n插值方法n n图象插值是由一幅低分辨率图象生成一幅高分辨率图象的过程；n n不同的图象模型导致不同的插值算法；n n传统的插值算法：零阶保持、双线性、三次样条插值等；n n新的插值算法：局部自适应、边缘指导内插、神经网络等。单幅图象超分辨率算法（二）n n基于重构的单幅图象超分辨率算法n n选择合理的先验图象模型是解决问题的关键。单幅图象超分辨率算法（三）n n基于学习的单幅图象超分辨率算法n n神经网络、图象类比等。相关的小波域方法n n多尺度Kalman滤波n n局部自适应规整化退化图象规整化锐化图象多尺度Kalman滤波清晰图象基于多尺度边缘自相似性的图象超分辨率重构（一）n n边缘模型n n多尺度边缘的自相似性基于多尺度边缘自相似性的图象超分辨率重构（二）n n多尺度边缘的自相似性基于多尺度边缘自相似性的图象超分辨率重构（三）n n小波系数预测1.1.多尺度边缘的自相似性表明，可以由较大尺度小波系数预测较小尺度的小波系数；2.2.假定较小尺度的小波系数为同一空间位置附近较大尺度的小波系数的线性组合；3.3.为使预测具有一定的稳定性，认为在一个较小的邻域内组合系数是相等的。基于多尺度边缘自相似性的图象超分辨率重构（四）低分辨率图象小波系数预测小波逆变换高分辨率图象基于小波域HMT模型的图象超分辨率重构算法（一）n n图象退化模型在小波域的表示n n高分辨率图象的Bayes估计基于小波域HMT模型的图象超分辨率重构算法（二）n n自然图象小波变换的两个基本特性1.1.非高斯分布特性：小波系数的边缘分布呈现出非高斯特性，即呈现出“尖峰长尾”的状态。2.2.保持性：在空间同一位置，小波系数“大”或“小”的状态具有在尺度间传递的特性。Lenna图象水平方向小波系数直方图（db2)树结构模型示意图基于小波域HMT模型的图象超分辨率重构算法（三）n n小波域HMT模型1.1.以混合高斯模型逼近小波系数的边缘分布；2.2.以小波系数的状态转移概率刻画小波系数尺度间的保持性。3.3.小波系数的联合分布基于小波域HMT模型的图象超分辨率重构算法（四）n n无噪声情况n n有噪声情况基于小波域HMT模型的图象超分辨率重构算法（五）n n性能指标函数的简化1.1.当2.2.当基于小波域HMT模型的图象超分辨率重构算法（六）n n性能指标函数的简化 设1表示小波系数为“小”的状态，2表示小波系数为“大”的状态。由于 ，所以 可以看成相应的小波系数的惩罚函数。也就是说，该函数根据小波系数的状态对相应的小波系数进行“抑制”或“鼓励”。基于这种认识，性能指标函数可以简化为基于小波域HMT模型的图象超分辨率重构算法（七）n n简化后问题的表述1.1.无噪声情况2.2.有噪声情况实验：原图，256x256实验：超分辨率图，512x512实验：原图，256x256实验：超分辨率图，512x512实验：原图，256x256实验：超分辨率图，512x512彩色图象超分辨率重构（一）n n存在的问题存在的问题 灰度图象超分辨率算法并不能直接推广到彩色灰度图象超分辨率算法并不能直接推广到彩色图象。这是因为，任何具有边缘保持作用的灰图象。这是因为，任何具有边缘保持作用的灰度图象超分辨率算法必然具有增强边缘的作用；度图象超分辨率算法必然具有增强边缘的作用；而彩色图象三个通道中的边缘并不具有空间上而彩色图象三个通道中的边缘并不具有空间上的一致性。这就导致三通道增强区域不协调并的一致性。这就导致三通道增强区域不协调并在这些区域造成色彩失真，而色彩对在这些区域造成色彩失真，而色彩对ICIC图象的图象的分析和处理是至关重要的。所以有效实现彩色分析和处理是至关重要的。所以有效实现彩色图象超分辨率的关键在于正确协调彩色图象三图象超分辨率的关键在于正确协调彩色图象三个通道的超分辨率重建。个通道的超分辨率重建。彩色图象超分辨率重构（二）n n基本思路A.A.自适应彩色灰度变换：通过多通道融合由彩色图象获得一幅能够反映彩色图象边缘的灰度图象；B.B.采用基于小波域HMT模型的超分辨率重构方法获得一幅高分辨率灰度图象；C.C.利用该高分辨率灰度图象的边缘信息协调彩色图象三个通道的超分辨率重构。彩色图象超分辨率重构（三）n n自适应彩色灰度变换彩色图象超分辨率重构（四）低分辨率彩色图象自适应彩色灰度变换低分辨率灰度图象超分辨率高分辨率灰度图象高分辨率彩色图象以高分辨率灰度图象的小波系数状态协调彩色图象三个通道的超分辨率重构 原图超分辨率(小波)三次样条谢谢大家！