第六章图像复原PPT讲稿.ppt

《第六章图像复原PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第六章图像复原PPT讲稿.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第六章图像复原第六章图像复原第1页，共45页，编辑于2022年，星期三1/25/20231本章主要内容：本章主要内容：n n1.概述n n2.图像的退化模型n n3.退化参数的估计n n4.图像滤波复原法n n5.图像代数复原法第2页，共45页，编辑于2022年，星期三2023/1/2521.概述 n 什么是图像退化 图像的质量变坏叫做退化。退化的形式有图像模糊、图像有干扰等n 图像退化的处理方法 无论是由光学、光电或电子方法获得的图像都会有不同程度的退化；退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等；如果我

2、们对退化的类型、机制和过程都十分清楚，那么就可以利用其反过程来复原图像。第3页，共45页，编辑于2022年，星期三2023/1/2531.概述 n 典型的图像复原方法是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用滤波等手段进行处理，使得复原后的图像符合一定的准则，达到改善图像质量的目的。第4页，共45页，编辑于2022年，星期三2023/1/2542.图像的退化模型 f(i,j)：原始图像g(i,j)：降质图像T()：成像系统的作用，则：设T是线性的。一幅连续的图像f(x,y)可以用抽样函数的二维卷积表示：因此，则有：第5页，共45页，编辑于2022年，星期三2023/1/25

3、52.图像的退化模型 为点扩散函数(PSF)或系统冲击响应。多数情况下它表现为时不变的，反映在图像中为位移不变的，则可以表示为其中*表示卷积运算。如果T()是一个h可分离系统，即n 称则二维运算可以分解为列和行两次一维运算来代替。n 在加法噪声情况下，图像退化模型可以表示为其中n(x,y)为噪声图像第6页，共45页，编辑于2022年，星期三2023/1/2562.图像的退化模型 线性位移不变的图像退化模型则表示为：f(x,y)H n(x,y)g(x,y)第7页，共45页，编辑于2022年，星期三2023/1/2572.图像的退化模型离散图像退化模型 对于图像降质过场进行数学建模f(i,j)：原

4、始图像y(i,j)：降质图像h(i,j;k,l)：点扩散函数图像为MN维假设为空间不移变h(i,j;k,l)，则：第8页，共45页，编辑于2022年，星期三2023/1/2582.图像的退化模型离散图像退化模型 用矩阵形式表示上式：y、f和n分别表示MN的函数矩阵y(i,j)、f(i,j)和n(i,j)的各行或各列前后相连而成的维矢量。如果假设原始图像是NN维矩阵，则H是N 2N 2模糊矩阵：H是一个分块循环矩阵：每一个子矩阵H(i)自身也是循环矩阵：第9页，共45页，编辑于2022年，星期三2023/1/2592.图像的退化模型线性不变降质算子 n 运动模糊 通常在拍摄过程中，相机或物体移动

5、造成的运动模糊可以用一维均匀邻域像素灰度的平均值来表示 n 大气扰动模糊 这种模糊经常出现在遥感和航空摄影中，由于曝光时间过长引起的模糊可用高斯点扩散函数来表示：式中K是一个归一化常数，保证模糊的大小为单位值，2可以决定模糊的程度。第10页，共45页，编辑于2022年，星期三2023/1/25102.图像的退化模型线性不变降质算子 n 均匀不聚焦模糊 这是由于相机聚焦不准确引起的，虽然不聚焦由许多参数决定，如相机的焦距、相机孔的大小、形状、物体和相机之间的距离等，但在研究中为了简单起见，我们用下列函数表示聚焦不准引起的模糊n 均匀二维模糊 这是最常见的一种模糊，可以用来近似聚焦不准引起的模糊。

6、其中L是奇数。第11页，共45页，编辑于2022年，星期三2023/1/25112.图像的退化模型线性不变降质算子 通常模糊算子相当于一个低通滤波器，因此当模糊算子作用于原始图像时，会引起图像中边缘和轮廓的模糊。77均匀二维模糊算子作用于图像Camera的结果如下图所示 原始图像 77均匀二维模糊算子作用后的结果 第12页，共45页，编辑于2022年，星期三2023/1/25123.退化参数的估计噪声模型n数字图像中的噪声主要来源于图像的获取与传输过程n白噪声（White noise）白噪声的傅立叶频谱为常数假定白噪声与空间坐标系相互独立假定白噪声与图像像素之间相互独立n周期噪声噪声分布与空间

7、坐标系相关大多数周期性噪声可通过频域滤波基本消除第13页，共45页，编辑于2022年，星期三2023/1/25133.退化参数的估计噪声模型n主要噪声的概率密度函数高斯噪声第14页，共45页，编辑于2022年，星期三2023/1/25143.退化参数的估计噪声模型n主要噪声的概率密度函数瑞利噪声第15页，共45页，编辑于2022年，星期三2023/1/25153.退化参数的估计噪声模型n主要噪声的概率密度函数爱尔兰（伽马）噪声第16页，共45页，编辑于2022年，星期三2023/1/25163.退化参数的估计噪声模型n主要噪声的概率密度函数指数分布噪声第17页，共45页，编辑于2022年，星期

8、三2023/1/25173.退化参数的估计噪声模型n主要噪声的概率密度函数均匀分布噪声第18页，共45页，编辑于2022年，星期三2023/1/25183.退化参数的估计噪声模型n主要噪声的概率密度函数脉冲噪声（椒盐噪声）第19页，共45页，编辑于2022年，星期三2023/1/25193.退化参数的估计噪声模型n噪声对于图像的影响第20页，共45页，编辑于2022年，星期三2023/1/25203.退化参数的估计噪声参数的估计n所需参数n通过传感器特性进行估计分析传感器成像器件特性（温度、光谱响应、电子电路特性、。）使传感器针对均匀灰度图像成像n从图像本身进行估计在图像中截取具有恒定灰度值区

9、域进行计算直方图 第21页，共45页，编辑于2022年，星期三2023/1/25213.退化参数的估计噪声参数的估计利用小的条带法计算直方图（右）：均匀噪声（中）：瑞利噪声（左）：高斯噪声第22页，共45页，编辑于2022年，星期三2023/1/25223.退化参数的估计图像恢复的相关指标n 模糊信噪比(BSNR,the Blurred Signal-to-Noise Ratio)表示由模糊和叠加噪声引起的降质程度 第23页，共45页，编辑于2022年，星期三2023/1/25233.退化参数的估计图像恢复的相关指标n ISNR（the Improvement in SNR）ISNR只是评价图

10、像恢复算法好坏的一个客观指标，ISNR高并不一定主观视觉效果好。第24页，共45页，编辑于2022年，星期三2023/1/25244.图像滤波复原法n 逆滤波 对于图像退化模型 两边取傅立叶变换 H(u,v)又称为系统的转移函数(或滤波函数)，它使图像退化。在无噪声的情况下，上式可以简化为：v 这种1/H(u,v)的形式称为逆滤波。再进行傅立叶逆变换就可以得到f(x,y)。第25页，共45页，编辑于2022年，星期三2023/1/25254.图像滤波复原法实际情况中，噪声是不可避免的，因而只能求F(u,v)的估计值：n 如果H(u,v)有许多零点，必然使得复原的结果受到极大影响。n 或者如果H

11、(u,v)不为零但是有非常小的值，也即病态条件，也会使复原效果受到影响。解决这个问题的方法是避开H(u,v)的零点。n 幸好一般的H(u,v)在低频附近的有限区域内不为零。v 因此逆滤波可以在原点附近进行，相当于在频域乘上一低通窗口函数W(u,v)。第26页，共45页，编辑于2022年，星期三2023/1/25264.图像滤波复原法在理想无噪声的理想情况下，等效于在空域f(x,y)和w(x,y)的卷积。逆滤波会使原图像变模糊。只引入少量模糊，方法简单，因而受重视。逆滤波的应用条件：退化图像g(x,y)是信噪比较高的图像。第27页，共45页，编辑于2022年，星期三2023/1/25274.图像

12、滤波复原法维纳滤波器维纳滤波器 逆滤波复原方法对噪声极为敏感，要求信噪比较高，通常不满足该条件。因此希望找到一种方法，在有噪声条件下，从退化图像g(x,y)复原出f(x,y)的估计值，该估计值符合一定的准则。用向量f,g,n来表示f(x,y),g(x,y),n(x,y)，Q为对f的线性算子，在约束条件下求Qf的最小化而得到f的最佳估计。n 基本原理第28页，共45页，编辑于2022年，星期三2023/1/25284.图像滤波复原法用拉格朗日法求微分，可以用来调节以满足约束条件。第29页，共45页，编辑于2022年，星期三2023/1/25294.图像滤波复原法设Rf和Rn为f和n的相关矩阵：它

13、们是对称矩阵。对于大多数图像而言，相邻象素之间相关性很强，在20个象素之外，趋于零。在此条件下，Rf和Rn可以近似为分块循环矩阵：其中A和B为对角阵，W为酋阵。若QTQ用Rf1Rn来代替第30页，共45页，编辑于2022年，星期三2023/1/25304.图像滤波复原法当D为对角阵，分块循环矩阵因此：写成频域形式为：其中Sff(u,v),Snn(u,v)分别是f(x,y)和n(x,y)的谱密度。第31页，共45页，编辑于2022年，星期三2023/1/25314.图像滤波复原法卡尔曼滤波卡尔曼滤波 维纳滤波是对图像为平稳过程且已知相关函数情况下再假定为白噪声条件下的最有线性滤波。维纳滤波提供了

14、一种频域滤波，显然用频域方法时，计算机的存储量、计算量大而且不能向非平稳过程推广。为了克服维纳滤波的上述不足，卡尔曼等人在20世纪60年代初提出了一种递归滤波算法，即卡尔曼滤波。n 由于空间技术的需要推动了卡尔曼滤波的发展。它虽然也是根据随机过程统计的观点，但它可以在时域进行。n 卡尔曼滤波的另一个优点是它用递归滤波的方法，节约了存储量，减少了计算量。卡尔曼滤波也是求最小方差意义上的最优解，但它可以从某一点为起点去观测，用递归方法计算，有利于计算机实时求解。第32页，共45页，编辑于2022年，星期三2023/1/25324.图像滤波复原法卡尔曼离散状态方程和观测方程卡尔曼离散状态方程和观测方

15、程n 卡尔曼离散滤波的两个方程为状态方程和观测方程状态方程观测方程设Wk和观测噪声Vk为两两互不相关的零均值正态白噪声系列第33页，共45页，编辑于2022年，星期三2023/1/25334.图像滤波复原法n 根据Y1,Y2,Yk去估计xk称为卡尔曼滤波卡尔曼滤波，根据Y1,Y2,Yk去估计xk1称为卡卡尔曼预测或外推尔曼预测或外推。问题：无偏估计值：观测数据的估值：以下差称为新息，包含了从tk-1到tk时刻的随机干扰的影响：新息可以乘以一个增益系数矩阵Kk，来修正对xk的预测即为tk时刻的最佳线性估计。第34页，共45页，编辑于2022年，星期三2023/1/25344.图像滤波复原法在均方

16、误差最小的准则下，我们可以求出Kk的值。估计误差可求误差的协方差阵再看xk和它的无偏估计值的误差协方差阵第35页，共45页，编辑于2022年，星期三2023/1/25354.图像滤波复原法上述两协方差矩阵之间的关系为：上面各式中为求误差的协方差阵Pk最小，令解之，得第36页，共45页，编辑于2022年，星期三2023/1/25364.图像滤波复原法总结以上，共得四式：(a)原始图像 (b)15水平运动 (c)卡尔曼滤波恢复的结果 模糊算子作用后 的结果 （高斯白噪声BSNR=40dB）（ISNR=0.006）第37页，共45页，编辑于2022年，星期三2023/1/25375.图像代数复原法几

17、何畸变的复原几何畸变的复原 在不同条件下拍摄的图像，一个物体的图像常会发生几何畸变，出现歪斜变形的现象。n 从太空中宇航器拍摄的地球上的等距平行线，其图像会变为歪斜或不等距；n 用光学和电子扫描仪摄取的图像常会有桶形畸变和枕形畸变；n 用普通的光学摄影与测试雷达拍摄的同一地区的景物二者在几何形状上有较大的差异。以一副图像为基准，去校正另一种方式摄入的图像，以期校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。第38页，共45页，编辑于2022年，星期三2023/1/25385.图像代数复原法几何畸变的描述几何畸变的描述几何基准图像的坐标系统用(x,y)来表示需要校正的图像的坐标系统用(

18、x,y)表示设两个图像坐标系统之间的关系用解析式表示通常h1(x,y)和h2(x,y)用多项式来表示：第39页，共45页，编辑于2022年，星期三2023/1/25395.图像代数复原法n 通常用线性畸变来近似较小的几何畸变n 更精确一些可以用二次型来近似n 若基准图像为f(x,y)，畸变图像为g(x,y)，对于景物上的同一个点，假定其灰度不变，则第40页，共45页，编辑于2022年，星期三2023/1/25405.图像代数复原法n 已知h1(x,y)和h2(x,y)通常用线性畸变来近似较小的几何畸变 零级内插 双线性插值则：第41页，共45页，编辑于2022年，星期三2023/1/25415

19、.图像代数复原法n h1(x,y)和h2(x,y)未知通常用已知的多对对应点来确定系数a,b 线性畸变可由基准图找出三个点(r1,s1),(r2,s2),(r3,s3)与畸变图像上三个点(u1,v1),(u2,v2),(u3,v3)一一对应。将对应点代入，有：解联立方程组，得出6个系数。第42页，共45页，编辑于2022年，星期三2023/1/25425.图像代数复原法这时 二次型畸变有12个未知量，需要6对已知对应点代入上式记做向量矩阵形式同样有解方程组，得到ai,bi.12个系数。第43页，共45页，编辑于2022年，星期三2023/1/25435.图像代数复原法n 通常实际应用中，会取多余的对应点对，这时A不是方阵而是高矩阵，这时矩阵的逆用广义逆矩阵来求解。高矩阵的广义逆矩阵为在广告制作和计算机动画中常常要使物体变形。n 内插方法除了零级内插和双线性内插外，还有B样条插值和sinc插值函数内插n 几何畸变复原的一套方法也可以用于使图像畸变的工作中。第44页，共45页，编辑于2022年，星期三2023/1/25445.图像代数复原法n 思考问题已知：对下图进行几何畸变校正(分别用零级内插和双线性内插)第45页，共45页，编辑于2022年，星期三2023/1/2545