图像复原第二次课(2)精.ppt

图像复原第二次课图像复原第二次课第1页，本讲稿共44页n我们将集中讨论在我们将集中讨论在均方误差最小均方误差最小意义下，原图像意义下，原图像f f的最佳估计，因为它是各种可能准则中最简单易的最佳估计，因为它是各种可能准则中最简单易行的（其他准则例如：图像行的（其他准则例如：图像g g和原图像和原图像f f的最大绝的最大绝对误差对误差max|f-g|max|f-g|最小；平均绝对误差最小；平均绝对误差 最小；最小；f f和和g g互相关为最大等等）。互相关为最大等等）。第2页，本讲稿共44页n由由退退化化模模型型g=Hf+ng=Hf+n，其其中中f,gf,g为为堆堆叠叠向向量量。如如果果关关于于n n我我们们一一无无所所知知，那那么么我我们们寻寻找找f f的的一一个个估估计计值值 ，使使 在在最最小小二二乘乘意意义义上上近近似似于于g g。在在无无约约束束条条件件下下，就就是是n n无条件的小。这一问题等效地看为求准则函数：无条件的小。这一问题等效地看为求准则函数：为最小为最小第3页，本讲稿共44页（注注：若若a(x),b(x)a(x),b(x)为为m m维维列列向向量量，X X为为n n维维列列向向量量，那么：那么：注注：）那么：那么：若若H H已知，则可根据上式求出已知，则可根据上式求出 。第4页，本讲稿共44页n可可以以证证明明，对对 两两边边分分别别取取傅傅立立叶叶变变换换，可可以以得出：得出：这这就就是是逆逆滤滤波波法法。所所以以逆逆滤滤波波法法是是无无约约束束最最小小二二乘乘法法的的频域解。频域解。对对 取傅立叶反变换取傅立叶反变换，就可求出恢复后的图像。，就可求出恢复后的图像。第5页，本讲稿共44页n（根据图像退化模型：（根据图像退化模型：两边取傅立叶变换两边取傅立叶变换,有有由此可得：由此可得：在噪声未知和不可分离的情况下，可近似取在噪声未知和不可分离的情况下，可近似取 )第6页，本讲稿共44页n对对 ，若若H(u,v)H(u,v)在在uvuv平平面面上上取取零零或或很很小小，就就会会带带来计算上的困难。来计算上的困难。n另一方面，噪声还会带来更严重的问题。另一方面，噪声还会带来更严重的问题。第7页，本讲稿共44页n若若H(u,v)H(u,v)在在uvuv平平面面上上取取零零或或很很小小，N(u,v)/H(u,v)N(u,v)/H(u,v)就就会会使使恢恢复复结结果果与与原原图图像像有有较较大大的的差差距距。实实际际中中，H(u,v)H(u,v)随随u u，v v与与原原点点距距离离的的增增加加而而迅迅速速减减小小，而而噪噪声声N(u,v)N(u,v)却却一一般般变变化化缓缓慢慢。在在这这种种情情况况下下，恢恢复复只只能能在在与与原原点点较较近近（接接近近频频域域中中心心）的的范范围围内内进进行。行。即即H(u,v)H(u,v)具有低通滤波的性质：具有低通滤波的性质：第8页，本讲稿共44页n换换句句话话说说，一一般般情情况况下下，逆逆滤滤波波器器并并不不正正好好是是1/H(u,v)1/H(u,v)，而而是是u u和和v v的的某某个个函函数数，可可记记为为M(u,v)M(u,v)。M(u,v)M(u,v)常称为常称为恢复转移函数恢复转移函数。第9页，本讲稿共44页 l l第一种常见的方法是取第一种常见的方法是取M(u,v)M(u,v)为如下函数：为如下函数：的的选选取取方方法法是是将将H(u,v)H(u,v)为为零零的的点点除除去去。这这种种方方法法的的缺点是恢复结果的振铃效应较为明显。缺点是恢复结果的振铃效应较为明显。第10页，本讲稿共44页 l l第第二二种种一一种种改改进进的的方方法法是是取取M(u,v)M(u,v)为为如如下下函函数：数：其中其中k k和和d d均为小于均为小于1 1的常数，而且的常数，而且d d选的较小为好。选的较小为好。第11页，本讲稿共44页5.3 5.3 图像的无约束恢复图像的无约束恢复-反向滤波法反向滤波法（a）（d）（c）（b）图图图图5.3.1 5.3.1 5.3.1 5.3.1 不同滤波半径下反向滤波的结果比较不同滤波半径下反向滤波的结果比较不同滤波半径下反向滤波的结果比较不同滤波半径下反向滤波的结果比较（a a）直接由反向滤波恢复的图像；）直接由反向滤波恢复的图像；（b b）、（）、（c c）、（）、（d d）分别为半径）分别为半径3030、5050、7070的二阶的二阶ButterworthButterworth滤波器（代替理想低通滤波器）作用后的结果。滤波器（代替理想低通滤波器）作用后的结果。可以看到，逆滤波的结果还是不能令人满意。可以看到，逆滤波的结果还是不能令人满意。第12页，本讲稿共44页3.3.有约束恢复方法有约束恢复方法 恢复问题的病态性与奇异性恢复问题的病态性与奇异性 由由退退化化模模型型 可可知知，影影响响图图像像恢恢复复的的因因素素包包括括噪噪声声干干扰扰n n，成成像像系系统统的的传传递递函函数数H,H,后后者者包包含含了了图图像像传传感感器器中中光光学学和和电电子子学学的的影影响响。先先抛抛开开噪噪声声，要要恢恢复复原原图图像像f f，需需要要对对矩矩阵阵H H求逆，即：求逆，即：数数学学上上要要求求这这个个逆逆阵阵存存在在并并且且唯唯一一。如如果果H H1 1不不存存在在，但但还还存存在在和和f f十分近似的解，这称为恢复问题的十分近似的解，这称为恢复问题的奇异性奇异性。第13页，本讲稿共44页 事事实实上上，由由于于在在模模糊糊图图像像上上存存在在非非常常小小的的扰扰动动时时，在在恢恢复复结结果的图像中，都会产生不可忽视的强扰动。用公式表示为：果的图像中，都会产生不可忽视的强扰动。用公式表示为：为为任任意意小小的的扰扰动动，。无无论论是是成成像像系系统统还还是是数数字字化化器器，对对采采集集到到的的图图像像产产生生一一些些扰扰动动，几几乎乎是是不不可可避避免免的的。这这就就是是恢恢复复问问题题的的病病态态性性。至至于于噪噪声声，由由于于其其随随机机性性，造造成成模模糊糊图图像像g g有无限的可能情况，也导致了恢复问题的病态性。有无限的可能情况，也导致了恢复问题的病态性。第14页，本讲稿共44页 为为克克服服恢恢复复问问题题的的病病态态性性质质，常常常常需需要要在在恢恢复复过过程程中中对对运运算算施施加加某某种种约约束束，从从而而在在一一族族可可能能结结果果中选择一种，这就是中选择一种，这就是有约束的恢复有约束的恢复。有约束的最小二乘方复原有约束的最小二乘方复原能量约束恢复能量约束恢复平滑约束恢复平滑约束恢复均方误差最小滤波（维纳滤波）均方误差最小滤波（维纳滤波）第15页，本讲稿共44页约束复原方法约束复原方法第16页，本讲稿共44页n处理过程处理过程拉各朗日系数=1/第17页，本讲稿共44页维纳滤波复原法维纳滤波复原法n功率谱特征：图像的功率谱具有低通性，噪声的功率谱为常数功率谱特征：图像的功率谱具有低通性，噪声的功率谱为常数或变化平缓。或变化平缓。n图像信号近似看作平稳随机过程。图像信号近似看作平稳随机过程。n图像恢复准则：图像恢复准则：f(x,y)和和的之间的均方误差的之间的均方误差e2达到最小，即达到最小，即nn寻找点扩散函数寻找点扩散函数hw(x,y)，使得，使得第18页，本讲稿共44页最小二乘方滤波最小二乘方滤波n由由Andrews和和Hunt推导满足这一要求的推导满足这一要求的传递函数为：传递函数为：n nS Sf f(u,v):(u,v):为为为为 fx,yfx,y的功率普，的功率普，的功率普，的功率普，S Sh h h h(u,v)(u,v)为为为为 nx,y nx,y的功率普的功率普的功率普的功率普第19页，本讲稿共44页讨论一下上式的几种情况讨论一下上式的几种情况（1）如果）如果s=1，方括号中的项就是维纳滤波器方括号中的项就是维纳滤波器（2）如果）如果s是变量，就称为参数维纳滤波器是变量，就称为参数维纳滤波器（3）当没有噪声时，）当没有噪声时，Sn(u,v)=0，维纳滤波器就退化为维纳滤波器就退化为理想的逆滤波器理想的逆滤波器（4）当）当Sn(u,v)和和Sf(u,v)未知时，用常数未知时，用常数K可代替可代替因此必须调节因此必须调节s以满足以满足f=(Hf=(HT TH+sQH+sQT TQ)Q)11HHT Tg g第20页，本讲稿共44页逆滤波和维纳滤波恢复比较逆滤波和维纳滤波恢复比较110100SNR退化图像退化图像 傅立叶功率普傅立叶功率普 逆滤波恢复逆滤波恢复 维纳滤波恢复维纳滤波恢复 光谱图光谱图 第21页，本讲稿共44页原始图像逆滤波恢复模糊和增加噪声约束的最小二乘滤波第22页，本讲稿共44页n n结果分析结果分析结果分析结果分析（1 1 1 1）=1=1=1=1时，时，时，时，该滤波器称为标准维纳滤波器，该滤波器称为标准维纳滤波器，该滤波器称为标准维纳滤波器，该滤波器称为标准维纳滤波器，但不能说可以利用上式在约束条件下得到但不能说可以利用上式在约束条件下得到但不能说可以利用上式在约束条件下得到但不能说可以利用上式在约束条件下得到最佳估计；最佳估计；最佳估计；最佳估计；=变量时，称为变参数维纳滤波器。变量时，称为变参数维纳滤波器。变量时，称为变参数维纳滤波器。变量时，称为变参数维纳滤波器。（2 2 2 2）无噪声时，即）无噪声时，即）无噪声时，即）无噪声时，即 ，即变为逆滤波器，即，即变为逆滤波器，即，即变为逆滤波器，即，即变为逆滤波器，即 因此，反向滤波器可看作是维纳滤波器的一种特殊情况。因此，反向滤波器可看作是维纳滤波器的一种特殊情况。因此，反向滤波器可看作是维纳滤波器的一种特殊情况。因此，反向滤波器可看作是维纳滤波器的一种特殊情况。（3 3 3 3）在有噪声存在的情况下，相比于反向滤波器来说，维纳滤波器中由于存在）在有噪声存在的情况下，相比于反向滤波器来说，维纳滤波器中由于存在）在有噪声存在的情况下，相比于反向滤波器来说，维纳滤波器中由于存在）在有噪声存在的情况下，相比于反向滤波器来说，维纳滤波器中由于存在 项，会对噪声的放大具有自动抑制作用，同时也不会在项，会对噪声的放大具有自动抑制作用，同时也不会在项，会对噪声的放大具有自动抑制作用，同时也不会在项，会对噪声的放大具有自动抑制作用，同时也不会在H(u,v)H(u,v)H(u,v)H(u,v)为为为为0 0 0 0时出现被时出现被时出现被时出现被0 0 0 0除的情形。除的情形。除的情形。除的情形。5.4 5.4 图像的有约束最小二乘恢复图像的有约束最小二乘恢复第23页，本讲稿共44页（4)4)4)4)在实际应用中，在实际应用中，在实际应用中，在实际应用中，和和和和 经常是未知的，但可用一常数经常是未知的，但可用一常数经常是未知的，但可用一常数经常是未知的，但可用一常数k k k k来表示噪声和来表示噪声和来表示噪声和来表示噪声和信号的功率谱密度比，则：信号的功率谱密度比，则：信号的功率谱密度比，则：信号的功率谱密度比，则：5.4 5.4 图像的有约束最小二乘恢复图像的有约束最小二乘恢复 该式可以使退化图像得到一定程度的恢复，但不一定是最该式可以使退化图像得到一定程度的恢复，但不一定是最佳恢复。实际应用中，佳恢复。实际应用中，k k可通过已知的信噪比来获得。可通过已知的信噪比来获得。第24页，本讲稿共44页维纳滤波复原法维纳滤波复原法采用维纳滤波器的复原过程步骤如下：采用维纳滤波器的复原过程步骤如下：(1)计计算算图图像像g（x,y）的的二二维维离离散散傅傅立立叶叶变变换换得到得到G(u,v)。(2)计计算算点点扩扩散散函函数数hw(x,y)的的二二维维离离散散傅傅立立叶叶变变换换。同同逆逆滤滤波波一一样样，为为了了避避免免混混叠叠效效应应引引起起的误差，应将尺寸延拓。的误差，应将尺寸延拓。(3)估估算算图图像像的的功功率率谱谱密密度度Pf和和噪噪声声的的谱谱密密度度Pn。(4)计算图像的估计值计算图像的估计值。(5)计算计算 的逆付氏变换，得到恢复后的逆付氏变换，得到恢复后的图像的图像 。第25页，本讲稿共44页5.4 5.4 图像的有约束最小二乘恢复图像的有约束最小二乘恢复 (a)(b)(c)(d)(e)(f)(g)(h)(i)（a a）被高斯噪声污染的图像；）被高斯噪声污染的图像；（b b）逆滤波恢复图像；（）逆滤波恢复图像；（c c）维纳滤波恢复的图像；维纳滤波恢复的图像；（d d）（f f）为相应的由噪声方差）为相应的由噪声方差比（比（a a）小）小1 1个数量级的降质图像个数量级的降质图像得到的结果；得到的结果；（g g）（i i）为相应的噪声方差小）为相应的噪声方差小5 5个数量级的图像得到的结果。个数量级的图像得到的结果。图图5.4.1 5.4.1 维纳滤波法和反向滤波法维纳滤波法和反向滤波法恢复图像的效果比较恢复图像的效果比较第26页，本讲稿共44页 由于反向滤波器的病态性质，会导致在由于反向滤波器的病态性质，会导致在由于反向滤波器的病态性质，会导致在由于反向滤波器的病态性质，会导致在H(u,v)H(u,v)H(u,v)H(u,v)的零值附近恢复滤波器的零值附近恢复滤波器的零值附近恢复滤波器的零值附近恢复滤波器 的数值变化剧烈，使恢复后的图像产生多余的噪声和虚假边缘。而这些噪的数值变化剧烈，使恢复后的图像产生多余的噪声和虚假边缘。而这些噪的数值变化剧烈，使恢复后的图像产生多余的噪声和虚假边缘。而这些噪的数值变化剧烈，使恢复后的图像产生多余的噪声和虚假边缘。而这些噪声的强弱和虚假边缘的多少可用图像的二阶导数来表示。通过选择合理的声的强弱和虚假边缘的多少可用图像的二阶导数来表示。通过选择合理的声的强弱和虚假边缘的多少可用图像的二阶导数来表示。通过选择合理的声的强弱和虚假边缘的多少可用图像的二阶导数来表示。通过选择合理的Q Q Q Q，并对，并对，并对，并对 进行优化，可将这些噪声和虚假边缘降至最小，也就是让该二阶导数降为最小，即进行优化，可将这些噪声和虚假边缘降至最小，也就是让该二阶导数降为最小，即进行优化，可将这些噪声和虚假边缘降至最小，也就是让该二阶导数降为最小，即进行优化，可将这些噪声和虚假边缘降至最小，也就是让该二阶导数降为最小，即使使使使称为称为LaplacianLaplacian算子。算子。在离散情况下，在离散情况下，可用下面的差分运可用下面的差分运算来实现算来实现 约束最小平方滤波法约束最小平方滤波法第27页，本讲稿共44页5.4 5.4 图像的有约束最小二乘恢复图像的有约束最小二乘恢复上述运算可用上述运算可用f(m,n)f(m,n)与下面的模板（掩模矩阵）进行卷积来求解。与下面的模板（掩模矩阵）进行卷积来求解。在离散卷积的过程中，为避免交叠误差，可将在离散卷积的过程中，为避免交叠误差，可将p(m,n)延拓为延拓为pe(m,n)再卷积。再卷积。若若f(m,n)f(m,n)的大小为的大小为 ,则延拓后的则延拓后的M M、N N应应为为:第28页，本讲稿共44页5.4 5.4 图像的有约束最小二乘恢复图像的有约束最小二乘恢复可以写成分块循环矩阵：可以写成分块循环矩阵：C C中的任一元素中的任一元素C Cj j是由是由p pe e(m,n)(m,n)的第的第j j行组成的行组成的 循环矩阵，即循环矩阵，即第29页，本讲稿共44页5.4 5.4 图像的有约束最小二乘恢复图像的有约束最小二乘恢复令令Q=C,Q=C,则有约束恢复的结果就变为则有约束恢复的结果就变为则有约束恢复的结果就变为则有约束恢复的结果就变为:同样可用同样可用W W矩阵使矩阵使C C对角化，即对角化，即:式中式中P(u,v)P(u,v)是是p pe e(m,n)(m,n)的傅立叶变换。则恢复结果变为：的傅立叶变换。则恢复结果变为：（5.4.235.4.235.4.235.4.23）（5.4.265.4.265.4.265.4.26）第30页，本讲稿共44页5.4 5.4 图像的有约束最小二乘恢复图像的有约束最小二乘恢复上式中的各元素可写成如下形式（设上式中的各元素可写成如下形式（设M=N）：）：该滤波器就称为约束最小平方滤波器该滤波器就称为约束最小平方滤波器 。（5.4.265.4.265.4.265.4.26）第31页，本讲稿共44页 约束最小平方滤波法与约束最小平方滤波法与约束最小平方滤波法与约束最小平方滤波法与维纳滤波法比较维纳滤波法比较它与维纳滤波法相同的是，两者都属于约束恢复，频域的恢它与维纳滤波法相同的是，两者都属于约束恢复，频域的恢复公式类似，但也有本质区别。用约束最小平方滤波器恢复图像复公式类似，但也有本质区别。用约束最小平方滤波器恢复图像时，不需要知道图像和噪声的自相关矩阵时，不需要知道图像和噪声的自相关矩阵Rf和和Rn。约束最小平方滤波法的恢复效果如下图约束最小平方滤波法的恢复效果如下图5.4.25.4.2所示，将其所示，将其与维纳滤波恢复法的结果相比较，可以看出，带有平滑约束的与维纳滤波恢复法的结果相比较，可以看出，带有平滑约束的恢复法能得到更加符合人眼视觉效果的平滑图像，并且在噪声恢复法能得到更加符合人眼视觉效果的平滑图像，并且在噪声较大的情况下比维纳滤波法的效果明显要好。较大的情况下比维纳滤波法的效果明显要好。第32页，本讲稿共44页5.4 5.4 图像的有约束最小二乘恢复图像的有约束最小二乘恢复（a）、（）、（b）和（）和（c）是分别由图）是分别由图5.4.1中（中（a）、（）、（d）和（）和（g）得到的约束最小平方滤波结果，与维纳滤波法恢复结）得到的约束最小平方滤波结果，与维纳滤波法恢复结果（果（d,e,f）比较。）比较。（a a a a）（d d d d）（f f f f）（c c c c）（e e e e）（b b b b）第33页，本讲稿共44页5.5 5.5 几何畸变图形的恢复几何畸变图形的恢复（c）（b）（a）n几何失真举例几何失真举例（d）图图图图5.5.1 5.5.1 5.5.1 5.5.1 几何失真举例几何失真举例几何失真举例几何失真举例（a a）原图像；（）原图像；（b b）比例变换（缩小）；（）比例变换（缩小）；（c c）旋转；（）旋转；（d d）扭曲。）扭曲。第34页，本讲稿共44页5.5图像的几何校正图像的几何校正n例：从太空中宇航器拍摄的地球上的等距平行线，图像会变为歪斜或不等距；用光学和电子扫描仪摄取的图像常会有桶形畸变和枕形畸变；用普通的光学摄影与测试雷达拍摄的同一地区的景物二者在几何形状上有较大的差异。n以一副图像为基准，去校正另一种方式摄入的图像，以校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。第35页，本讲稿共44页n几何校正就是一种几何变换，是图像的几何畸变的反运算，与几何变换类似，几何校正是由输出图像像素坐标反算输入图像坐标，然后通过灰度再采样求出输出像素灰度值。n图像几何校正的两个步骤 (1)空间变换：对图像平面上的像素进行重新排列以 恢复原空间关系 (2)灰度插值：对空间变换后的像素赋予相应的灰度 值以恢复原位置的灰度值5.5图像的几何校正图像的几何校正第36页，本讲稿共44页几何畸变的描述几何畸变的描述几何基准图像的坐标系统用(x,y)来表示需要校正的图像的坐标系统用(x,y)表示设两个图像坐标系统之间的关系用解析式表示通常h1(x,y)和h2(x,y)用多项式来表示：第37页，本讲稿共44页n通常用线性畸变来近似较小的几何畸变n更精确一些可以用二次型来近似n若基准图像为f(x,y)，畸变图像为g(x,y)，对于景物上的同一个点，假定其灰度不变，则5.5.2几何校正几何校正第38页，本讲稿共44页5.5.2几何校正几何校正n几何变换 通常用已知的多对对应点来确定系数a,b线性畸变 可由基准图找出三个点(x1,y1),(x2,y2),(x3,y3)与畸变图像上三 个点(x1,y1),(x2,y2),(x3,y3)一一对应。第39页，本讲稿共44页5.5.2几何校正几何校正将对应点代入，有：解联立方程组，得出6个系数。第40页，本讲稿共44页二次畸变有12个未知量，需要6对已知对应点5.5.2 几何校正第41页，本讲稿共44页5.5.2几何校正几何校正代入上式记作矩阵形式同样有解方程组，得到ai，bi 12个系数。第42页，本讲稿共44页f(x,y)g(x,y)5.5.2 几何校正n内插法确定像素的灰度值 几何变换是由输出图像像素坐标反算出输入图像坐标，但该坐标并非整数，需要进行灰度再采样。例：第43页，本讲稿共44页最近邻插值 双线性插值Nearest Neighbor Bilinearn再采样是通过灰度插值来完成的5.5.2 几何校正第44页，本讲稿共44页