第十章 图像恢复优秀课件.ppt

第十章 图像恢复第1页，本讲稿共57页 在景物成像的过程中，受多种因素的影响，图像的在景物成像的过程中，受多种因素的影响，图像的质量都会有所下降。这种图像质量下降的过程称为图像质量都会有所下降。这种图像质量下降的过程称为图像的退化。的退化。图像恢复的过程从某种意义上来说也是为了改善图图像恢复的过程从某种意义上来说也是为了改善图像的质量，但这与图像增强是有明显的区别的。像的质量，但这与图像增强是有明显的区别的。图像复原是利用退化现象的某种先验知识，建立图像复原是利用退化现象的某种先验知识，建立退化现象的数学模型，再根据模型进行反向的推演运退化现象的数学模型，再根据模型进行反向的推演运算，以恢复原来的景物图像。算，以恢复原来的景物图像。第2页，本讲稿共57页 图像复原处理的关键问题就是在于建立退化模图像复原处理的关键问题就是在于建立退化模型，图像复原可以看成是有一个估计过程，如果已型，图像复原可以看成是有一个估计过程，如果已经给出了退化图像经给出了退化图像 ，并估计出系统参数，并估计出系统参数H H，且，且假设已知假设已知 的统计特性，就可近似恢复的统计特性，就可近似恢复 。图101 图像退化模型第3页，本讲稿共57页 一、系统一、系统一、系统一、系统 系统的分类方法很多，例如，系统可分为时变系统系统的分类方法很多，例如，系统可分为时变系统和非时变系统，连续系统和离散系统，线性系统和非线和非时变系统，连续系统和离散系统，线性系统和非线性系统，集中参数系统和分布参数系统等。性系统，集中参数系统和分布参数系统等。如果考虑的系统为线性系统，对于图如果考虑的系统为线性系统，对于图10-110-1所示的系所示的系统来说，可表示成如下式：统来说，可表示成如下式：（101）第4页，本讲稿共57页 如果一个系统的参数不随时间变化，即称为时不变系如果一个系统的参数不随时间变化，即称为时不变系统或非时变系统。否则，就称其为时变系统。与此概念相统或非时变系统。否则，就称其为时变系统。与此概念相对应，对于二维函数来说，如果：对应，对于二维函数来说，如果：则则H H是空间不变系统。是空间不变系统。（103）第5页，本讲稿共57页 二、图像退化数学模型二、图像退化数学模型二、图像退化数学模型二、图像退化数学模型 一幅连续图像一幅连续图像 可以看作是由一系列点组成的。可以看作是由一系列点组成的。因此，因此，可以通过下式来表示：可以通过下式来表示：在不考虑噪声的一般情况下，连续图像经过退化系统在不考虑噪声的一般情况下，连续图像经过退化系统后的输出为：后的输出为：(104)（105）第6页，本讲稿共57页 对于线性空间不变系统，输入图像经退化后的对于线性空间不变系统，输入图像经退化后的输出为：输出为：第7页，本讲稿共57页 图像退化除了受到成像系统本身的影响外，有时还会图像退化除了受到成像系统本身的影响外，有时还会受到噪声的影响。假设噪声受到噪声的影响。假设噪声 是加性白噪声，这时上是加性白噪声，这时上式可写为：式可写为：在频域上，式（在频域上，式（10109 9）可以写成：）可以写成：(109)(1010)第8页，本讲稿共57页 三、离散退化模型三、离散退化模型三、离散退化模型三、离散退化模型（一）（一）一维离散一维离散 为使讨论问题简化，暂不考虑噪声的存在，这为使讨论问题简化，暂不考虑噪声的存在，这时退化模型可用下式离散卷积来表示时退化模型可用下式离散卷积来表示:(1011)第9页，本讲稿共57页 离散卷积可以用周期卷积来表示。为了避免卷离散卷积可以用周期卷积来表示。为了避免卷积所产生的各个周期重叠，首先将和分别作周期延积所产生的各个周期重叠，首先将和分别作周期延拓，周期都延拓为拓，周期都延拓为,即在一个周期内即在一个周期内卷积可定义为卷积可定义为:(1013)第10页，本讲稿共57页 用矩阵表示，则为用矩阵表示，则为还可写成更简单的形式还可写成更简单的形式:(1015)(1017)第11页，本讲稿共57页（二）（二）二维离散二维离散 设一离散二维信号设一离散二维信号 ，它在，它在 大小的范大小的范围内有值，其他的位置上为零围内有值，其他的位置上为零,且设且设:这时二维卷积可写成这时二维卷积可写成:(1018)第12页，本讲稿共57页 和一维的情况一样，也可以用二维周期卷积来代表二和一维的情况一样，也可以用二维周期卷积来代表二维的线性卷积。这时同样要对维的线性卷积。这时同样要对 和和 作周期延拓，延拓后的大小为作周期延拓，延拓后的大小为 ,同样有同样有:则则 和和 的周期卷积为的周期卷积为:第13页，本讲稿共57页第二节第二节 无约束恢复无约束恢复一、反向滤波法一、反向滤波法一、反向滤波法一、反向滤波法（一）基本原理（一）基本原理（一）基本原理（一）基本原理 反向滤波法又叫逆滤波复原法。前面我们已经反向滤波法又叫逆滤波复原法。前面我们已经介绍过退化模型表示为介绍过退化模型表示为:由傅立叶变换卷积定理可知下式成立：由傅立叶变换卷积定理可知下式成立：第14页，本讲稿共57页 进一步有进一步有:这就是说，如果已知退化图像的傅立叶变换和系统这就是说，如果已知退化图像的傅立叶变换和系统冲激响应函数（冲激响应函数（“滤波滤波”函数），就可以求得原图像函数），就可以求得原图像的傅立叶变换，经傅立叶反变换就可以求得原始图的傅立叶变换，经傅立叶反变换就可以求得原始图像，这里像，这里 除以除以 起到了反向滤波的作用。起到了反向滤波的作用。第15页，本讲稿共57页 一一.离散退化模型下的反向滤波法离散退化模型下的反向滤波法 对于上节中离散的退化模型矩阵表示形式：对于上节中离散的退化模型矩阵表示形式：，当对，当对n n的统计特性并不了解时，我们希望能找到的统计特性并不了解时，我们希望能找到一个一个 ，使，使 能在最小二乘意义上来说近似于能在最小二乘意义上来说近似于g g，即希望找到一个即希望找到一个 ，使，使:为最小。为最小。第16页，本讲稿共57页 这实际上是求这实际上是求 的最小值问题。由于除了要求的最小值问题。由于除了要求 为最小外，不受任何其他条件约束，所以又称为非约束复为最小外，不受任何其他条件约束，所以又称为非约束复原。原。第17页，本讲稿共57页 二、水平匀速直线运动引起模糊的复原二、水平匀速直线运动引起模糊的复原二、水平匀速直线运动引起模糊的复原二、水平匀速直线运动引起模糊的复原 如果模糊图像是由景物在如果模糊图像是由景物在x x方向上做均匀直线运方向上做均匀直线运动造成的，则模糊后图像任意点的值为动造成的，则模糊后图像任意点的值为:设图像总的位移量为设图像总的位移量为a a，总的运动时间为，总的运动时间为T T，则运动性质，则运动性质为为 ，于是有，于是有:第18页，本讲稿共57页 当当 （n n为整数）时，为整数）时，在这些点上无法，在这些点上无法用逆滤波法恢复原图像，因而需采用其他方法。用逆滤波法恢复原图像，因而需采用其他方法。第19页，本讲稿共57页 由于只考虑由于只考虑x x方向，方向，y y是时不变的，故可暂时忽略是时不变的，故可暂时忽略y y，所以：，所以：图像的宽度为图像的宽度为L L，则：，则：第20页，本讲稿共57页 对上式两边求导，有：对上式两边求导，有：此式反映了此式反映了 和和 的递推关系。的递推关系。第21页，本讲稿共57页 恢复图像恢复图像 为：为：可以表示成：可以表示成：再引入去掉了的变量，则：再引入去掉了的变量，则：第22页，本讲稿共57页第三节第三节第三节第三节 有约束恢复有约束恢复有约束恢复有约束恢复一、基本原理一、基本原理一、基本原理一、基本原理 若知道原图像的某种线性变换若知道原图像的某种线性变换 具有某种性质具有某种性质或满足某个关系或满足某个关系 ，则这种情况下，估计准则，则这种情况下，估计准则是在约束下是在约束下 使使 最小。同时这个最小。同时这个问题也等价于在约束问题也等价于在约束 下使下使 最小。最小。第23页，本讲稿共57页 二、维纳滤波恢复二、维纳滤波恢复二、维纳滤波恢复二、维纳滤波恢复 维纳滤波恢复是在假定图像信号可以近似看作平稳维纳滤波恢复是在假定图像信号可以近似看作平稳随机信号的前提下，按照随机信号的前提下，按照 和和 之间的均方误之间的均方误差差 达到最小的准则来实现图像恢复的，即：达到最小的准则来实现图像恢复的，即：第24页，本讲稿共57页 对图像进行维纳滤波主要是为了消除图像中存在的噪对图像进行维纳滤波主要是为了消除图像中存在的噪声。可以利用声。可以利用MatlabMatlab的的wiener2wiener2函数对一幅图像进行自函数对一幅图像进行自适应维纳滤波。适应维纳滤波。wiener2wiener2函数的调用格式如下：函数的调用格式如下：J=wiener2(I,M,N,NOISE)J=wiener2(I,M,N,NOISE)其中，其中，I I表示输入图像，表示输入图像，M,NM,N表示卷积使用的邻域表示卷积使用的邻域的大小，缺省值为的大小，缺省值为3,3,NOISE3,3,NOISE是噪声强度，如果不是噪声强度，如果不指定此参数，那么指定此参数，那么wiener2wiener2函数将返回一个估计的噪函数将返回一个估计的噪声强度，默认的是加性噪声（高斯白噪声）。声强度，默认的是加性噪声（高斯白噪声）。第25页，本讲稿共57页 三、最大平滑恢复三、最大平滑恢复三、最大平滑恢复三、最大平滑恢复 反向滤波法中，由于反向滤波法中，由于 的病态性质，导致在其零点的病态性质，导致在其零点附近数值变化起伏过大，使图像产生了多余的噪声和边沿，附近数值变化起伏过大，使图像产生了多余的噪声和边沿，造成恢复图像严重失真。我们可通过合理地选择造成恢复图像严重失真。我们可通过合理地选择Q Q，并，并 对进行优化，从而将图像的不平滑性降至最低。对对进行优化，从而将图像的不平滑性降至最低。对于一类灰度变化是平滑少跳变的图像，可把最大平于一类灰度变化是平滑少跳变的图像，可把最大平滑作为选择滑作为选择Q Q的准则的准则。第26页，本讲稿共57页 图像相邻各像素之间的灰度平滑性可通过二阶导数来图像相邻各像素之间的灰度平滑性可通过二阶导数来表征，二阶导数越小，表示灰度跳变幅度及斜率越小，图表征，二阶导数越小，表示灰度跳变幅度及斜率越小，图像的平滑性就越大。这种二阶导数可用拉普拉斯算子像的平滑性就越大。这种二阶导数可用拉普拉斯算子 来表示。它有突出边缘的作用，反映了图像灰度变化的剧来表示。它有突出边缘的作用，反映了图像灰度变化的剧烈程度。烈程度。可反映整幅图像的总体平滑性，因而可将可反映整幅图像的总体平滑性，因而可将其作为图像恢复时的约束条件。其作为图像恢复时的约束条件。第27页，本讲稿共57页第四节第四节 交互式恢复交互式恢复 以上讨论的都是自动解析的恢复方法。在具体恢复工以上讨论的都是自动解析的恢复方法。在具体恢复工作中常需要人机结合，由人来控制恢复过程以达到一些特作中常需要人机结合，由人来控制恢复过程以达到一些特殊的效果。下面给出一个简单交互恢复的例子。殊的效果。下面给出一个简单交互恢复的例子。实际中有时图像会被一种二维的正弦干扰模式（也实际中有时图像会被一种二维的正弦干扰模式（也叫相关噪声）覆盖。令叫相关噪声）覆盖。令 代表幅度为代表幅度为A A，频率分量，频率分量为为 的正弦干扰模式，即的正弦干扰模式，即：第28页，本讲稿共57页 它的傅立叶变换是：它的傅立叶变换是：因为这里退化仅由噪声造成，所以有：因为这里退化仅由噪声造成，所以有：第29页，本讲稿共57页 这里先介绍一下带阻滤波器，带阻滤波器是阻止一定这里先介绍一下带阻滤波器，带阻滤波器是阻止一定频率范围内的信号通过而允许其他频率范围内的信号通过。频率范围内的信号通过而允许其他频率范围内的信号通过。一个用于消除以为一个用于消除以为 中心，中心，为半径的区域内所有频率为半径的区域内所有频率的理想带阻滤波器的转移函数为：的理想带阻滤波器的转移函数为：第30页，本讲稿共57页 考虑到傅立叶变换的对称性，为了消除不是以原点考虑到傅立叶变换的对称性，为了消除不是以原点为中心的给定区域内频率，带阻滤波器必须两两对称地工为中心的给定区域内频率，带阻滤波器必须两两对称地工作，即：作，即：第31页，本讲稿共57页 带阻滤波器也可设计成能除去以原点为中心的频带阻滤波器也可设计成能除去以原点为中心的频率。这样一个放射对称的理想带阻滤波器的转移函数率。这样一个放射对称的理想带阻滤波器的转移函数是：是：第32页，本讲稿共57页 为了避免去掉过多的图像信息，我们需要采用下面为了避免去掉过多的图像信息，我们需要采用下面的方法。首先要提取干扰模式的主要频率。这需要在频的方法。首先要提取干扰模式的主要频率。这需要在频率域里对应每个亮点的位置放率域里对应每个亮点的位置放1 1个带通滤波器个带通滤波器 。如。如果能建造果能建造1 1个仅允许通过与干扰模式相关分量的个仅允许通过与干扰模式相关分量的 ，那么这种结构模式的傅立叶变换就是：，那么这种结构模式的傅立叶变换就是：第33页，本讲稿共57页 为建造这样为建造这样1 1个个 需要进行许多判断以确定每个需要进行许多判断以确定每个亮点是或不是干扰亮点。所以这个工作常需要通过观察亮点是或不是干扰亮点。所以这个工作常需要通过观察 的频谱显示来交互地完成。当的频谱显示来交互地完成。当1 1个滤波器确定后，空域相个滤波器确定后，空域相对应的结构模式可由下式得到：对应的结构模式可由下式得到：第34页，本讲稿共57页 如果我们能完全确定如果我们能完全确定 ，那么从，那么从 中减去中减去 就可得到就可得到 。实际中我们只能得到这个模式的某种近。实际中我们只能得到这个模式的某种近似。为了减少似。为了减少 的估计中没有顾及的分量的影响，我们的估计中没有顾及的分量的影响，我们可以从可以从 中减去加权的中减去加权的 以得到以得到 的近似：的近似：上式中上式中 称为权函数称为权函数,通过改变它可以获得在某通过改变它可以获得在某种意义下最优的结果。种意义下最优的结果。第35页，本讲稿共57页第五节第五节 几何失真恢复几何失真恢复 数字图像在获取过程中，由于系统本身具有非数字图像在获取过程中，由于系统本身具有非线性或拍摄角度的不同，会使生成的图像产生几何线性或拍摄角度的不同，会使生成的图像产生几何失真。失真。几何失真一般分为几何失真一般分为:1.:1.非系统失真非系统失真 2.2.系统失真系统失真第36页，本讲稿共57页 将存在几何失真的图像校正成无几何失真的图像的将存在几何失真的图像校正成无几何失真的图像的基本方法是先建立几何校正的数学模型；其次是利用已基本方法是先建立几何校正的数学模型；其次是利用已知条件确定模型参数；最后根据模型对图像进行几何校知条件确定模型参数；最后根据模型对图像进行几何校正。一般分为两步：正。一般分为两步：1.1.图像空间的坐标变换；图像空间的坐标变换；2.2.确定校正空间各像素的灰度值。确定校正空间各像素的灰度值。第37页，本讲稿共57页 一、一、一、一、图像空间坐标变换图像空间坐标变换图像空间坐标变换图像空间坐标变换 实际工作中常以一幅图像为标准，去校正几何失真实际工作中常以一幅图像为标准，去校正几何失真图像。通常基准图像是利用没畸变或畸变较小的摄影系图像。通常基准图像是利用没畸变或畸变较小的摄影系统获得，而把较大的几何畸变系统所摄入图像用表示，统获得，而把较大的几何畸变系统所摄入图像用表示，下图是一种畸变情形下图是一种畸变情形。（a）原图 (b)畸变图103 几何畸变第38页，本讲稿共57页 上两幅图像坐标系统之间几何畸变关系能用解析式上两幅图像坐标系统之间几何畸变关系能用解析式来描述：来描述：若上面的函数已知，则可以从一个坐标系统的像素若上面的函数已知，则可以从一个坐标系统的像素坐标算出在另一坐标系统的对应像素的坐标。坐标算出在另一坐标系统的对应像素的坐标。第39页，本讲稿共57页 在未知的情况下，可用二元多项式来近似在未知的情况下，可用二元多项式来近似 ：第40页，本讲稿共57页 对于景物中的一个点，在对于景物中的一个点，在 和和 中都有其中都有其对应像素，这对应的像素称为同名像素。假定其灰度是对应像素，这对应的像素称为同名像素。假定其灰度是不变的，即不变的，即 这是几何复原的基本条件。这是几何复原的基本条件。第41页，本讲稿共57页 几何教正方法：几何教正方法：1.1.已知已知 和和 条件下的几何校正条件下的几何校正 (1)(1)直接法直接法 (2)(2)间接法间接法 2.2.和和 未知条件下的几何校正未知条件下的几何校正第42页，本讲稿共57页 二、像素灰度内插方法二、像素灰度内插方法二、像素灰度内插方法二、像素灰度内插方法 为了确定校正空间各像素的灰度值常采用像素灰度为了确定校正空间各像素的灰度值常采用像素灰度内插方法内插方法 1.1.最近邻元法最近邻元法 2.2.双线性内插法双线性内插法 3.3.三次内插法三次内插法第43页，本讲稿共57页第六节第六节第六节第六节 非线性滤波恢复非线性滤波恢复非线性滤波恢复非线性滤波恢复一、正性一、正性一、正性一、正性约束条件的非线性恢复约束条件的非线性恢复约束条件的非线性恢复约束条件的非线性恢复 使使 然后设法找然后设法找 。在频域中：在频域中：如噪声项为如噪声项为0 0时，时，可得可得第44页，本讲稿共57页 二、数字图像的最大熵恢复二、数字图像的最大熵恢复二、数字图像的最大熵恢复二、数字图像的最大熵恢复(一一)最大熵概念最大熵概念 熵是用来表征平均信息量大小。在图像编码中，熵是用来表征平均信息量大小。在图像编码中，我们已经介绍了用熵作为一个量度图像编码性能的准我们已经介绍了用熵作为一个量度图像编码性能的准则。它提供了如已知编码器的输入概率，那么熵可作则。它提供了如已知编码器的输入概率，那么熵可作为这些输入值编码所需平均比特数的下限，编码器所为这些输入值编码所需平均比特数的下限，编码器所需平均比特数需平均比特数R R接近于熵接近于熵H H，那编码器最佳。，那编码器最佳。第45页，本讲稿共57页 熵的一般定义：熵的一般定义：在二维数字图像中，熵定义为：在二维数字图像中，熵定义为：第46页，本讲稿共57页 数字图像最大熵恢复的基本原理是将数字图像最大熵恢复的基本原理是将 写成随机变写成随机变量的统计模型，然后在一定约束条件下，找出用随机变量量的统计模型，然后在一定约束条件下，找出用随机变量形式表示的熵的表达式。再用求极大值的方法，获得最优形式表示的熵的表达式。再用求极大值的方法，获得最优估计解估计解 。最大熵恢复的含义是对。最大熵恢复的含义是对 起最大平滑起最大平滑估计。估计。第47页，本讲稿共57页 数字图像最大熵恢复基本上有两种方法：数字图像最大熵恢复基本上有两种方法：一是弗里登算法一是弗里登算法 另一种是伯格法另一种是伯格法 第48页，本讲稿共57页(二二二二)弗里登最大熵恢复弗里登最大熵恢复弗里登最大熵恢复弗里登最大熵恢复 设设 在第在第 个小格中有个小格中有 个颗粒，那么，个颗粒，那么，灰度级函数灰度级函数 可表示为：可表示为：在大量颗粒分布在整个图像平面时，由大数定律在大量颗粒分布在整个图像平面时，由大数定律可得第可得第 点颗粒出现的概率为：点颗粒出现的概率为：第49页，本讲稿共57页 弗里登最大熵恢复的基本原理就是求：弗里登最大熵恢复的基本原理就是求：来估计原图像来估计原图像 弗里登提出的数字图像最大熵恢复问题是求一弗里登提出的数字图像最大熵恢复问题是求一个图像熵和噪声熵加权之和的极大值问题。此时。个图像熵和噪声熵加权之和的极大值问题。此时。熵被写成：熵被写成：(10111)第50页，本讲稿共57页 对式对式(10(10111)111)的求极大值时，还必须考虑以下的求极大值时，还必须考虑以下两个约束条件：两个约束条件：1.1.约束条件之一为约束条件之一为:2.2.图像的灰度级总和是一个非负值的已知常图像的灰度级总和是一个非负值的已知常 数，即数，即:第51页，本讲稿共57页(三三三三)伯格最大熵恢复伯格最大熵恢复伯格最大熵恢复伯格最大熵恢复 伯格熵的定义是伯格熵的定义是:伯格最大熵恢复的基本原理就是求伯格最大熵恢复的基本原理就是求:第52页，本讲稿共57页(四四四四)两种最大熵恢复方法的比较两种最大熵恢复方法的比较两种最大熵恢复方法的比较两种最大熵恢复方法的比较 上述的两种最大熵恢复都是正性约束条件下的图像的上述的两种最大熵恢复都是正性约束条件下的图像的非线性恢复方法。其恢复图像的介非线性恢复方法。其恢复图像的介 是正值，这与光学是正值，这与光学图像信号要求为正信号相符合。最大熵恢复是对图像信号要求为正信号相符合。最大熵恢复是对 起起平滑作用，实质上得到的最优估计平滑作用，实质上得到的最优估计 是最大平滑估计。是最大平滑估计。第53页，本讲稿共57页 弗里登提出的熵的准则式比伯格提出的熵的准则弗里登提出的熵的准则式比伯格提出的熵的准则式更接近古典熵的定义式的形式。但伯格最大熵恢复式更接近古典熵的定义式的形式。但伯格最大熵恢复解是闭合形式的严密解，它不需要迭代算法，可节省解是闭合形式的严密解，它不需要迭代算法，可节省计算机时间，这是一个基本的优点。不过此解对噪声计算机时间，这是一个基本的优点。不过此解对噪声比较敏感，如输入中存在噪声时，恢复图像可能会被比较敏感，如输入中存在噪声时，恢复图像可能会被许多小斑点所模糊。许多小斑点所模糊。从应用来看，在图像是由许多小图像组成时（如天从应用来看，在图像是由许多小图像组成时（如天文图像中星球的照片），弗里登最大熵恢复的恢复结果文图像中星球的照片），弗里登最大熵恢复的恢复结果比较成功。比较成功。第54页，本讲稿共57页 三、同态滤波恢复三、同态滤波恢复三、同态滤波恢复三、同态滤波恢复 同态滤波法恢复原图像的基本原理是先对降质图同态滤波法恢复原图像的基本原理是先对降质图像取对数，再进行滤波处理，最后通过指数变换得到像取对数，再进行滤波处理，最后通过指数变换得到恢复图像。恢复图像。设退化图像可以分为两部分的乘积，即设退化图像可以分为两部分的乘积，即:取对数得取对数得:第55页，本讲稿共57页 同态滤波恢复过程可用图同态滤波恢复过程可用图10106 6表示表示:图106 同态滤波起器恢复框图 第56页，本讲稿共57页 设同态滤波器冲激响应为设同态滤波器冲激响应为 ，其恢复结果，其恢复结果 为为:第57页，本讲稿共57页