计算机视觉的三维感知.ppt

《计算机视觉的三维感知.ppt》由会员分享，可在线阅读，更多相关《计算机视觉的三维感知.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、计算机视觉的三维感知现在学习的是第1页，共33页7.1 立体视觉一、概述一、概述立体视觉或双目立体视觉（Stereo或binocular Vision），或简称为体视。体视是人类获取环境三维信息的主要途径。人类视觉系统体视可经受各种干扰，在各种光照条件和光度学及几何学畸变的条件下仍能可靠地提供立体信息。体视可经受对比度的变化，在一幅图相对于另一幅图有明显的模糊或扩展时，仍能工作良好。体视的处理是快速和实时的，并能很好地处理物体运动的情况体视对深度信息检测的分辨率很高。理想条件（孤立边缘）下能可靠地分辨小于1秒弧的视差。这相当于在1米的观察距离上确定大约相距0.8毫米的两个特征的相对深度，或在5

2、0厘米远处的0.2毫米的相对深度。现在学习的是第2页，共33页 1、工作原理d-P点距透镜中心的距离d-视差（disparity）f-透镜的焦距，b-两透镜中心之间的距离（基线距离）图7.1立体视觉原理现在学习的是第3页，共33页由上式可知，对于一组给定的摄象机参数，提高场景点深度计算精度的有效途径是增长基线距离b，即增大场景点对应的视差。同时也带来一些问题，主要有：（1）随着基线距离的增加，两个摄象机的共同可视范围减小；（2）场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会也增大；（3）由于透视投影引起的变形导致两个摄象机获取的两幅图象中不完全相同，这就给确定共轭对带来了困难

3、。现在学习的是第4页，共33页外极线几何（Epipolar geometry)现在学习的是第5页，共33页外极线几何（Epipolar geometry)外极面(Epipolar plans)所有通过二个摄像机光心的平面每个空间点有一个外极面外极线(Epipolar lines)外极面与图像的交线外极面上的空间点投影到每个图像平面中的外极线上外极点（Epipoles)每个图像中的外极线都通过该图像中的外极点外极点与另一个摄像机的光心的投影对应立体视觉摄像机的光轴平行时外极点在无穷远处现在学习的是第6页，共33页外极线-如果已知空间点在一个图象平面中的成象点要寻找在另一图象平面中的对应点时，只需

4、沿此图象平面中的外极线搜索即可现在学习的是第7页，共33页图示系统中，视差与光轴交角有关。对于任一光轴交角，在空间中总存在一个视差为零的表面。比这一表面远的物体，其视差大于零；比这一表面近的物体，其视差小于零。这三组视差可用于解决匹配不确定问题。现在学习的是第8页，共33页距离和深度距离是指从观察者到物体的客观实际距离；深度（depth）是指由观察者感觉到的主观距离，通常是测量相对于定位点或某个空间点的距离。立体视觉处理的组成：寻找在两幅图象中都便于区分的特征，或用于匹配的基元（primitive）把左、右两幅图象中的有关特征进行匹配，即解决特征匹配的方法问题确定摄象机的相对几何位置和有关参数

5、，即摄象机的校准（Calibration）根据视差计算成象物体相对摄象机的距离深度信息内插。（即即：摄象象机机模模型型、特特征征提提取取、特特征征匹匹配配、视差差和和深深度度计算算、深深度度信信息内插五部分）息内插五部分）现在学习的是第9页，共33页上图是由两个摄象机得到的真实图象对。立体重建的关键是特征点匹配，从左图中任取一点p1，计算机如何找到在右图中与它的对应点p2。即匹配问题。现在学习的是第10页，共33页2、匹配基元的选择搜索对应点时的多义性的解决1.在单幅图象作预处理时通过抽取图象局部结构较为丰富的描述来减少错误对应的可能性2.在两幅图的对应点间作匹配时应用选择性规则来限制搜索空间

6、匹配基元的类型1.在在所所有有图图象象点点上上抽抽取取的的量量测测:这类匹配基元一般是在每个象素位置处都产生一个描述。这些特征表示图象中的局部结构状态.属于这类的匹配基元有以下几种：(1)象素灰度(2)局部区域的灰度函数。在各种大小窗口中求得的灰度分布的导数可用于产生描述各点周围结构的矢量(3)卷积图象的符号.把图象与各种大小的算子卷积后，图象中各点的符号可作为原始图象特征的描述。现在学习的是第11页，共33页2.图象特征图象特征这种匹配基元较为符号化，它检测图象中包含丰富信息的结构所在的位置，例如图象中的边缘，这些边缘可能与景物中表面之间的边界相对应。与象素相比图象特征数量较少(1)卷积图象

7、中的过零点。这种方法是由Marr和Poggio，Marr和Hildreth提出和发展的。它虽然也可用于检测边缘，但是更确切说这种方法的目的是检测稳定的、稠密的表面标志。按这种方法任何小的影调变化或小的纹理变化只要稳定都是一个特征(2)边缘。这种基元试图抽取景物中表面之间或不同颜色区域之间的实际边界。这种匹配基元上还可以带有如边缘方向、对比度、长度、边缘曲率等附加信息现在学习的是第12页，共33页物体的外轮廓线一般不能作为匹配的特征，如右图，曲面上的外轮廓线不是物体表面法线方向的不连续点，而是曲面可见部分与不可见部分的分界线。与视点有关。现在学习的是第13页，共33页3、匹配规则（matchin

8、g rules）约束条件-这些约束条件是根据对匹配环境所作的假设产生的1.相容性（Compatibility）约束如果两个匹配基元确实是由同一物理标记产生的，那么它们就可以匹配起来一种是基于光度学不变性的性质另一种相似性的假设是根据几何学不变性 2.唯一性约束-图象中的每个匹配基元最多只能有一个视差值 3.连续性约束-视差值的变化在图象中几乎处处平滑现在学习的是第14页，共33页4.外极线约束利用外极线约束可以将二维搜索问题变为一维搜索问题。如图，空间某一距离区间内的一条直线段对应外极线上的一个有限区间。现在学习的是第15页，共33页图7.3两个视网膜上成象对应关系的多义性现在学习的是第16页

9、，共33页体现约束条件的匹配规则1.对相似性测量的本质作出规定的规则(1)区域的统计量(2)边界的统计量(3)点的统计量2.视差梯度限制规则(1)排序约束(2)视差梯度范围限制(3)由粗到细的匹配规则现在学习的是第17页，共33页4、算法简介立体视觉算法可分成两大类：以密集的基元测量为基础，称为基于区域（area-based）的算法。这类算法的典型例子是利用小区域上的相关技术可得到较稠密的深度数据,数据的精度较差适合于景物中的深度变化小的情形以在图象中相对比较稀少的、较为符号化的特征为基础，称为基于特征（feature-based）的算法只能得到较稀疏的深度数据深度数据的精度较高可用于深度变化

10、大的景物混合算法在匹配的不同阶段分别使用上述两类算法以期达到更高的性能现在学习的是第18页，共33页 边缘匹配例该算法使用的边缘特征是通过高斯函数的一阶导数获得的。在有噪声的情况下，使用高斯梯度来计算边缘更加稳定。使用边缘匹配的立体视觉算法步骤如下：（1）用四个不同宽度的高斯滤波器对立体图象对中的每一幅图象进行滤波，其中前一次滤波的宽度是下一次滤波器宽度的两倍。这一计算可以反复通过对最小的滤波器进行卷积来有效地实现；（2）在某一行上计算各边缘的位置；（3）通过比较边缘的方向和强度粗略地进行边缘匹配。显然，水平边缘是无法进行匹配的；（4）通过在精细尺度上进行匹配，可以得到精细的视差估计。现在学习

11、的是第19页，共33页二、Marr-Poggio-Grimson算法（MPG算法）以不同大小的 算子与图象卷积，并从中抽取过零点作为匹配基元；采用从粗到细的匹配策略，应用在低分辨率下匹配得到的信息来限制高分分辨时匹配的搜索空间。这样做的优点是既具有较大的深度敏感范围，又有较高的空间定位准确性1.匹配基元的选择2.匹配基元的属性用过零点两边的符号变化和过零点轮廓来表示匹配基元的特征现在学习的是第20页，共33页3.的选择dmax=概率分布表明在 的间距内有另一个同符号过零点的概率低于0.05。这意味着如果图象中这个区域的视差小于 ，那么在 的范围内搜索时只发现正确的概率是 0.95 如果搜索区域

12、扩大到 ，所有匹配中的50%是正确和无多义性的.但可利用连续性约束加以消除取 后，我们在dmax的距离内只能得到一个点的深度值。这只表示景物在粗通道时的深度图4.4.粗通道信息对细通道匹配的导引粗通道信息对细通道匹配的导引现在学习的是第21页，共33页图7.6粗通道信息对细通道匹配的导引图7.5特征点的匹配现在学习的是第22页，共33页4.4.粗通道信息对细通道匹配的导引粗通道信息对细通道匹配的导引如果粗、细通道算子的宽度分别为 和 。那么在粗细通道中合适的搜索范围分别 为和 。假设 ，那么要发现这点的视差只根据细通道的信息是不行的，因为匹配点在搜索范围以外。但匹配点将在粗匹配的范围之内。因此

13、，这时可求得粗通道中的视差粗通道得到的匹配可为精确的视差提供一个近似的估计值。如果所选的滤波器的大小合适，则可保证相邻通道之间大致相隔一倍频程，即，通道所用 算子的宽度 大致为63,35,17,9和4个象素现在学习的是第23页，共33页三、Baker-Binford算法1.基于图象灰度相关的相似性量测如窗口是MN的矩形.设，左、右窗口中第 i 行、第j列象素的灰度分别为 和差异性量测函数定义为2.2.动态规划（动态规划（dynamic Programmingdynamic Programming）匹配方法）匹配方法两个波形之间的对应关系可被概括成路径规划问题（图7-7）现在学习的是第24页，共

14、33页路上处点P表示右图在处的点与左图处的点相匹配路径成本可用前段中所述差异性量测函数来定义，把路径成本定义为 沿扫描线的积分图7.7动态规划匹配问题现在学习的是第25页，共33页DP算法设，表示右图中在 处周围灰度分布与左图在 处周围灰度分布的相似性量测，路径成本可定义为沿路径的相似性量测之和。设 是从起点到 点最佳路径的最小成本。DP算法可表示为(1)(2)现在学习的是第26页，共33页3.3.（Baker-BinfordBaker-Binford）算法）算法(1)基于边缘的相关(2)基于灰度的相关图7.9外极线上的边缘以及灰度分布现在学习的是第27页，共33页立体视觉研究中的新动向三目或

15、多目立体视觉和全景视图遮挡问题引入Markov Random Field approach现在学习的是第28页，共33页立体视觉中的不连续性和遮挡问题O和O是摄像机的光心不连续性发生在B,C,E,F遮挡发生在A,C,D,F现在学习的是第29页，共33页立体视觉处理中的困难噪声：光照的变化，图像的模糊，传感器的噪声无纹理的区域为了得到立体视觉的匹配，纹理区域的信息需要扩展到无纹理区深度的不连续性信息的传播应不超越物体的边界遮挡在参考视图中被遮挡的象素不能与另一个视图相匹配现在学习的是第30页，共33页有遮挡时立体匹配的问题在一个台阶处出现的遮挡情况:前景 F;背景B,C,D,E。按一般的SSD(Sum of Square Distance)方法在有遮挡的区域（如，黑色方块处），如以象素为中心的窗口进行匹配，将出现匹配错误。现在学习的是第31页，共33页解决有遮挡情况下匹配的方法移动窗口的方法：白色区域中象素应用移位后的窗口在各种情况下都能得到正确的匹配黑色区域中象素应用移位后的窗口在左，中二幅图中能得到正确匹配。现在学习的是第32页，共33页全景立体视觉变焦摄像机双目立体摄像机云台升降支架变焦摄像机辐向摄像机云台升降支架现在学习的是第33页，共33页