双目立体视觉教程文件.ppt

《双目立体视觉教程文件.ppt》由会员分享，可在线阅读，更多相关《双目立体视觉教程文件.ppt（72页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、双目立体视觉双目立体视觉Image&Vision Lab内容（内容（Contents）p极线几何pEssential矩阵、fundamental矩阵p弱标定p立体重建（视差、双目匹配）p多个摄像机p结构光p时空立体光条p距离（range）数据p实例：视差与三维图p最新进展（运动提取等）p进一步学习材料2Image&Vision Lab2D 和和 3D 的关系的关系p现实存在的问题u一般的物体(Objects)都是三维的；u图像(Images)却是有关灰度，颜色等信息的阵列；u3D的深度(Depth)信息在一幅图像上不能明显的显示出来。p2D的分析需要3D的信息u物体表面是连续，平滑(Smoot

2、h)的；u物体都有特定的形状和边界。p3D的信息可以通过2D的图像计算出来u视差(Disparity)，深度(Depth)信息等等。3Image&Vision Lab为什么需要两个眼睛？为什么需要两个眼睛？p物体的深度信息不能通过单眼所获得。4Image&Vision Lab为什么需要两个眼睛？为什么需要两个眼睛？p物体的深度信息可以通过双眼的观察得到。5Image&Vision Lab双目立体视觉三维测量原理双目立体视觉三维测量原理(Triangulation)p双目立体视觉三维测量是基于视差原理。p计算公式：6Image&Vision Lab视差视差(Disparity)与深度与深度(De

3、pth)的关系的关系p视差和深度成反比关系：7Image&Vision Lab视差视差(Disparity)与深度与深度(Depth)的关系的关系p同一深度下的视差一样8Image&Vision Lab亚像素亚像素(Sub-pixel)p在某些对精度要求较高的场合，需要对视差进一步精细化(Refinement)，亚像素是其中的一种方法。9Image&Vision Lab立体视觉（立体视觉（Stereo Vision）p由两幅或多幅从不同视点拍摄的图像恢复场景三由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术维信息的技术 p两个主要的子问题两个主要的子问题u匹配问题匹配问题 -视差图视差图

4、(Disparity Space Image)(Disparity Space Image)l相似而不是相同相似而不是相同l遮挡问题遮挡问题:场景的某些部分只在一幅图像中可见场景的某些部分只在一幅图像中可见u重建问题重建问题 -3D-3Dl重建所需要的摄像机参数重建所需要的摄像机参数l立体摄像机标定立体摄像机标定10Image&Vision Lab立体图对立体图对(Stereo pair)p问题u匹配问题匹配问题 (立体匹配立体匹配)-)-视差图视差图u重建问题重建问题 -3D-3D?3D?匹配匹配?11Image&Vision Lab极线几何极线几何(Epipolar Geometry)p动

5、机:在哪寻找匹配点?u极平面u极线 u极点p极线约束u匹配点必须在极线上plprPOlOrelerPlPr极平面极平面极线极线极点极点12Image&Vision Lab极线几何极线几何(Epipolar Geometry)p基线：左右两像机光心的连线；p极平面：空间点，两像机光心决定的平面；p极点：基线与两摄像机图像平面的交点；p极线：极平面与图像平面的交线。plprPOlOrelerPlPr极平面极平面极线极线极点极点基线基线13Image&Vision LabEssential 矩阵矩阵p左右两幅图像相对应的点之间的关系可以通过Essential 矩阵或是Fundamental 矩阵来表

6、明。pEssential 矩阵是摄像机标定情况下用的。p公式：ppr和pl分别是齐次摄像机坐标向量。p公式描述了点pr位于与向量Epl相关的外极线上。pEssential 矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为2。14Image&Vision LabFundamental 矩阵矩阵p当内部参数未知（非标定的摄像机）：p公式可表示为：pM为内参矩阵pql,qr为图像坐标pFundamental矩阵秩同样为2。pFundamental矩阵是摄像机非标定的情况用的。Reference:Learning OpenCV15Image&Vision Lab弱标定弱标定(Weak Calibrati

7、on)p定义：对于内部参数未知的摄像机，通过两幅图中的冗余点集合来估计外极几何。p方法：u 8点算法(Longuet-Higgins 1981)u 最小二乘法u 最小二乘法的8点算法u 规范化线性8点算法(Hartley 1995)Reference:计算机视觉一种现代方法第10章16Image&Vision Lab弱标定弱标定(Weak Calibration)p使用一个玩具房子的两幅图像上的37个点作为输入的弱标定实验。p数据点在图中用圆点表示，所经过的外极线用短的直线段表示。p左图显示使用最小二乘法的普通8点算法得到的输出结果；右图为使用Hartley变换后的该方法的输出结果。17Ima

8、ge&Vision Lab图像校正图像校正(Rectified Images)p目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。p校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线(Scan-line)上。18Image&Vision Lab图像校正图像校正(Rectified Images)p在校正图像中所有极线都平行19Image&Vision Lab图像校正图像校正(Rectified Images)p把极点拉向无穷远处。20Image&Vision Lab图像校正图像校正(Rectified Images)校正后21Image&Vision Lab立体

9、匹配立体匹配(Stereo match)p选取何种匹配基元进行匹配？p两种主要的方法u特征匹配u稠密匹配22Image&Vision Lab特征匹配特征匹配(Feature match)p常用特征常用特征u边缘边缘u线线 (长度、方向、平均对比度长度、方向、平均对比度)u角点角点p匹配算法匹配算法u在立体图对中抽取特征在立体图对中抽取特征u定义相似度定义相似度u利用相似度和极线几何寻找匹配利用相似度和极线几何寻找匹配23Image&Vision Lab特征匹配特征匹配(Feature match)p对于左图像中的每一个特征左图像左图像角点角点线线结构结构24Image&Vision Lab特征

10、匹配特征匹配(Feature match)p在右图像中寻找 当相似度达到最大时的偏移量就是视差右图像右图像角点角点线线结构结构25Image&Vision Lab稠密匹配（稠密匹配（Dense match）p找到对应于场景中同一点的像素找到对应于场景中同一点的像素p通常假设通常假设u经过立体校正经过立体校正u分块平滑表面分块平滑表面u朗氏表面朗氏表面p目标目标:找到视差图找到视差图26Image&Vision Lab稠密匹配（稠密匹配（Dense match）p局部算法局部算法(Local/window-based algorithms):u在匹配点的一个特定窗口中计算相似度。在匹配点的一个特

11、定窗口中计算相似度。uSSD，SAD，MSE，MAD，etc.p全局算法全局算法(Global algorithms)：u能量方程能量方程：u模拟退火模拟退火(Simulated annealing),动态规划动态规划(Dynamic Programming),最大流最大流(Max-flow),图像分割图像分割(graph-cut),etc.27Image&Vision Lab 匹配方程匹配方程(Matching Function)28Image&Vision Lab特征匹配特征匹配 VS 稠密匹配稠密匹配p特征匹配(Feature match)：u速度快，匹配效率高；u特征的提取可以到亚像素

12、级别，精度较高；u匹配元素为物体的几何特征，对照明变化不敏感；u重建需要拟合。p稠密匹配(Dense match):u重建不需要拟合；u速度慢，效率低；u对于无纹理，纹理不明显的图像匹配效果不理想；u对光强、对比度、照明条件敏感。29Image&Vision Lab立体匹配的困难立体匹配的困难p场景投影到两幅图像中并不总是一致的场景投影到两幅图像中并不总是一致的u摄像机相关摄像机相关l图像噪声、不同增益、不同对比度等等图像噪声、不同增益、不同对比度等等.u视点相关视点相关l透视畸变透视畸变l遮挡遮挡l镜面反射镜面反射p即使在测试的标准图像中匹配也不是容易的事即使在测试的标准图像中匹配也不是容易

13、的事u重复场景重复场景u无纹理区域无纹理区域u遮挡遮挡30Image&Vision Lab31Image&Vision Lab立体匹配中常用约束立体匹配中常用约束(Constraints)p极线约束极线约束：匹配点一定位于两幅图像中相应的极：匹配点一定位于两幅图像中相应的极线上；线上；p顺序一致性约束：位于一幅图像上的极线上的系顺序一致性约束：位于一幅图像上的极线上的系列点，在另一幅图像中的极线上具有相同的顺序；列点，在另一幅图像中的极线上具有相同的顺序；p唯一性约束：两幅图像中的对应的匹配点应该有唯一性约束：两幅图像中的对应的匹配点应该有且仅有一个；且仅有一个；p视差连续性约束：除了遮挡区域

14、和视差不连续区视差连续性约束：除了遮挡区域和视差不连续区域外，视差的变化应该都是平滑的。域外，视差的变化应该都是平滑的。32Image&Vision Lab算法评估算法评估p以真实视差场为参照，对计算得到的视差场进行以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配方法评估，统计视差场的准确度，以此反映匹配方法的性能的性能 phttp:/vision.middlebury.edu/stereo.33Image&Vision Lab34Image&Vision Lab具体实例具体实例-SSD35Image&Vision Lab具体实例具体实例-SSD36Image&

15、Vision Lab多个摄像机多个摄像机37Image&Vision Lab多个摄像机多个摄像机p三个摄像机u增加第三个摄像机可以消除（大部分）由双目图像点造成的不确定性。u本质上，第三幅图像可以用来检查前两幅图像中假定的匹配：和前两幅图像中匹配点对应的三维空间点首先被重建，然后再投影到第三幅图。如果在第三幅图像的再投影点周围没有相容的点，那么这个匹配一定是错误的匹配。38Image&Vision Lab多个摄像机多个摄像机p多个摄像机uOkutami 和 Kanade(1993)提出一个多摄像机的算法，其中同时利用所有图像来搜索匹配。u基本想法：假设所有图像都是被校正过的，讲搜索正确的视差的

16、操作转换为搜索正确的深度或者深度的倒数。u选择第一幅图像作为参考，将与所有其他摄像机相关的平方差加到一个全局评价函数E中。u评价函数E是深度倒数的函数。39Image&Vision Lab多个摄像机多个摄像机p下图是不同数量的摄像机评价函数E的函数值：40Image&Vision Lab结构光结构光(Structure Light)p光学投影器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图。p结构光的目的就是增加三维物体的纹理信息。41Image&Vision Lab结构光的三大基本原则结构光的三大基本原则p编码要唯一；p汉明距离（Hamming dista

17、nce）为1;p满足抽样定理。42Image&Vision Lab结构光光条模板（结构光光条模板（Pattern）p二进制编码(binary code)p格雷码(Gray code)p改进格雷码p灰度编码：锯齿状条纹(Saw-tooth pattern)、正弦状条纹、etc.p金字塔子光栅条纹投射法(Pyramid sub-grating projecting method)p伪随机编码阵列(Pseudo-random encoded array)Ref:Salvi et al.,Pattern codification strategies in structured light syste

18、m,Pattern Recognition,37,827-849,2004.43Image&Vision Lab各种结构模板光举例各种结构模板光举例p二进制编码(binary code)p格雷码(Gray code)44Image&Vision Lab各种结构模板光举例各种结构模板光举例p改进格雷码45Image&Vision Lab各种结构模板光举例各种结构模板光举例p灰度编码(n-array codes)46Image&Vision Lab各种结构模板光举例各种结构模板光举例p金字塔子光栅条纹投射法(Pyramid sub-grating projecting method)47Image

19、&Vision Lab各种结构模板光举例各种结构模板光举例p伪随机编码阵列(Pseudo-random encoded array)p63*65 的伪随机阵列：48Image&Vision Lab各种结构模板光实例各种结构模板光实例49Image&Vision Lab实验设施示意图实验设施示意图50Image&Vision Lab实验设施实验设施(Experimental Setup)Reference：High-Accuracy Stereo Depth Maps Using Structured Light51Image&Vision Lab时空立体光条时空立体光条(Spacetime S

20、tereo)p空间域匹配函数u公式：uI1 I2分别为图像1和图像2的灰度值；Vs是x1像素邻近域的向量。p时空匹配函数u公式：52Image&Vision Lab时空立体光条时空立体光条(Spacetime Stereo)p空间匹配和时空匹配的比较53Image&Vision Lab实验设施实验设施(Experimental Setup)Reference：Spacetime Stereo-Shape Recovery for Dynamic Scenes54Image&Vision Lab时空立体光条实验时空立体光条实验Reference：Spacetime StereoA Unifyin

21、g Framework for Depth from Triangulation55Image&Vision Lab时空立体光条实验结果时空立体光条实验结果56Image&Vision Lab时空立体光条实验结果时空立体光条实验结果Reference：Spacetime Stereo-Shape Recovery for Dynamic Scenes57Image&Vision Lab距离（距离（range）数据）数据p距离图像(深度图像)：这种图像存储的不是亮度和颜色信息，而是与每一个像素相关的射线与摄像机观测到的第一次交点的深度信息。p一幅距离图像正是立体视觉、运动等的输出。p距离图像可以

22、通过主动传感器获得。p主动传感器向场景投影某种光模式，以此来避开建立对应的困难和时间消耗问题，并构造出紧密和准确的深度图像。58Image&Vision Lab主动距离传感器主动距离传感器Reference：http:/graphics.stanford.edu/papers/volrange/paper_1_level/paper.html59Image&Vision Lab主动距离传感器主动距离传感器Scanner:Cyberware 3030 MSNumber of scans:10Reference:The Stanford 3D Scanning Repository60Image&

23、Vision Lab便携式便携式3D扫描仪扫描仪p美能达(Minolta)扫描仪61Image&Vision Lab实例：视差图与三维图实例：视差图与三维图pRef:http:/ Lab实例：视差图与三维图实例：视差图与三维图a.佛像照片;b.距离图像;c.集成的3D模型;d.孔洞填充后的模型;e.由立体成像得到的物理模型。Ref：http:/graphics.stanford.edu/papers/volrange/paper_1_level/paper.html。63Image&Vision Lab最新进展（运动提取）最新进展（运动提取）64Image&Vision Lab最新进展（运动提

24、取）最新进展（运动提取）pRef:Extraction and temporal segmentation of multiple motion trajectories in human motion65Image&Vision Lab最新进展（最新进展（Photo Tourism）pRef:http:/phototour.cs.washington.edu/。66Image&Vision Lab最新进展最新进展(3D Virtual World)pReference:3D World from 2D Photos67Image&Vision Lab最新进展最新进展(Photo Naviga

25、tor)pRef:http:/www.csie.ntu.edu.tw/cyy/publications/papers/Hsieh2008PN.pdf68Image&Vision Lab最新进展最新进展(Automatic Photo Pop-up)69Image&Vision Lab最新进展最新进展(Automatic Photo Pop-up)70Image&Vision Lab进一步学习材料进一步学习材料pDavid A.Forsyth等著,林学訚 等译.计算机视觉一种现代方法M.北京：电子工业出版社，2004.6.p张广军.视觉测量M.北京：科学出版社，2008.p刘瑞祯，于仕琪.OpenCV 教程基础篇M.北京：北京航空航天大学出版社，2007,6.phttp:/vision.middlebury.edu.phttp:/