数字视频处理 第7章三维视频处理.ppt

《数字视频处理 第7章三维视频处理.ppt》由会员分享，可在线阅读，更多相关《数字视频处理 第7章三维视频处理.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第7章章 三维视频处理三维视频处理 三维视频编码就对三维视频信号进行处理，即在普通二维视频图像信息的基础上增加深度信息，以更逼真地描述现实世界。7.1 立体感觉立体感觉大量的立体视觉实验表明，人在观看空间物体时不论单眼或双眼都可以产生立体视觉，只是用单眼观看的辨别精度比用双眼时差，主体感较弱。因此，立体视觉有两两大大类类即:单眼立体信息和双眼立体信息。7.1.1 单眼立体信息单眼立体信息1)调节2)单眼运动视差3)视网膜像的相对大小4)线性透视5)视野6)光和阴影7)空气透视8)重叠7.1.2 双双眼立体信息眼立体信息用双眼观看空间景物时，形成立体视觉的因素称为双眼立体信息双眼立体信息。双眼

2、立体信息是人眼立体视觉的重要因素，包括双眼视差和辐辏。1 1双眼视差双眼视差人眼在观看三维空间物体的时候，会产生立体感，也就是说人们不仅能够感觉到空间物体之间的距离，也能够感觉到空间物体与自己之间的距离。此外，即使是左、右两眼都能看到的前平面和上平面，在左、右眼视网膜上所成的像也稍有差异。图7-1 双目视差形成立体感觉 2 2辐辏辐辏 人用双眼观看物体时，如果物体所成的像不是落在左、右两眼视网膜的对应点上，那么所看到的是二重像（也称复像）。使这种二重像成为单像，在生理光学中称为融合。融合时，眼球必须作旋转运动。眼球的这种旋转运动被称为辐辏辐辏。图7-2 双眼辐辏的产生 图7-3 深度灵敏度与视

3、距关系 对三维视频编码而言，深度感觉是一个非常对三维视频编码而言，深度感觉是一个非常重要的信息，人类视觉系统的重要的信息，人类视觉系统的深度感觉特性深度感觉特性是设计三维视频采集和显示系统的依据。是设计三维视频采集和显示系统的依据。7.2 7.2 立体成像原理立体成像原理 上一节讨论了视差的定义和人类视觉系统对三维视频图像的一些感觉特性，本节讨论视差和深度的关系，这是三维视频编码的理论基础之一。7.2.1 平行摄像机配置平行摄像机配置 (a)三维视图 (b)X-Z截面视图 图图7-4 平行平行摄像机配置摄像机配置 图7-5 平行配置时摄像机空间坐标与成像平面坐标关系 视差矢量为在世界坐标系内坐

4、标为 7.2.2 会聚摄像机配置会聚摄像机配置 (a)三维视图 (b)X-Z截面视图图图7-6 会聚摄像机配置会聚摄像机配置 C CI I、C Cr r、C CW W的坐标满足的坐标满足 7.37.3视差估计视差估计所谓视差估计视差估计，就是对右图中的每个像素，找到左图中与它“同源”的像素（以左图预测右图）。7.3.1 7.3.1 视差场的规律视差场的规律1偏振约束2空间相关性3时间相关性4水平方向性约束7.3.2 7.3.2 视差估计的方法视差估计的方法用于视差估计主要有基于块的方法和基于网格的方法，二者既可以应用于基于变换的三维视频编码，加以处理后也可以应用于基于对象的三维视频编码。1.基

5、于块的视差估计基于块的视差估计基于块的视差估计首先把右图划分为适当大小的块，然后根据某种误差准则，在左图的搜索范围内为右图的每一个块寻找最优匹配的块，得到块的视差矢量。图7-9 一次因果邻域块2.基于网格的视差估计基于网格的视差估计基于网格的视差估计首先给出网格节点（亦称特征点）的视差矢量，然后通过插值的方法获得其他像素点的视差矢量。网格的自适应确定和搜寻网格匹配节点是基于网格的视差估计的关键。图7-11 采用DT网格分割图像 7.3.3 7.3.3 视差估计的快速算法视差估计的快速算法1.利用视差矢量时空相关性的快速估计算法2.利用视差矢量、运动矢量相关性的快速估计算法 图7-13 基于视差

6、矢量空间相关性快速算法实验结果（为全搜索法结果，为快速算法结果）图7-14 视差矢量与运动矢量相关性 7.3.4 7.3.4 视差估计残差图像的编码视差估计残差图像的编码1.基于小波变换的立体残差图像编码基于小波变换的立体残差图像编码 2.基于基于DCT的立体残差图像编码的立体残差图像编码 图7-15 基于小波变换的残差图像编码 图7-16 立体残差图像自适应DCT变换算法框图 图7-17 垂直扫描顺序 7.4 7.4 三维变换编码三维变换编码 三维变换编码对左通道图像（左视图）采用结合运动估计的变换编码，把每帧图像划分为宏块，每个宏块一个运动矢量，可以把图像作为I、P、B三种类型进行编码。图

7、图7-18 基于变换的三维视频编码器基于变换的三维视频编码器 图7-19 MPEG-2立体视频编码图像结构 图7-20 多模式选择立体视频编码算法 7.5 7.5 基于对象的三维编码基于对象的三维编码 与二维编码相似，基于对象的三维视频编码比基于像素的编码更有潜力，能获得更高的编码效率。基于对象的三维视频编码的基本原理如图7-21所示.图7-18 基于对象的三维视频编码结构 7.6 7.6 基于模型的三维编码基于模型的三维编码基于模型的三维编码与基于知识的编码非常类似，适用于场景中的大部分可能对象均已知的情况。由此可对每个可能的对象建立各自的模型，编码器不断的检测场景，当发现已有独立模型的对象

8、时，就对它应用其独立模型进行处理。7.7 7.7立体视频显示技术立体视频显示技术7.7.1 1 借助辅助工具的立体显示技术借助辅助工具的立体显示技术借助辅助工具的立体显示技术主要有分色式立体显示技术、偏光式立体显示技术和快门式立体显示技术。图7-22分色式立体电视系统的组成 图7-23偏振式立体电视系统的组成 图7-24快门式立体电视系统的组成 7.7.2 2 自由立体显示技术自由立体显示技术自由立体显示技术主要有视差栅格技术、柱面透镜技术、数字微镜反射技术、分像素衍射技术、像素针孔阵列技术等.图7-25 视差栅格立体显示原理 图7-26 自动跟踪观众位置的视差栅格立体显示系统 图图7-27 柱面透镜技术原理柱面透镜技术原理 7.7.3 真真实实三三维维立体立体显显示技示技术术 真三维立体显示技术则采用在空间中直接形成三维图像的方法，克服了基于视差的立体显示技术的缺点，它允许多个观看者从任意角度像观看真实物体一样观看视频。真三维立体显示技术主要包括纵深再现显示技术和全息显示技术两大类。图7-28 新型的DepthCube立体显示系统结构图 图图7-29 Actuality三维立体显示器三维立体显示器