C第三章--双目立体视觉.ppt
《C第三章--双目立体视觉.ppt》由会员分享,可在线阅读,更多相关《C第三章--双目立体视觉.ppt(112页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉生理立体视觉生理立体视觉Stereo vision model of human eyesu Depth Cues in the Human Visual Systemp The human visual system interprets depth in sensed images using both physiological and psychological cu
2、es. Some physiological cues require both eyes to be open (binocular), others are available also when looking at images with only one open eye (monocular). p The physiological depth cues are accommodation, convergence, binocular parallax, and monocular movement parallax. p The psychological depth cue
3、s are retinal image size, linear perspective, texture gradient, overlapping, aerial perspective, and shades and shadows. 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉生理立体视觉生理立体视觉Stereo vision model of human eyesABu 物点A 、B 、C的角视差(注视角)分
4、别为: A A、B 、Cu 角视差分别为1、2的物点1与物点2之间角视差的差值12= 1 - 2 u 若12 0,则物点1较物点2近;u 若12 0,或 0时,这样的屏幕视差称作非交叉视差(Uncrossed parallax),融合点在屏幕后方,离屏深度为:0( /)-1iFLZe d3dF = 0,或 = 0时,融合点在屏幕上,该点在视网膜上的成像位置完全相同,是无视差点。 2dF 0,或 0时,这样的屏幕视差称作交叉视差(Crossed parallax),融合点在屏幕前方,离屏深度为:0( /) 1iFLZe d南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研
5、究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉设左、右图像中某同名点的坐标分别为(Xs1, Ys1)、(Xs2, Ys2),并且观看者的双眼连线的中心Ou距离屏幕中央Os为L0,则双目观看所形成的立体图像点在用户坐标系中的坐标值为: 12120()14()14ssuFssuFuFe XXXede YYYedeLZed南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ES
6、E, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉010010002002002tanarctan()2cos()sin22tanarctan()2cos()sin2iiiiBXxfhZY fyBZXBXxfhZY fyBZX 物点(X0, Y0, Z0)像点(Xcl, Ycl)、(Xcr, Ycr)南京大学南京
7、大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉h - Sensor Axial Offset. In the parallel camera configuration, this is the distance by which the centre of each imaging sensor (CCD) has been moved away (outwards) from the optical ax
8、is of the lens to achieve convergence.南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉sin)2(cossin)2(cos)22(tanarctan)22(tanarctan0000000000tXZfYYtXZfYYhZXtfXhZXtfXcrclcrcl0tan()tan()242tan()tan()2tan()tan()2tan()tan()usuuMbf
9、XbMhMfbYYbMhMfbLZbMhMf11112222sisisisiXMxYMyXMxYMyM The transformation from CCD coordinates to screen coordinates is achieved by multiplying by the screen magnification factor南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉0t
10、an()tan()242tan()tan()2tan()tan()2tan()tan()usuuMbfXbMhMfbYYbMhMfbLZbMhMf00002arctan()22arctan()2BXZBXZ002222002cos2cos() sin2sMY fZYBZX南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉Coordinate transformation from Object Spa
11、ce to Image SpaceConvergence distance of the two cameras = 0.9mLens focal length of the camera = 6.5mmCamera Separation = 75mmViewing distance from the observer to the display plane = 0.9mEye Separation = 65mm Screen width = 300mm Toed-in cameras南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / S
12、IT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉Parallel cameras Toed-in camerasshear distortion shear distortion 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉Zi(m)Z0(m)0 1 2 3 4 5 6 7 8 9 10 111.00.50
13、.0Depth non-linearityObject distance away from the camera system Image distance away from the eyes 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉立体图像的视疲劳立体图像的视疲劳观看立体显示器引起的视疲劳的因素有多种,包括 :u左右图像几何形状不一致或变形,或者亮度、色度方面有差异;u图像存在串影(C
14、rosstalk)情况;u视差过大,虚拟图像深度超出人眼调焦允许的范围;u视差变化过快;u会聚和调焦之间不协调;u伪立体。南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉生理立体视觉生理立体视觉Conflict betweenAccommodation and convergenceO1, O2 : Accommodationr1 : ConvergencePQ : Difference南京大学南京大学- -电子科学与工程
15、系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉生理立体视觉生理立体视觉The relationship between accommodation and convergence in the real world Empirical Studies of Accommodation, Convergence, and HMD UseThe shaded area is the zone of clear, comfortable, bi noc u l
16、a r vision. the real world 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉 会聚 调焦 An A0Af Bf B0Bn 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉南京大学
17、南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉N. Hiruma, T. Fukuda, Accommodation response to binocular stereoscopic TV images and their viewing conditions人眼的焦深在-0.2D +0.2D 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / S
18、IT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉Fumio Okuyama,Human Visual Accommoldation and Vergence Eye Movement while viewing Stereoscopic Display and Actual Target 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视
19、觉虚拟立体视觉虚拟立体视觉虚拟像点虚拟像点LED南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉立体视频Waffen由会聚式相机拍摄,处在相机光轴交会点所在平面的场景,其视差为零; Africa由平行式相机拍摄,相机的光轴间距65mm。 Sumio Yano, Shinji Ide, at el. A study of visual fatigue and visual comfort for 3D
20、 HDTV/HDTV images. Displays 23 (2002) 191201 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉南京大学南京大学-
21、 -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉伪立体伪立体如果左、右视点图像分别被右眼和左眼观看到,则人眼的立体感觉与客观空间物点相对位置相反,这种纵深分布与客观物点实际纵
22、深分布相反的立体图像就是伪立体图像(Pseudoscopy )。伪立体图像观看起来十分费力,为了观看图像的不同位置,人眼必须不断调节才能使图像清晰,即便如此,在双眼注视点的一定范围之外,依旧会出现明显的双像,令人眩目。 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉形成伪立体图像的环节有二:1、在图像视差记录过程中产生了物点的视差反转;2、在图像重建过程中出现像点的视差反转。左、右视图重建存在三种
23、情况:1、人眼观看到的是“正立像”(以I+标志)、人眼观看到的“倒置像”(以I-标志);2、 人眼观看到的是“正像”(以II+标志)、人眼观看到的是“镜像”(以II-标志) ;3、 右眼看到右图、左眼看到左图, 即“顺序像”(以III+标志);右眼看到左图、左眼看到右图,即“逆序像”(以III-标志)。南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉虚拟立体视觉虚拟立体视觉视图位置图 号ABCDEFGH顺序/逆序(I)+-
24、+-+-正立/倒置(II)+-+正像/镜像(III)+-+-+-+立体/伪立体+-南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉图像质量评价图像质量评价图像的主观质量评价图像的主观质量评价 根据事先规定的评价尺度或经验,由观察者对测试图像按视觉效果提出质量判断,给出质量分数,对所有观察者给出的分数进行加权平均。 级级别别质量尺度质量尺度妨碍尺度妨碍尺度绝对评价相对评价1很好群中最好丝毫看不出图像质量变坏2较好好于群中平均
25、水平可看出图像质量变化但不妨碍观看3一般群中平均水平明显地看出图像质量变坏4较差差于群中平均水平图像质量对观看有妨碍5很差群中最差图像质量对观看有严重妨碍主观质量测量评分 图像质量评价的传统方法图像质量评价的传统方法 南京大学南京大学- -电子科学与工程系电子科学与工程系- -立体成像技术研究室立体成像技术研究室 / / SIT Lab, Department of ESE, Nanjing University双目立体视觉双目立体视觉图像质量评价图像质量评价图像的客观质量评价图像的客观质量评价 用恢复图像偏离原始图像的误差来衡量图像质量。 NMffMSENjijijMi020)(u均方误差(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第三 双目 立体 视觉
限制150内