三维地图创建基础知识.ppt

三维地图创建基础知识目录KINECT简介彩色图像与深度图像彩色三维点云数据下一阶段目标Kinect有三个镜头，中间的镜头是有三个镜头，中间的镜头是 RGB 彩色摄影机，用来采集彩色图像。左右两边镜彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线头则分别为红外线发射器和红外线CMOS 摄影机所构成的摄影机所构成的3D结构光深度感应器，用来结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。彩色摄像头最大支持采集深度数据（场景中物体到摄像头的距离）。彩色摄像头最大支持1280*960分辨率分辨率成像，红外摄像头最大支持成像，红外摄像头最大支持640*480成像。成像。Kinect还搭配了追焦技术，底座马达会随着还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由四个麦克风同时收音，比对也内建阵列式麦克风，由四个麦克风同时收音，比对后消除杂音，并通过其采集声音进行语音识别和声源定位。后消除杂音，并通过其采集声音进行语音识别和声源定位。KINECT简介通过查阅通过查阅 Prime Sense 的专利，可以看的专利，可以看Kinect 使用的是改进型的结构光使用的是改进型的结构光技技术术激光散斑测距技术。这些散斑具有高度的激光散斑测距技术。这些散斑具有高度的随机性，而且会随着距离的不同而变换图随机性，而且会随着距离的不同而变换图案。也就是说空间中任意两处的散斑图案案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位散斑图案，就可以知道这个物体在什么位置了。置了。注：散斑的大小和形状与物体相对传感器的距离和方位有关。在彩色图像中，每一像素点的值由三部分组成，分别代表着对应方向上物体在彩色图像中，每一像素点的值由三部分组成，分别代表着对应方向上物体表面色彩中的红色、绿色和蓝色的量化数值大小。表面色彩中的红色、绿色和蓝色的量化数值大小。在深度图像中，每一像素点的值代表着对应方向上物体和摄像头之间的距离。在深度图像中，每一像素点的值代表着对应方向上物体和摄像头之间的距离。彩色图像和深度图像（1）彩色图像（2）深度图像由于由于 Kinect 深度摄像头使用的是主动激光光源，通过探测反射激光散斑图像深度摄像头使用的是主动激光光源，通过探测反射激光散斑图像来获得深度数据，在距离深度摄像头比较近的地方，由于激光散斑过于密集，来获得深度数据，在距离深度摄像头比较近的地方，由于激光散斑过于密集，无法再通过互相关运算得到物体与摄像头之间的距离，所以无法再通过互相关运算得到物体与摄像头之间的距离，所以 Kinect 深度摄像深度摄像头在近距离上存在盲区。经过实验测算，物体在距离头在近距离上存在盲区。经过实验测算，物体在距离 Kinect深度摄像头深度摄像头 50 厘厘米以内时，深度摄像头无法获得深度数据，对应区域像素点深度值为米以内时，深度摄像头无法获得深度数据，对应区域像素点深度值为 0。同。同时，在场景纵深过于广阔时，深度摄像头发出的激光经过反射回来时能量过时，在场景纵深过于广阔时，深度摄像头发出的激光经过反射回来时能量过小，深度摄像头无法检测，同样也会把对应区域像素点深度值标记为小，深度摄像头无法检测，同样也会把对应区域像素点深度值标记为0。彩色三维点云数据彩色三维点云的每个点都包含三维位置信息（彩色三维点云的每个点都包含三维位置信息（XYZ）和该点的彩色信息）和该点的彩色信息（RGB）。采用）。采用pcd格式存储三维相机获取的点云图像。（格式存储三维相机获取的点云图像。（VS和和MATLAB中均中均有程序可以实现彩色图像和深度图像转换）有程序可以实现彩色图像和深度图像转换）下一阶段目标从上图可以看出，深度图像中，存在区块深度区域缺失的情况。在浙大的一从上图可以看出，深度图像中，存在区块深度区域缺失的情况。在浙大的一篇硕士论文中提到了一种彩色图像引导的深度图像增强的方法。对于彩色图篇硕士论文中提到了一种彩色图像引导的深度图像增强的方法。对于彩色图像与深度图像转换为三维点云数据源的程序，基本还停留在使用阶段，对于像与深度图像转换为三维点云数据源的程序，基本还停留在使用阶段，对于其中的算法原理还不是太了解，今后要进一步的了解深入。其中的算法原理还不是太了解，今后要进一步的了解深入。THANK YOU