增强现实技术第二章讲稿.ppt

《增强现实技术第二章讲稿.ppt》由会员分享，可在线阅读，更多相关《增强现实技术第二章讲稿.ppt（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第一页，讲稿共二十五页哦2.1 系统框架系统框架 第二页，讲稿共二十五页哦2.2 系统的模块介绍系统的模块介绍 系统由系统由系统由系统由9 9 9 9个主要的子模块组成：个主要的子模块组成：个主要的子模块组成：个主要的子模块组成：=图像采集子模块图像采集子模块图像采集子模块图像采集子模块=数字图像处理子模块数字图像处理子模块数字图像处理子模块数字图像处理子模块=注册定位子模块注册定位子模块注册定位子模块注册定位子模块=标识识别子模块，标识识别子模块，标识识别子模块，标识识别子模块，=深度检测子模块深度检测子模块深度检测子模块深度检测子模块=图形渲染子模块图形渲染子模块图形渲染子模块图形渲染子模

2、块=用户交互子模块用户交互子模块用户交互子模块用户交互子模块=虚实融合子模块虚实融合子模块虚实融合子模块虚实融合子模块=多媒体控制子模块多媒体控制子模块多媒体控制子模块多媒体控制子模块第三页，讲稿共二十五页哦2.2 系统的模块介绍系统的模块介绍=图像采集子模块从图像输入设备中采集视频流，从视频流中获取视图像采集子模块从图像输入设备中采集视频流，从视频流中获取视图像采集子模块从图像输入设备中采集视频流，从视频流中获取视图像采集子模块从图像输入设备中采集视频流，从视频流中获取视频图像。频图像。频图像。频图像。=数字图像处理子模块为三维注册子模块和虚实结合子模块数字图像处理子模块为三维注册子模块和虚

3、实结合子模块数字图像处理子模块为三维注册子模块和虚实结合子模块数字图像处理子模块为三维注册子模块和虚实结合子模块提供非常重要的基础数据。它的具体功能是通过图像分割，提供非常重要的基础数据。它的具体功能是通过图像分割，提供非常重要的基础数据。它的具体功能是通过图像分割，提供非常重要的基础数据。它的具体功能是通过图像分割，边缘检测等图像处理方法对采集的图像进行处理，从工作边缘检测等图像处理方法对采集的图像进行处理，从工作边缘检测等图像处理方法对采集的图像进行处理，从工作边缘检测等图像处理方法对采集的图像进行处理，从工作环境背景中识别出预先在环境中设置的用于定位的标志。环境背景中识别出预先在环境中设

4、置的用于定位的标志。环境背景中识别出预先在环境中设置的用于定位的标志。环境背景中识别出预先在环境中设置的用于定位的标志。=标识识别子模块根据模式匹配算法，使系统从摄像机的视标识识别子模块根据模式匹配算法，使系统从摄像机的视标识识别子模块根据模式匹配算法，使系统从摄像机的视标识识别子模块根据模式匹配算法，使系统从摄像机的视频图像中正确的识别出预先设计好的标记物，同时给出标频图像中正确的识别出预先设计好的标记物，同时给出标频图像中正确的识别出预先设计好的标记物，同时给出标频图像中正确的识别出预先设计好的标记物，同时给出标记物的记物的记物的记物的IDIDIDID号码，作为系统中图形显示子模块输入参数

5、的一部分，以号码，作为系统中图形显示子模块输入参数的一部分，以号码，作为系统中图形显示子模块输入参数的一部分，以号码，作为系统中图形显示子模块输入参数的一部分，以使得图形显示子模块将预先设计好的三维模型正确的显示在特定的使得图形显示子模块将预先设计好的三维模型正确的显示在特定的使得图形显示子模块将预先设计好的三维模型正确的显示在特定的使得图形显示子模块将预先设计好的三维模型正确的显示在特定的位置上。位置上。位置上。位置上。第四页，讲稿共二十五页哦2.2 系统的模块介绍系统的模块介绍=注册定标子模块以图像检测模块的输出结果为数据的输入，通过注册定标子模块以图像检测模块的输出结果为数据的输入，通过

6、注册定标子模块以图像检测模块的输出结果为数据的输入，通过注册定标子模块以图像检测模块的输出结果为数据的输入，通过相机标定内部参数的算法和相机标定的外部参数的算法，将程序相机标定内部参数的算法和相机标定的外部参数的算法，将程序相机标定内部参数的算法和相机标定的外部参数的算法，将程序相机标定内部参数的算法和相机标定的外部参数的算法，将程序中所用到标记的三维位置和姿态计算出来，最后相机的外部参数中所用到标记的三维位置和姿态计算出来，最后相机的外部参数中所用到标记的三维位置和姿态计算出来，最后相机的外部参数中所用到标记的三维位置和姿态计算出来，最后相机的外部参数作为输出结果输入到虚实结合子模块，用作为

7、输出结果输入到虚实结合子模块，用作为输出结果输入到虚实结合子模块，用作为输出结果输入到虚实结合子模块，用openGLopenGLopenGLopenGL等软件中的等软件中的等软件中的等软件中的虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融合的场景。合的场景。合的场景。合的场景。=深度检测子模块检测特定空间点的深度信息。为了判断系统中渲染深度检测子模块检测特定空间点的深度信息。为了判断系统中渲染深度检测子模块检测特定空间点的深度

8、信息。为了判断系统中渲染深度检测子模块检测特定空间点的深度信息。为了判断系统中渲染的虚拟物体与真实环境中物体的遮挡关系，系统中需要计算虚拟物的虚拟物体与真实环境中物体的遮挡关系，系统中需要计算虚拟物的虚拟物体与真实环境中物体的遮挡关系，系统中需要计算虚拟物的虚拟物体与真实环境中物体的遮挡关系，系统中需要计算虚拟物体与真实场景中物体的深度信息，通过比较它们的深度信息，确定体与真实场景中物体的深度信息，通过比较它们的深度信息，确定体与真实场景中物体的深度信息，通过比较它们的深度信息，确定体与真实场景中物体的深度信息，通过比较它们的深度信息，确定虚拟物体与真实场景中物体的遮挡关系，实现系统中真实场景

9、与虚虚拟物体与真实场景中物体的遮挡关系，实现系统中真实场景与虚虚拟物体与真实场景中物体的遮挡关系，实现系统中真实场景与虚虚拟物体与真实场景中物体的遮挡关系，实现系统中真实场景与虚拟物体遮挡一致性，同时通过检测真实场景中用户的手势等交互动拟物体遮挡一致性，同时通过检测真实场景中用户的手势等交互动拟物体遮挡一致性，同时通过检测真实场景中用户的手势等交互动拟物体遮挡一致性，同时通过检测真实场景中用户的手势等交互动作，完成用户与场景中虚拟物体的自然交互。作，完成用户与场景中虚拟物体的自然交互。作，完成用户与场景中虚拟物体的自然交互。作，完成用户与场景中虚拟物体的自然交互。第五页，讲稿共二十五页哦2.2

10、 系统的模块介绍系统的模块介绍=图形绘制子模块实现对虚拟三维模型实时动态的渲染。图形绘制子模块实现对虚拟三维模型实时动态的渲染。图形绘制子模块实现对虚拟三维模型实时动态的渲染。图形绘制子模块实现对虚拟三维模型实时动态的渲染。=虚实融合模块主要完成前景和虚景融合、遮挡处理、边缘融合等虚实融合模块主要完成前景和虚景融合、遮挡处理、边缘融合等虚实融合模块主要完成前景和虚景融合、遮挡处理、边缘融合等虚实融合模块主要完成前景和虚景融合、遮挡处理、边缘融合等工作。额外的视觉效果，如光照、前景色彩增加等也在模块中实工作。额外的视觉效果，如光照、前景色彩增加等也在模块中实工作。额外的视觉效果，如光照、前景色彩

11、增加等也在模块中实工作。额外的视觉效果，如光照、前景色彩增加等也在模块中实现。为了达到逼真的虚实融合的效果，正确显示虚拟物体和真实现。为了达到逼真的虚实融合的效果，正确显示虚拟物体和真实现。为了达到逼真的虚实融合的效果，正确显示虚拟物体和真实现。为了达到逼真的虚实融合的效果，正确显示虚拟物体和真实物体的遮挡关系，需要将深度检测模块的输出结果作为输入传入物体的遮挡关系，需要将深度检测模块的输出结果作为输入传入物体的遮挡关系，需要将深度检测模块的输出结果作为输入传入物体的遮挡关系，需要将深度检测模块的输出结果作为输入传入虚实结合子模快，虚实结合子模块根据真实场景中的物体与虚拟虚实结合子模快，虚实结

12、合子模块根据真实场景中的物体与虚拟虚实结合子模快，虚实结合子模块根据真实场景中的物体与虚拟虚实结合子模快，虚实结合子模块根据真实场景中的物体与虚拟物体的遮挡关系进行虚拟场景与真实场景的无缝融合。物体的遮挡关系进行虚拟场景与真实场景的无缝融合。物体的遮挡关系进行虚拟场景与真实场景的无缝融合。物体的遮挡关系进行虚拟场景与真实场景的无缝融合。=用户交互子模块为用户提供两种与虚拟三维模型进行直接用户交互子模块为用户提供两种与虚拟三维模型进行直接用户交互子模块为用户提供两种与虚拟三维模型进行直接用户交互子模块为用户提供两种与虚拟三维模型进行直接交互的方式。交互的方式。交互的方式。交互的方式。=多媒体控制

13、模块模拟系统环境中产生的各种各样的声音元素，多媒体控制模块模拟系统环境中产生的各种各样的声音元素，多媒体控制模块模拟系统环境中产生的各种各样的声音元素，多媒体控制模块模拟系统环境中产生的各种各样的声音元素，同时把视频文件播放出来。同时把视频文件播放出来。同时把视频文件播放出来。同时把视频文件播放出来。第六页，讲稿共二十五页哦2.3 图像采集与处理模块图像采集与处理模块=图像采集模块主要功能是从图像输入设备中采集视频流，图像采集模块主要功能是从图像输入设备中采集视频流，图像采集模块主要功能是从图像输入设备中采集视频流，图像采集模块主要功能是从图像输入设备中采集视频流，从视频流中获取视频图像。从视

14、频流中获取视频图像。从视频流中获取视频图像。从视频流中获取视频图像。=增强现实系统图像的采集应该满足实时性、精确性的要求。目增强现实系统图像的采集应该满足实时性、精确性的要求。目增强现实系统图像的采集应该满足实时性、精确性的要求。目增强现实系统图像的采集应该满足实时性、精确性的要求。目前性能较高的前性能较高的前性能较高的前性能较高的CCDCCDCCDCCD摄像头都可以满足系统对图像精度和获取摄像头都可以满足系统对图像精度和获取摄像头都可以满足系统对图像精度和获取摄像头都可以满足系统对图像精度和获取速度的要求。速度的要求。速度的要求。速度的要求。=微软微软微软微软DirectXDirectXDi

15、rectXDirectX开发包中的开发包中的开发包中的开发包中的DireetshowDireetshowDireetshowDireetshow模块，是微软公司发布的在模块，是微软公司发布的在模块，是微软公司发布的在模块，是微软公司发布的在WindowsWindowsWindowsWindows环境下运行的一种流媒体处理体系，是环境下运行的一种流媒体处理体系，是环境下运行的一种流媒体处理体系，是环境下运行的一种流媒体处理体系，是DirectXDirectXDirectXDirectX的的的的组成部分之一。组成部分之一。组成部分之一。组成部分之一。=DirectshowDirectshowDir

16、ectshowDirectshow支持很多种多媒体格式，包括常用的支持很多种多媒体格式，包括常用的支持很多种多媒体格式，包括常用的支持很多种多媒体格式，包括常用的ASFASFASFASF，MPEGMPEGMPEGMPEG，AVIAVIAVIAVI，MP3MP3MP3MP3，WAVWAVWAVWAV等。当系统安装有硬件加速设备的时候，等。当系统安装有硬件加速设备的时候，等。当系统安装有硬件加速设备的时候，等。当系统安装有硬件加速设备的时候，DirectshowDirectshowDirectshowDirectshow可以自动检测并使用硬件加速设备。同样，它可以自动检测并使用硬件加速设备。同样，

17、它可以自动检测并使用硬件加速设备。同样，它可以自动检测并使用硬件加速设备。同样，它也支持没有硬件加速设备的系统。也支持没有硬件加速设备的系统。也支持没有硬件加速设备的系统。也支持没有硬件加速设备的系统。第七页，讲稿共二十五页哦2.3 图像采集与处理模块图像采集与处理模块第八页，讲稿共二十五页哦2.3 图像采集与处理模块图像采集与处理模块=在基于计算机视觉的系统工程中，数字图像处理子模块为在基于计算机视觉的系统工程中，数字图像处理子模块为在基于计算机视觉的系统工程中，数字图像处理子模块为在基于计算机视觉的系统工程中，数字图像处理子模块为三维注册子模块和虚实结合子模块提供非常重要的基础数三维注册子

18、模块和虚实结合子模块提供非常重要的基础数三维注册子模块和虚实结合子模块提供非常重要的基础数三维注册子模块和虚实结合子模块提供非常重要的基础数据。据。据。据。=它的具体功能是通过图像分割、边缘检测等图像处理方法它的具体功能是通过图像分割、边缘检测等图像处理方法它的具体功能是通过图像分割、边缘检测等图像处理方法它的具体功能是通过图像分割、边缘检测等图像处理方法对采集的图像进行处理，从工作环境背景中识别出预先在对采集的图像进行处理，从工作环境背景中识别出预先在对采集的图像进行处理，从工作环境背景中识别出预先在对采集的图像进行处理，从工作环境背景中识别出预先在环境中设置的用于定位的标志。环境中设置的用

19、于定位的标志。环境中设置的用于定位的标志。环境中设置的用于定位的标志。=数字图像处理子模块的性能优劣直接影响系统在三维注册阶段的实数字图像处理子模块的性能优劣直接影响系统在三维注册阶段的实数字图像处理子模块的性能优劣直接影响系统在三维注册阶段的实数字图像处理子模块的性能优劣直接影响系统在三维注册阶段的实时性和虚拟结合模块中无缝融合的精确性。时性和虚拟结合模块中无缝融合的精确性。时性和虚拟结合模块中无缝融合的精确性。时性和虚拟结合模块中无缝融合的精确性。=数字图像处理子模块的三个主要过程是图像预处理与图像分割，边数字图像处理子模块的三个主要过程是图像预处理与图像分割，边数字图像处理子模块的三个主

20、要过程是图像预处理与图像分割，边数字图像处理子模块的三个主要过程是图像预处理与图像分割，边缘检测和提取系统感兴趣的特征点。缘检测和提取系统感兴趣的特征点。缘检测和提取系统感兴趣的特征点。缘检测和提取系统感兴趣的特征点。第九页，讲稿共二十五页哦2.3 图像采集与处理模块图像采集与处理模块=具体实现在第三章详细介绍具体实现在第三章详细介绍具体实现在第三章详细介绍具体实现在第三章详细介绍 第十页，讲稿共二十五页哦2.4 三维模型绘制模块三维模型绘制模块=可以用可以用可以用可以用DirectXDirectXDirectXDirectX、游戏引擎中的绘制三维模型语句和渲染语句来绘、游戏引擎中的绘制三维模

21、型语句和渲染语句来绘、游戏引擎中的绘制三维模型语句和渲染语句来绘、游戏引擎中的绘制三维模型语句和渲染语句来绘制三维模型，但所绘制的模型相对简单。制三维模型，但所绘制的模型相对简单。制三维模型，但所绘制的模型相对简单。制三维模型，但所绘制的模型相对简单。=用用用用3Ds MAX3Ds MAX3Ds MAX3Ds MAX、MayaMayaMayaMaya来绘制三维模型，然后导出到增强现实程来绘制三维模型，然后导出到增强现实程来绘制三维模型，然后导出到增强现实程来绘制三维模型，然后导出到增强现实程序开发环境。序开发环境。序开发环境。序开发环境。=三维模型的运动控制由增强现实程序开发环境中的程序实现，

22、但三维模型的运动控制由增强现实程序开发环境中的程序实现，但三维模型的运动控制由增强现实程序开发环境中的程序实现，但三维模型的运动控制由增强现实程序开发环境中的程序实现，但人物运动序列等看可以在人物运动序列等看可以在人物运动序列等看可以在人物运动序列等看可以在3Ds MAX3Ds MAX3Ds MAX3Ds MAX、Maya Maya Maya Maya 中建好后导出。中建好后导出。中建好后导出。中建好后导出。=模型的复制可以用程序实现。模型的复制可以用程序实现。模型的复制可以用程序实现。模型的复制可以用程序实现。=具体绘制方法在第四章中详细介绍具体绘制方法在第四章中详细介绍具体绘制方法在第四章

23、中详细介绍具体绘制方法在第四章中详细介绍第十一页，讲稿共二十五页哦2.5 标识识别模块标识识别模块=在增强现实系统中，经过图像分割、边缘检测和轮廓提取在增强现实系统中，经过图像分割、边缘检测和轮廓提取在增强现实系统中，经过图像分割、边缘检测和轮廓提取在增强现实系统中，经过图像分割、边缘检测和轮廓提取之后，我们就可以把以上步骤的结果用于标识识别子模块之后，我们就可以把以上步骤的结果用于标识识别子模块之后，我们就可以把以上步骤的结果用于标识识别子模块之后，我们就可以把以上步骤的结果用于标识识别子模块=根据模式匹配算法，使系统从摄像机的视频图像中正确的根据模式匹配算法，使系统从摄像机的视频图像中正确

24、的根据模式匹配算法，使系统从摄像机的视频图像中正确的根据模式匹配算法，使系统从摄像机的视频图像中正确的识别出预先设计好的标识，同时给出标识的识别出预先设计好的标识，同时给出标识的识别出预先设计好的标识，同时给出标识的识别出预先设计好的标识，同时给出标识的IDIDIDID号码，作为系号码，作为系号码，作为系号码，作为系统中图形显示子模块输入参数的一部分，以使得图形显示子模统中图形显示子模块输入参数的一部分，以使得图形显示子模统中图形显示子模块输入参数的一部分，以使得图形显示子模统中图形显示子模块输入参数的一部分，以使得图形显示子模块将预先设计好的三维模型正确的显示在特定的标记上，实现块将预先设计

25、好的三维模型正确的显示在特定的标记上，实现块将预先设计好的三维模型正确的显示在特定的标记上，实现块将预先设计好的三维模型正确的显示在特定的标记上，实现对真实环境的增强。对真实环境的增强。对真实环境的增强。对真实环境的增强。=标识分为两类，一类是人工设定好的标识，一类是场景中自然具备标识分为两类，一类是人工设定好的标识，一类是场景中自然具备标识分为两类，一类是人工设定好的标识，一类是场景中自然具备标识分为两类，一类是人工设定好的标识，一类是场景中自然具备的。的。的。的。=人工设定好的标识一般由具有一定宽度的黑色封闭的矩形人工设定好的标识一般由具有一定宽度的黑色封闭的矩形人工设定好的标识一般由具有

26、一定宽度的黑色封闭的矩形人工设定好的标识一般由具有一定宽度的黑色封闭的矩形框和内部的各种图形或文字两部分构成。框和内部的各种图形或文字两部分构成。框和内部的各种图形或文字两部分构成。框和内部的各种图形或文字两部分构成。第十二页，讲稿共二十五页哦2.5 标识识别模块标识识别模块对于人工设定好的标识对于人工设定好的标识对于人工设定好的标识对于人工设定好的标识=通过对视频中的每一帧图像运用图像分割、边缘提取、连通过对视频中的每一帧图像运用图像分割、边缘提取、连通过对视频中的每一帧图像运用图像分割、边缘提取、连通过对视频中的每一帧图像运用图像分割、边缘提取、连通区域检测、轮廓提取等过程判断视频图像中是

27、否含有封通区域检测、轮廓提取等过程判断视频图像中是否含有封通区域检测、轮廓提取等过程判断视频图像中是否含有封通区域检测、轮廓提取等过程判断视频图像中是否含有封闭的黑色矩形框。闭的黑色矩形框。闭的黑色矩形框。闭的黑色矩形框。=匹配连通区域中的四边形结构，记录视频图像中所有标识匹配连通区域中的四边形结构，记录视频图像中所有标识匹配连通区域中的四边形结构，记录视频图像中所有标识匹配连通区域中的四边形结构，记录视频图像中所有标识所在区域和坐标。所在区域和坐标。所在区域和坐标。所在区域和坐标。=分别提取各个标识四边形的边缘像素坐标，找出四边形标分别提取各个标识四边形的边缘像素坐标，找出四边形标分别提取各

28、个标识四边形的边缘像素坐标，找出四边形标分别提取各个标识四边形的边缘像素坐标，找出四边形标识四个顶点坐标，计算出标识边缘的直线方程识四个顶点坐标，计算出标识边缘的直线方程识四个顶点坐标，计算出标识边缘的直线方程识四个顶点坐标，计算出标识边缘的直线方程(屏幕坐标屏幕坐标屏幕坐标屏幕坐标)。=由于系统中使用的标识记是事先设计的有规则的标识，所由于系统中使用的标识记是事先设计的有规则的标识，所由于系统中使用的标识记是事先设计的有规则的标识，所由于系统中使用的标识记是事先设计的有规则的标识，所以能够快速获得检测结果。以能够快速获得检测结果。以能够快速获得检测结果。以能够快速获得检测结果。第十三页，讲稿

29、共二十五页哦2.5 标识识别模块标识识别模块对于人工设定好的标识对于人工设定好的标识对于人工设定好的标识对于人工设定好的标识=标识所代表的具体信息用标识内部的图形或文字表示，如表示何种标识所代表的具体信息用标识内部的图形或文字表示，如表示何种标识所代表的具体信息用标识内部的图形或文字表示，如表示何种标识所代表的具体信息用标识内部的图形或文字表示，如表示何种目标或在此应显示何种虚拟物体。目标或在此应显示何种虚拟物体。目标或在此应显示何种虚拟物体。目标或在此应显示何种虚拟物体。=具体的标识内部图像可以根据需要手动选择任意的图像作为标识具体的标识内部图像可以根据需要手动选择任意的图像作为标识具体的标

30、识内部图像可以根据需要手动选择任意的图像作为标识具体的标识内部图像可以根据需要手动选择任意的图像作为标识物，可以通过几种图元的组合自动生成工程中所需要标识。物，可以通过几种图元的组合自动生成工程中所需要标识。物，可以通过几种图元的组合自动生成工程中所需要标识。物，可以通过几种图元的组合自动生成工程中所需要标识。=进行模板匹配，来实现标识识别。进行模板匹配，来实现标识识别。进行模板匹配，来实现标识识别。进行模板匹配，来实现标识识别。=在做标识匹配前，需要进行图像正规化。在做标识匹配前，需要进行图像正规化。在做标识匹配前，需要进行图像正规化。在做标识匹配前，需要进行图像正规化。第十四页，讲稿共二十

31、五页哦2.5 标识识别模块标识识别模块图像正规化图像正规化图像正规化图像正规化=系统中采集图像的摄像头在采集图像的时候处于随机的位系统中采集图像的摄像头在采集图像的时候处于随机的位系统中采集图像的摄像头在采集图像的时候处于随机的位系统中采集图像的摄像头在采集图像的时候处于随机的位置，即从任何角度任何位置拍摄都可以，那么，摄像头镜置，即从任何角度任何位置拍摄都可以，那么，摄像头镜置，即从任何角度任何位置拍摄都可以，那么，摄像头镜置，即从任何角度任何位置拍摄都可以，那么，摄像头镜面不一定与标识物的平面是平行的，摄像头的光轴也并不面不一定与标识物的平面是平行的，摄像头的光轴也并不面不一定与标识物的平

32、面是平行的，摄像头的光轴也并不面不一定与标识物的平面是平行的，摄像头的光轴也并不一定是垂直于标识物。一定是垂直于标识物。一定是垂直于标识物。一定是垂直于标识物。=所以采集到的图像也是不规则的，标识物的外轮廓发生了一定的所以采集到的图像也是不规则的，标识物的外轮廓发生了一定的所以采集到的图像也是不规则的，标识物的外轮廓发生了一定的所以采集到的图像也是不规则的，标识物的外轮廓发生了一定的变形，这些变形包括平移、旋转、缩放仿射变形等。变形，这些变形包括平移、旋转、缩放仿射变形等。变形，这些变形包括平移、旋转、缩放仿射变形等。变形，这些变形包括平移、旋转、缩放仿射变形等。=为了用预先制作的模版和图像进

33、行匹配，从而识别标识物的为了用预先制作的模版和图像进行匹配，从而识别标识物的为了用预先制作的模版和图像进行匹配，从而识别标识物的为了用预先制作的模版和图像进行匹配，从而识别标识物的IDIDIDID号码，需要对图像进行几何变换，使图像正规化号码，需要对图像进行几何变换，使图像正规化号码，需要对图像进行几何变换，使图像正规化号码，需要对图像进行几何变换，使图像正规化第十五页，讲稿共二十五页哦2.5 标识识别模块标识识别模块图像正规化图像正规化图像正规化图像正规化=将从摄像头获取的标识图像转变为摄像头和图像是正对着的，将从摄像头获取的标识图像转变为摄像头和图像是正对着的，将从摄像头获取的标识图像转变

34、为摄像头和图像是正对着的，将从摄像头获取的标识图像转变为摄像头和图像是正对着的，摄像头的光心垂直于标识物时拍摄的视频图像。一般情况下，摄像头的光心垂直于标识物时拍摄的视频图像。一般情况下，摄像头的光心垂直于标识物时拍摄的视频图像。一般情况下，摄像头的光心垂直于标识物时拍摄的视频图像。一般情况下，由于由摄像机引起的这种图像变换是仿射变换。由于由摄像机引起的这种图像变换是仿射变换。由于由摄像机引起的这种图像变换是仿射变换。由于由摄像机引起的这种图像变换是仿射变换。=通常情况下，这种变换是线性的，即能够保持线段的直线性、距离通常情况下，这种变换是线性的，即能够保持线段的直线性、距离通常情况下，这种变

35、换是线性的，即能够保持线段的直线性、距离通常情况下，这种变换是线性的，即能够保持线段的直线性、距离化、平行性不变。在图像线性变形的假设条件下，变形图像点的坐化、平行性不变。在图像线性变形的假设条件下，变形图像点的坐化、平行性不变。在图像线性变形的假设条件下，变形图像点的坐化、平行性不变。在图像线性变形的假设条件下，变形图像点的坐标标标标(X,Y)(X,Y)(X,Y)(X,Y)与原图像上点的坐标与原图像上点的坐标与原图像上点的坐标与原图像上点的坐标(x,y)(x,y)(x,y)(x,y)之间的关系是之间的关系是之间的关系是之间的关系是:第十六页，讲稿共二十五页哦2.5 标识识别模块标识识别模块=

36、其中，其中，其中，其中，CCCC为为为为3*33*33*33*3的矩阵，这个矩阵的第三列对平面图像没有影的矩阵，这个矩阵的第三列对平面图像没有影的矩阵，这个矩阵的第三列对平面图像没有影的矩阵，这个矩阵的第三列对平面图像没有影响，所以只要确定了变形图像上的响，所以只要确定了变形图像上的响，所以只要确定了变形图像上的响，所以只要确定了变形图像上的3 3 3 3个点以及在没有变形图像上个点以及在没有变形图像上个点以及在没有变形图像上个点以及在没有变形图像上与它们对应的与它们对应的与它们对应的与它们对应的3 3 3 3个点的坐标，就可以代入方程组，求出方程个点的坐标，就可以代入方程组，求出方程个点的坐

37、标，就可以代入方程组，求出方程个点的坐标，就可以代入方程组，求出方程中的六个未知数。也就是求得了变形图像和未变形图像之中的六个未知数。也就是求得了变形图像和未变形图像之中的六个未知数。也就是求得了变形图像和未变形图像之中的六个未知数。也就是求得了变形图像和未变形图像之间的对应关系。间的对应关系。间的对应关系。间的对应关系。第十七页，讲稿共二十五页哦2.5 标识识别模块标识识别模块模板匹配模板匹配模板匹配模板匹配=图像匹配技术是数字图像处理领域的一项重要研究。图像匹配技术是数字图像处理领域的一项重要研究。图像匹配技术是数字图像处理领域的一项重要研究。图像匹配技术是数字图像处理领域的一项重要研究。

38、=根据已知模式根据已知模式根据已知模式根据已知模式(模板图模板图模板图模板图)，到另一幅图中搜索相匹配的子图像的过程，到另一幅图中搜索相匹配的子图像的过程，到另一幅图中搜索相匹配的子图像的过程，到另一幅图中搜索相匹配的子图像的过程，称为模板匹配。称为模板匹配。称为模板匹配。称为模板匹配。=模板就是一幅已知的小图像，具体地说模板匹配的过程是在一幅模板就是一幅已知的小图像，具体地说模板匹配的过程是在一幅模板就是一幅已知的小图像，具体地说模板匹配的过程是在一幅模板就是一幅已知的小图像，具体地说模板匹配的过程是在一幅大图像中搜寻目标，己知该图中有要找的目标，通过一定的算法大图像中搜寻目标，己知该图中有

39、要找的目标，通过一定的算法大图像中搜寻目标，己知该图中有要找的目标，通过一定的算法大图像中搜寻目标，己知该图中有要找的目标，通过一定的算法可以在图中找到目标，确定其坐标位置。可以在图中找到目标，确定其坐标位置。可以在图中找到目标，确定其坐标位置。可以在图中找到目标，确定其坐标位置。=图像的模板匹配技术可以分成直接基于灰度值的方法以及基于特图像的模板匹配技术可以分成直接基于灰度值的方法以及基于特图像的模板匹配技术可以分成直接基于灰度值的方法以及基于特图像的模板匹配技术可以分成直接基于灰度值的方法以及基于特征提取的方法两大类。征提取的方法两大类。征提取的方法两大类。征提取的方法两大类。第十八页，讲

40、稿共二十五页哦2.5 标识识别模块标识识别模块=一幅图像与另一幅图像接近的程度需要一个尺度来描述，在数学上一幅图像与另一幅图像接近的程度需要一个尺度来描述，在数学上一幅图像与另一幅图像接近的程度需要一个尺度来描述，在数学上一幅图像与另一幅图像接近的程度需要一个尺度来描述，在数学上常用向量的范数做为一个尺度。常用向量的范数做为一个尺度。常用向量的范数做为一个尺度。常用向量的范数做为一个尺度。=假设输入图像为假设输入图像为假设输入图像为假设输入图像为MMMM，已知图像为，已知图像为，已知图像为，已知图像为T T T T，它们之间的相似度可以用下式衡，它们之间的相似度可以用下式衡，它们之间的相似度可

41、以用下式衡，它们之间的相似度可以用下式衡量：量：量：量：=其中，其中，其中，其中，d d d d是一个距离标量，表示两个向量之间的距离。通过在是一个距离标量，表示两个向量之间的距离。通过在是一个距离标量，表示两个向量之间的距离。通过在是一个距离标量，表示两个向量之间的距离。通过在图像中寻找使图像中寻找使图像中寻找使图像中寻找使d d d d值最小的区域，确定被寻找的图像值最小的区域，确定被寻找的图像值最小的区域，确定被寻找的图像值最小的区域，确定被寻找的图像T T T T在输入图像在输入图像在输入图像在输入图像中的位置等信息。为了防止出现匹配错误的情况，一般会在应用中的位置等信息。为了防止出现

42、匹配错误的情况，一般会在应用中的位置等信息。为了防止出现匹配错误的情况，一般会在应用中的位置等信息。为了防止出现匹配错误的情况，一般会在应用中设置一个阀值，当中设置一个阀值，当中设置一个阀值，当中设置一个阀值，当d d d d小于某个阀值时，认为两幅图像有一定小于某个阀值时，认为两幅图像有一定小于某个阀值时，认为两幅图像有一定小于某个阀值时，认为两幅图像有一定可比的相似度，当可比的相似度，当可比的相似度，当可比的相似度，当d d d d大于某个阀值时，认为两幅图像不具有可比的大于某个阀值时，认为两幅图像不具有可比的大于某个阀值时，认为两幅图像不具有可比的大于某个阀值时，认为两幅图像不具有可比的

43、相似度，不参与相似度，不参与相似度，不参与相似度，不参与d d d d值的比较。值的比较。值的比较。值的比较。第十九页，讲稿共二十五页哦2.5 标识识别模块标识识别模块=由于在拍摄图像的时候，会因为光照强度不同，获取的图像在灰度由于在拍摄图像的时候，会因为光照强度不同，获取的图像在灰度由于在拍摄图像的时候，会因为光照强度不同，获取的图像在灰度由于在拍摄图像的时候，会因为光照强度不同，获取的图像在灰度级的分布上会不同，这种情况使得两张原本形状相似的图像被检测级的分布上会不同，这种情况使得两张原本形状相似的图像被检测级的分布上会不同，这种情况使得两张原本形状相似的图像被检测级的分布上会不同，这种情

44、况使得两张原本形状相似的图像被检测为不相似。为了避免这种情况，实际应用中使用两个向量的夹角这为不相似。为了避免这种情况，实际应用中使用两个向量的夹角这为不相似。为了避免这种情况，实际应用中使用两个向量的夹角这为不相似。为了避免这种情况，实际应用中使用两个向量的夹角这个标准来衡量两个图像的相似度，公式如下个标准来衡量两个图像的相似度，公式如下个标准来衡量两个图像的相似度，公式如下个标准来衡量两个图像的相似度，公式如下:=系统中采用标准相似度来进行模版匹配。所采用的特征是图像的标识物系统中采用标准相似度来进行模版匹配。所采用的特征是图像的标识物系统中采用标准相似度来进行模版匹配。所采用的特征是图像

45、的标识物系统中采用标准相似度来进行模版匹配。所采用的特征是图像的标识物区域的面积比几何特征。面积比计算比较简单，实时性好区域的面积比几何特征。面积比计算比较简单，实时性好区域的面积比几何特征。面积比计算比较简单，实时性好区域的面积比几何特征。面积比计算比较简单，实时性好;同时在图像同时在图像同时在图像同时在图像进行线性变换的过程中面积比特征不会改变。在对系统的标识物事先进行线性变换的过程中面积比特征不会改变。在对系统的标识物事先进行线性变换的过程中面积比特征不会改变。在对系统的标识物事先进行线性变换的过程中面积比特征不会改变。在对系统的标识物事先设定好的情况下会有较高的精度。设定好的情况下会有

46、较高的精度。设定好的情况下会有较高的精度。设定好的情况下会有较高的精度。第二十页，讲稿共二十五页哦2.6 三维注册模块三维注册模块=增强现实系统必须能够实时地检测出观测者增强现实系统必须能够实时地检测出观测者增强现实系统必须能够实时地检测出观测者增强现实系统必须能够实时地检测出观测者(或摄像机或摄像机或摄像机或摄像机)相对于真相对于真相对于真相对于真实场景的位置和方向角，以及成像系统实场景的位置和方向角，以及成像系统实场景的位置和方向角，以及成像系统实场景的位置和方向角，以及成像系统(摄像机摄像机摄像机摄像机)的内部参数的内部参数的内部参数的内部参数(焦距和焦距和焦距和焦距和像元高宽比等像元高

47、宽比等像元高宽比等像元高宽比等)=根据这些信息来实时确定所要添加的虚拟信息在真实空间中的映根据这些信息来实时确定所要添加的虚拟信息在真实空间中的映根据这些信息来实时确定所要添加的虚拟信息在真实空间中的映根据这些信息来实时确定所要添加的虚拟信息在真实空间中的映射位置，并将这些信息实时显示在图象中的正确位置。射位置，并将这些信息实时显示在图象中的正确位置。射位置，并将这些信息实时显示在图象中的正确位置。射位置，并将这些信息实时显示在图象中的正确位置。=在用户看来，无论从任何角度观察，都应该使虚拟物体与真实场景保持在用户看来，无论从任何角度观察，都应该使虚拟物体与真实场景保持在用户看来，无论从任何角

48、度观察，都应该使虚拟物体与真实场景保持在用户看来，无论从任何角度观察，都应该使虚拟物体与真实场景保持三维欧氏空间的几何一致性。三维欧氏空间的几何一致性。三维欧氏空间的几何一致性。三维欧氏空间的几何一致性。=这就是这就是这就是这就是ARARARAR中的虚实注册中的虚实注册中的虚实注册中的虚实注册(Registration)(Registration)(Registration)(Registration)所要完成的任务。所要完成的任务。所要完成的任务。所要完成的任务。第二十一页，讲稿共二十五页哦2.6 三维注册模块三维注册模块=三维注册子模块以图像检测模块的输出结果为数据的输入，通过相机标三维注

49、册子模块以图像检测模块的输出结果为数据的输入，通过相机标三维注册子模块以图像检测模块的输出结果为数据的输入，通过相机标三维注册子模块以图像检测模块的输出结果为数据的输入，通过相机标定内部参数的算法和相机标定的外部参数的算法，将程序中所用到标定内部参数的算法和相机标定的外部参数的算法，将程序中所用到标定内部参数的算法和相机标定的外部参数的算法，将程序中所用到标定内部参数的算法和相机标定的外部参数的算法，将程序中所用到标记的三维位置和姿态计算出来。记的三维位置和姿态计算出来。记的三维位置和姿态计算出来。记的三维位置和姿态计算出来。=相机的外部参数作为输出结果输入到虚实融合子模块，用相机的外部参数作

50、为输出结果输入到虚实融合子模块，用相机的外部参数作为输出结果输入到虚实融合子模块，用相机的外部参数作为输出结果输入到虚实融合子模块，用DirectXDirectXDirectXDirectX或或或或openGLopenGLopenGLopenGL中的虚拟相机模拟真实世界中的相机，产生良中的虚拟相机模拟真实世界中的相机，产生良中的虚拟相机模拟真实世界中的相机，产生良中的虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融合的场景。好的虚实环境无缝融合的场景。好的虚实环境无缝融合的场景。好的虚实环境无缝融合的场景。=将三维的虚拟动画模型渲染到特定的标识物上，实现增强现实的效果。将三维的虚拟动画模