基于ARToolKit的增强现实技术在恐龙博物馆中的应用研究8025638.docx

西南交通大学硕士学位论文基于ARToolKit的增强现实技术在恐龙博物馆中的应用研究姓名：李江申请学位级别：硕士专业：计算机应用技术指导教师：周荣辉20100501西南交通大学硕士研究生学位论文第页摘要增强现实技术（，简称）是把虚拟的物体叠加到现实世界的图像上，实现人与虚拟物体的交互，这些虚拟物体可以是文字，图片，模型或视频等等。是一套基于语言的增强现实系统开发包，是实现增强现实技术的工具之一，也是目前的一个研究热点，借助它可以很容易的进行增强现实系统的开发。采用计算机视觉技术，能够实时的精确地计算出用户的视点，从而将虚拟物体精确地叠加到现实世界图像上，另外算法便于移植，尤其是在移动设备上的移植。本文分析了算法流程，设计并实现了将恐龙虚拟视频叠加到现实世界的桌面人机交互系统，并研究了标记检测识别时位图图像匹配算法和数学模型。本文首先介绍了的基本概念，主要研究现状，分析了算法流程，总结了基于飚算法的其他移植版本与相应平台技术。其次本文研究了标记检测识别时位图图像匹配计算放法，分析其他图像匹配计算方法，对几种图像匹配计算方法进行比较，选取合适的计算方法，提高了匹配结果的精准值，并对匹配结果进行仿真。最后本文研究了增强现实技术在恐龙博物馆中的应用前景，并根据一个基于算法的开发包，设计了一个基于恐龙图样矩形标记检测识别的桌面人机交互增强现实系统。关键词：增强现实；标记检测；恐龙；图像匹配西南交通大学硕士研究生学位论文第页，：；西南交通大学曲南父逋大字学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。本学位论文属于保密口，在年解密后适用本授权书；不保密断植用本授权书。（请在以上方框内打“寸）：乎坼日期：细小西南交通大学硕士学位论文主要工作（贡献）声明本人在学位论文中所做的主要工作或贡献如下：（）研究了算法流程，分析了算法中矩形标记物的检测识别，跟踪定位原理，总结了基于算法的其他移植版本及相关技术。（）对标记物的图像匹配值计算方法进行分析，分析其他图像匹配计算方法，对几种图像匹配计算方法进行比较，选取合适的计算方法，提高了匹配结果的精准值，并进行仿真。（）研究基于算法的增强现实技术在恐龙博物馆里的应用，设计了一个基于开发包的桌面增强现实人机交互系统，该系统主要是通过对恐龙图样的矩形标记进行检测识别，并加载相关恐龙虚拟视频，实现人与虚拟视频的交互。本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。本人完全了解违反上述声明所引起的一切法律责任将由本人承担。学位论文作者签名：彩日期：扣。一西南交通大学硕士研究生学位论文第页研究背景第章绪论增强现实技术（，简称）从广义上来说是虚拟现实技术的一个分支，从狭义上来说增强现实与虚拟现实又有着本质的区别，虚拟现实（，简称）是让计算机完全虚拟现实环境，使用户的视觉、听觉和触觉等感官完全沉浸在虚拟环境中，实现用户与虚拟之间的交互，用户的视觉对象是完全虚拟的，而则是在用户所处的现有现实环境的基础上加载虚拟场景，在现实场景的基础上扩展用户视觉，实现用户与虚拟以及现实之间的交互。因此增强现实技术的研究不仅是在虚拟现实技术的基础上前进了一步，更重要的是它包含了新的虚拟理念，有着更广阔的应用前景和商业价值。增强现实一词诞生于世纪年代初，当时波音公司的和他的同事在他们设计的一个辅助布线系统中提出了增强现实这个名词，该系统依靠（光学透视头盔显示器，）把由简单线条绘制的布线路径和文字提示信息实时地叠加用户的视野中，叠加的这些信息可以帮助用户逐步地完成拆卸过程，以减少用户在日常工作中出错的机会【】。随着技术的发展，又相继出现了多种增强现实应用系统，主要集中在医疗、制造与维修、机器人动作路径规划、娱乐和军事等几个方面。通常是以透过式头盔显示系统【巧】和三维注册（系统中用户观察点和计算机生成的虚拟物体的定位）系统相结合的形式来实现的】。通过三维注册方式，将虚拟物体加载到现实场景中，从而使现实场景得到增强，实现用户与虚拟和现实场景的实时交互。其中加载的虚拟物体可以是图片、模型、视频、非几何形的文字信息等等。系统开发的工具有多种，如系列、和掣。其中是一套基于语言及的增强现实系统开发包，该工具包是最初由日本大阪大学的博士于年在华盛顿大学人机接口实验室（）设计开发的一。目前已成为领域内最广泛的开发包，目前比较常见的晒工具包、工具包以及基于手机移动设备的（基于）工具包和￥（基于）等工具包都是在算法基础上移植用来开发系统的开发包。随着人们对研究的逐渐深入，目前增强现实技术在博物馆应用方面开始受到关注，欧洲已经开始有恐龙博物馆使用技术进行展示，但技术尚未在恐龙博物馆中开始大规模应用，目前仍处于研究阶段，因此研究技术在博物馆中的应用具有非常好的前景和价值。西南交通大学硕士研究生学位论文第页国内外研究现状增强现实技术自问世以来，国内外许多大学，实验室和研究机构等科研单位都对充满兴趣并进行研究，取得了许多成果，这使得技术越来越成熟，应用也越来越广泛。美国麻省理工大学的实验室利用技术将核磁共振或扫描成的图像叠加在病人的身体部位，通过头盔显示器等显示设备扩展医师的视野，使医师能实时地掌握病人身体部位的信息。在医学领域的应用上，系统还可以通过图像或文字信息的叠加增强为医师提供精确地手术导航，医师根据提示逐步完成手术操作，可以大大提高手术的成功率【。在工业设计，机械制造领域，自波音公司将用于辅助布线系统后，在该领域内应用日趋成熟，哥伦比亚大学的和研究组使用技术进行激光打印机的维修跟踪，该研究组还将系统用于汽车门锁的安装，该系统能逐步地指导毫无经验的用户进行门锁的安装，在安装过程中用户还可以通过语音识别系统与计算机进行交互式对剖引。在文化遗产领域，公司在欧盟的支持下研制出了采用技术对古希腊遗址进行现场复原的古迹电子导游系统。在增强现实领域，尤其是文化遗产保护领域，北京理工大学王涌天教授等作出了突出的贡献和研究，取得了丰硕的成果，王涌天教授及其研究小组利用技术成功对圆明园相关遗址进行复原，目前已经研制出了可供演示的定点观察式原型系统，用户视野通过该系统在圆明园相关遗址的基础上进行复原增强，其效果如图和所示】早期的研究除了对硬件设备要求较高外，软件的设计相对也比较复杂，年博士开发出了工具，使得增强系统可以简单的在机器上通过单目摄像机来实现，对硬件设备的要求大大降低。该工具能在不同的操作系统上实现，支持、和操作系统，这使得走进人们的日常生活起了促进作用。该工具的另外一个有点是算法精炼简洁，用语言实现，便于移植，的这些优点使它在增强现实领域获得了青睐，关注和研究的研究机构也越来越多，其中国外有华盛顿大学人机接口实验室、新西兰坎伯雷大学人机界面实验室等研究机构，国内有浙江大学国家重点实验室等。西南交通大学硕士研究生学位论文第页图卜西水塔遗景宴址。闰卜西水塔重建效果“由于的可移植性，随着移动通信的快速发展，尤其是现代智能手机的出现，使基于的增强现实技术在智能手机上的实现成为可能”研究者和爱好者们开始尝试在智能手机系统上实现增强现实系统，并取得了重大成果。一些为当前知名品牌和主流设计的系统逐渐丌始得到应用目前比较成熟的智能手机增强现实系统有和等。增强现实浏览器己经分别在和（）智能手机上移植实现“，如图一所示；针对系列的增强现实浏览器目前已经在等版本上得以实现，如图所示。西南交通大学硕士研究生学位论文第页图卜浏览器增强现实系统有着巨大的应用潜力和价值，但目前的技术总的来说还不是很成熟，研究方面也主要集中在高校的实验室应用方面范围狭小，功能比较单一，但随着硬件设备和软件技术的发展以及随着对研究的不断深入，在人们的日常生活中将会得到更广泛的应用。本文研究内容与论文结构本文的研究内容本文主要研究了版本的基本原理和流程及其相关技术，主要研究西南交通大学硕士研究生学位论文第页（）研究了工具基本原理，分析了算法中矩形标记物的检测识别，跟踪定位原理，总结了基于算法的其他移植版本及相关技术。（）研究了中图像匹配结果值的精确度，对标记物检测识别时图像匹配值计算方法进行分析，分析其他图像匹配计算方法，对几种图像匹配计算方法进行比较，选取合适的计算方法，提高了匹配结果的精准值，并进行仿真。（）研究基于算法的增强现实技术在恐龙博物馆里的应用，设计了一个基于开发包的桌面增强现实人机交互系统，该系统主要是通过对恐龙图样的矩形标记进行检测识别，并加载相关恐龙虚拟视频，实现人与虚拟视频的交互。论文结构安排本文主要内容以及论文结构安排如下：第一章绪论，首先介绍了论文研究背景，技术基本概念以及技术的诞生；之后介绍了的主要应用领域、在该领域取得的成果以及国内外研究现状；最后介绍论文的内容以及论文组织结构。第二章基本原理，首先介绍了融开发工具的特点；然后介绍了基于计算机视觉处理的相关理论和数学模型；然后重点分析了算法流程和函数实现流程，并绘出详细函数流程图；最后分析了标记检测时位图图像匹配算法和数学模型。第三章图像匹配算法改进研究，首先选取若干不同矩形标志，分析了在从摄像头获取的图像中提取出的矩形区域与标志图像进行匹配时的匹配结果；然后通过改进匹配采用的不等式数学模型来改进图像匹配算法，并进行实验结果分析。第四章恐龙博物馆中增强现实系统的研究与实现，采用基于算法的开发工具，设计并实现一个基于单目视觉的人机交互系统，该系统通过检测不同的恐龙矩形标记，在现实场景中叠加相关恐龙视频，并由用户进行选择播放与控制。第五章总结与展望对本文内容做了一个简单总结，在此基础上提出进一步工作方向和展望。西南交通大学硕士研究生学位论文第页第章基本原理本章首先介绍了开发工具的特点；然后介绍了基于计算机视觉处理的相关理论和数学模型；然后重点分析了进行标记检测和跟踪定位算法流程和函数实现流程。概述采用基于矩形标识物的视频检测方法，利用计算机视觉技术来计算观察者视点相对于所检测到的矩形标识的位置和姿态，即通过计算摄像机坐标系、矩形标识物坐标系和屏幕坐标系的转换矩阵来确定所检测到得矩形标识的位置和姿态，从而实现矩形标识物的跟踪与定位，加载虚拟物体进行增强，并显示增强后的视频。体系结构是一组语言函数库，它由几个函数库组成，分别是【，】：函数库：包括摄像机校正与参数收集、矩形标识物识别与跟踪和定位模块，主要完成摄像机定标、矩形标识物识别与三维注册等功能。函数库：基于微软视频开发包的视频处理函数库。主要完成图像实时采集功能。函数库：基于的图形处理函数库，完成图像的实时显示，三维虚拟场景的实时渲染等功能。以上几个库函数中除外，其它部分的源代码都是对用户开放的，开发人图体系结构图西南交通大学硕士研究生学位论文第页工作流程工作流程如图所示。通过计算摄像机相对于矩形标识物的位置来进行宴时跟踪与定位。首先检测摄像头设备是否正常，然后初始化摄像机内置参数，导入标识物模式文件启动摄像头捕获视频，然后根据用户设定的阀值将采集到的一帧彩色图像进行二值化处理，转化为黑自二值图像，并进行反色处理【”土】，如图所示。对该二值图像进行边缘检测瑚啪连通域分析，找出其中所有的矩形区域，对这些矩形区域进行初步处理，如清除过小的矩形区域，将筛选过后的矩形区域在该帧彩色图像中找出相对应的矩形区域作为候选区域，将每一候选区域与模式文件库中的模式文件进行图像匹配，得到相应的匹配值（即相似的概率），并记录该候选区域的相关状态信息，对于模板库中的每一个模扳而言，候选区域中与之匹配所得到的匹配值最高者并且大于某一给定参考值（该参考值。开发人员可适当更改），则认为匹配成功，找到了一个标识，利用该标识区域的变形来计算摄像机变换矩阵，从而计算出摄像机相对于标识的位置和姿盘，这样就可以进行跟踪与定位，叠加虚拟物体。作流程圈絮三一令西南交通大学硕士研究生学位论文第页主要特性主要特性田有如下几点：（）提供了一个简单的框架用于构建实时性增强现实应用程序；（）支持多种操作系统：、等；（）基于计算机视觉算法的三维虚拟物体注册：（）支持多种输入源格式：、等；（）支持多种格式的视频数据：、等；（）基于单摄像机视觉识别，支持多种型号摄像机：（）通过初始化摄像机内置参数，减少图像失真效：（）采用基于标识物的视频检测方法进行定位，采用封闭的黑色正方形外框、内部为任意图形或圈像但非空或非完全对称的矩形标记为标识物，矩形边长标准长度为，黑色矩形框内标记图案标准长度为，开发出来的应用程序需要标识物，这在一定程度上制约了工具在开发户外增强现实应用中的使用；（）基于头盔显示器或者实时视频表示增强效果；（）基于语言，便于移植，代码基于开源授权协议；基本原理进行实时跟踪与定位是基于标识物的视频检测以及计算机视觉技术，因此标识物和计算机视觉变换矩阵是的重要基础。标记文件采用封闭的黑色正方形外框、内部为任意图形或图像但非对称的矩形标记为标识物，如图所示。）文字矩形标记）恐龙矩形标记图”标记示铆西南交通大学硕士研究生学位论文第页图图片来源于工具包，图黑色矩形框内图样来自吉林大学博物馆，整个标记按照标准标记制作而成。在检测标识物时将提取的矩形区域同已经导入到模式库中的标识物模式文件进行匹配，这些模式文件是预先制作好的，模式文件以文本格式存在，该文本文件内容是个的二维矩阵。如图所示，文件根据提供的标记模式文件制作应用程序生成，光照环境为室内同光灯。用的二潍矩阵存储标识物每卜像素点的亮度等级，由于要分别存储像素点的亮度等级，因此用的二维矩阵来存储像素点的等级，即个矩阵，分别表示像素点的、亮度等级矩阵。标记是有方向的，检测时需要确定标已的方向从而进行定位，因此将该矩阵中对代表三个的矩阵进行逆时针旋转以代表标记的方向，这样就得到个的矩阵。提供了函数来制作标识物模式文件，开发人员可通过该函数来编写制作标记模式文件的应用程序或直接采用提供的标记模式文件制作应用程序。模式文件的扩展名由开发人员自行命名，一般为或，但不限于此扩展名。】”】叫酬恐龙矩形标记的模式立作由于通过矩阵的旋转来确定标记的方向，因此矩形标记内部图像理想状态下为非空图像，这样一个维的矩阵经过旋转后得到的矩阵与原矩阵存在差异，每一个矩阵代表标记的一个方向，倘若矩形标记内部图像为空白图像，则理想状态下其模式文件的个二维矩阵为同矩阵，这样无法确定标记的方向。不过由于标记模式文件的制作过程是：打印标识物，启动标记模式文件制作应用程序，摄像机捕获标识物，应用程序对捕获的标识物处理生成标记模式文件。在摄像机捕获视！；）！堡埔¨们铂”曲船¨蛐”¨¨”；塑钔靶虬孙们¨种拍“驰¨拈卯”西南交通大学硕士研究生学位论文第页频的过程中，由于打印效果、光照的影响以及标记上的阴影等其他因素，使得内部图像为空白的标记获得的标记模式文件二维矩阵并不相同，如图和所示，空白标记图片来源于工具包，文件根据提供的标记模式文件制作应用程序生成，光照环境为室内日光灯。这样豇增强现实应用程序在检测标识物时虽然能通过图像匹配确定标识物的方向，但受光照影响等因素的影响很大，使得在检测过程中出错率较高，因此实际应用中在制作矩形标识物时黑色正方形框内的图像一般采用非空白图像。内部为空白图样矩形标记叫坐标体系闰空白标记的模式文件增强现实系统对检测到的标记进行定位所面临的核心问题是计算现实世界标识物坐标系与摄像机坐标系之间的转换矩阵，现实世界标识物坐标系、摄像机；：；蛇¨¨心¨晒陀姑蛇帅卯蜡吣。；。；。；坠蚰叫盯¨吁帖盯蛇驰蛇帖们蛆堕”毗¨们们跎叭姑叽姑鸭卯堕¨盯盯盯盯跖”昭踮蛇如”西南交通大学硕士研究生学位论文第页坐标系和屏幕坐标系体系结构如图所示。根据计算机视觉基本理论知测。，设（，）为现实世界标识物坐标系，（，）。为摄像机坐标系，为摄像机变化矩阵，和表示摄像机的旋转和平移变换，为正交矩阵，为三维位向量（，），摄像机坐标系与现实世界标识物坐标系之间的关系见公式【。摄像机坐标系标识物坐图坐标系设（，）为屏幕坐标系，为摄像机的内置参数，该内置参数系统已经给定，应用程序启动后初始化该内置参数，开发人员也可以通过提供的库函数校正该内置参数，表示某一时刻，表示焦距，表示倾斜系数，通常取，表示像素的纵宽比【】，摄像机坐标系与屏幕坐标系见公式。圪瞄刚编由公式和公式得：互如疋五肘（）（），如如圪乙。乙。广肼圪乙。广叫业西南交通大学硕士研究生学位论文第页肼娟崔肘跟踪与定位（）是基于单摄像机视觉的【，由公式、公式和公式可知矩阵为摄像机内置参数，该内置参数已经给定，可通过提供的摄像机校正程序进行参数校正。摄像机变换矩阵是变化的，因此矩阵也是变化的。对于一个跟踪标识物中心点位置并对中心点在现实场景中进行定位的增强现实系统来说，除了要确定标识物中心点在屏幕坐标系中的坐标外，还须计算出该时刻摄像机变化矩阵。通过对标识物进行检测，对于与标识物模式文件匹配的矩形区域，计算出该矩形区域的方向、四条边线的线性方程、四个顶点的二维坐标、中心点坐标和区域内像素点数目，匹配成功后计算出该矩形区域对应于模式文件的编号（该情况为多标记检测，多标记检测时需要对多个标识物模式文件进行编号，便于检测，单标记检测时不须编号，系统默认该标识物模式文件编号为）以及与该模式文件的匹配概率值。会存储该矩形区域的这些状态信息值。通过提取的矩形区域的四个顶点的屏幕坐标初步估算摄像机变换矩阵，然后通过非线性最小二乘法对摄像机变换矩阵进行迭代求精，从而求出摄像机变换矩阵【，。非线性最乘法迭代求精见公式。÷（矗一）（）（）公式中砟。和儿，是根据估算出的初始和公式计算出的矩形区域的四个顶点在理想屏幕坐标系下的坐标，非线性最小二乘法通过求提取的矩形区域的顶点与公式计算出的顶点之间的距离平方和的最小值来获得最佳的。通过摄像机变换矩阵和摄像机内置参数矩阵计算出中心点在摄像机坐标系中的三维坐标值，从而进行定位和虚拟注册（叠加虚拟物体）。乙。丌儿互疋五艮他忍凰您风。局彤皿广叫也儿，巩。畈。，。比乙。西南交通大学硕士研究生学位论文第页函数流程是一组基于语言的函数库，在下其函数流程主要分为二部分，第一部分：首先检测摄像头设备，初始化摄像头内置参数，导入标识物模式文件；第二部分：启动摄像头捕获视频，对摄像头捕获的视频进行标识物检测，并计算摄像机变换矩阵，根据摄像机变换矩阵计算出标识现实世界标识物中心点在摄像机坐标系下的三维坐标，进行定位，根据计算出的中心点三维坐标进行虚拟叠加。下面以单标记检测为例具体分析函数流程。函数流程全局变量说明如图所示。图函数流程图全局变量第一部分：检测摄像头设备，初始化摄像头内置参数，导入标识物模式文件，函数流程图如图所示。其中局部变量：，表示指向摄像头内置参数数据格式的指针。图中函数参数和返回值说明：函数（），该函数打开摄像头配置文件，参数表示配置文件路径，如果打开成功则返回，否则返回；函数（宰，），该函数设置视频窗口大小，参数、分别表示表示视频窗口的横向长度和纵向长度，成功根据配置文件获得、默认值则返回否则返回；函数（，良木），该函数打开摄像头内置参数文件，并将数据用结构体存储，参数表示摄像头内置参数文件路径，指向空间的指针，如果成功找到内置参数文件并且参数文件结构正确则返回，否则返回；函数（宰，），该函数改变结构体中摄像头内置参数中的视频窗口大小值，并将新的参数数据存入指向的空间，参数值为，和值由用户输入，表示新的视频窗口大小值，为指针，设置成功返回，西南交通大学硕士研究生学位论文第页否则返回；函数（幸），该函数初始化摄像头内置参数，即将新的参数写入中，参数值为，返回值为；、心一肼。返同返回全局变量引用传递给，般为，将局部变量猢引用给脚（，巡攀旦兰婴返同返回全局变量印锄引用给跏（，）全局变量用给，（）全局变量锄引用给（）适一勰，（，篓，）图初始化函数（枣），该函数显示摄像头内置参数数据，参数表示指向新的参数数据的指针，返回；西南交通大学硕士研究生学位论文第页函数（），该函数导入标记模式文件中的矩阵数据，参数表示标记模式文件路径，成功找到标记模式文件，根据导入的标记模式文件的顺序返回相应的编号值，单标记返回，没能找到标记模式文件或标记模式文件格式不正确，则返回；函数（奉，），该函数初始化类库，参数表示摄像头内置参数数据，定义缩放值，一般取或，表示是否启用全屏模式，取表示启用，表示禁用，、表示视频窗口的显示位置，表示以（，）为坐标原点开始显示，表示显示模式，一般取。第二部分：启动摄像头捕获视频，对摄像头捕获的视频进行标识物检测，并计算摄像机变换矩阵，根据摄像机变换矩阵计算出标识物中心点的现实世界三维坐标，进行定位，根据计算出的中心点三维坐标进行虚拟叠加，函数流程图如图所示。其中局部变量表示指向位图图像；表示矩形标记格式；