基于ARToolKit的增强现实技术在恐龙博物馆中的应用研究8029879.docx

《基于ARToolKit的增强现实技术在恐龙博物馆中的应用研究8029879.docx》由会员分享，可在线阅读，更多相关《基于ARToolKit的增强现实技术在恐龙博物馆中的应用研究8029879.docx（62页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、西南交通大学硕士学位论文基于ARToolKit的增强现实技术在恐龙博物馆中的应用研究姓名：李江申请学位级别：硕士专业：计算机应应用技术指导教师：周荣荣辉201005001西南交通大学硕硕士研究生学学位论文第页摘要增强现实技术（，简称）是把虚虚拟的物体叠叠加到现实世世界的图像上，实现人人与虚拟物体体的交互，这这些虚拟物体体可以是文字字，图片，模型或视视频等等。是一套套基于语言言的增强现实实系统开发包包，是实现增增强现实技术术的工具之一，也是目目前的一个研研究热点，借借助它可以很很容易的进行行增强现实系系统的开发。采用计计算机视觉技技术，能够实实时的精确地地计算出用户户的视点，从从而将虚拟物物体精

2、确地叠加到到现实世界图图像上，另外外算算法便于移植植，尤其是在在移动设备上的移植。本文分析了算法流流程，设计并并实现了将恐恐龙虚拟视频频叠加到现实实世界的桌面人机交互互系统，并研研究了标记检检测识别时位位图图像匹配配算法和数学学模型。本文首先介绍了了的基本本概念，主要要研究现状，分分析了算法流程程，总结了基于飚算算法的其他移移植版本与相相应平台技术术。其次本文研究了了标记检测识识别时位图图图像匹配计算算放法，分析析其他图像匹匹配计算方法，对几种图图像匹配计算算方法进行比比较，选取合合适的计算方方法，提高了了匹配结果的的精准值，并对匹匹配结果进行行仿真。最后本文研究了了增强现实技技术在恐龙博博物

3、馆中的应应用前景，并并根据一个基基于算法的的开发包，设设计了一个基基于恐龙图样样矩形标记检检测识别的桌面人机交互增增强现实系统统。关键词：增强现现实；标记检检测；恐龙；图像匹配西南交通大学硕硕士研究生学学位论文第页，：；西南交通大学曲曲南父逋大字字学位论文版权使使用授权书本学位论文作者者完全了解学学校有关保留留、使用学位位论文的规定定，同意学校校保留并向国家有关部门门或机构送交交论文的复印印件和电子版版，允许论文文被查阅和借借阅。本人授授权西南交通大学学可以将本论论文的全部或或部分内容编编入有关数据据库进行检索索，可以采用用影印、缩印或扫扫描等复印手手段保存和汇汇编本学位论论文。本学位论文属于

4、于保密口，在在年解密后适适用本授权书书；不保密断植用本授权权书。（请在以上方框框内打“寸）：乎坼坼日期：细小西南交通大学硕硕士学位论文文主要工作（贡贡献）声明本人在学位论文文中所做的主主要工作或贡贡献如下：（）研究了算法法流程，分析析了算法中矩矩形标记物的的检测识别，跟跟踪定位原理，总结了基基于算法的其他他移植版本及及相关技术。（）对标记物的的图像匹配值值计算方法进进行分析，分分析其他图像像匹配计算方法，对几种图图像匹配计算算方法进行比比较，选取合合适的计算方方法，提高了了匹配结果的的精准值，并进行行仿真。（）研究基于于算算法的增强现现实技术在恐恐龙博物馆里里的应用，设设计了一个基于开发包的的

5、桌面增强现现实人机交互互系统，该系系统主要是通通过对恐龙图图样的矩形标记进进行检测识别别，并加载相相关恐龙虚拟拟视频，实现现人与虚拟视视频的交互。本人郑重声明：所呈交的学学位论文，是是在导师指导导下独立进行行研究工作所所得的成果。除文中已经经注明引用的的内容外，本本论文不包含含任何其他个个人或集体已已经发表或撰撰写过的研究成果果。对本文的的研究做出贡贡献的个人和和集体，均已已在文中作了了明确说明。本人完全了解违违反上述声明明所引起的一一切法律责任任将由本人承承担。学位论文作者签签名：彩日期：扣。一西南交通大学硕硕士研究生学学位论文第页研究背景景第章绪论增强现实技术（，简称）从广义上上来说是虚拟

6、拟现实技术的的一个分支，从狭义义上来说增强强现实与虚拟拟现实又有着着本质的区别别，虚拟现实实（，简称）是让计算算机完全虚拟拟现实环境，使使用户的视觉觉、听觉和触触觉等感官完全沉浸在虚拟拟环境中，实实现用户与虚虚拟之间的交交互，用户的的视觉对象是是完全虚拟的的，而则是在用用户所处的现现有现实环境境的基础上加加载虚拟场景景，在现实场场景的基础上上扩展用户视觉，实实现用户与虚虚拟以及现实实之间的交互互。因此增强强现实技术的的研究不仅是在虚拟现实技技术的基础上上前进了一步步，更重要的的是它包含了了新的虚拟理理念，有着更更广阔的应用前景景和商业价值值。增强现实一词诞诞生于世世纪年代代初，当时波波音公司的

7、和和他的同事在他们设计的一一个辅助布线线系统中提出出了增强现实实这个名词，该该系统依靠（光光学透视头盔显示示器，）把由由简单线条绘绘制的布线路径和文字提提示信息实时时地叠加用户户的视野中，叠叠加的这些信信息可以帮助助用户逐步地完成拆卸过程程，以减少用用户在日常工工作中出错的的机会【】。随随着技术术的发展，又又相继出现了多种增增强现实应用用系统，主要要集中在医疗疗、制造与维维修、机器人人动作路径规规划、娱乐和军事事等几个方面面。通常是以透透过式头盔显显示系统【巧】和三维维注册（系统中用户户观察点和计计算机生成的虚拟物体体的定位）系系统相结合的的形式来实现现的】。通通过三维注册册方式，将虚虚拟物体

8、加载到现实场场景中，从而而使现实场景景得到增强，实实现用户与虚虚拟和现实场场景的实时交互。其中加载载的虚拟物体体可以是图片片、模型型、视频、非非几何形的文文字信息等等等。系统开发的的工具有多种种，如系列、和掣。其其中是一一套基于语语言及的增增强现实系统统开发包，该该工具包是最最初由日本大阪大学学的博士士于年在华盛顿顿大学人机接接口实验室（）设计开发发的一。目前已成成为领域域内最广泛的的开发包，目目前比较常见的晒工具具包、工工具包以及基基于手机移动动设备的（基基于）工具具包和￥（基基于）等工具具包都是在算法法基础上移植植用来开发系统的开开发包。随着人们对研究的逐渐渐深入，目前前增强现现实技术在博

9、博物馆应用方方面开始受到关注，欧洲已已经开始有恐恐龙博物馆使使用技术术进行展示，但但技术尚尚未在恐龙博博物馆中开始大规规模应用，目目前仍处于研研究阶段，因因此研究技术在博物物馆中的应用用具有非常好的前前景和价值。西南交通大学硕硕士研究生学学位论文第页国内内外研究现状状增强现实技术自自问世以来，国国内外许多大大学，实验室室和研究机构构等科研单位位都对充满兴趣并并进行研究，取取得了许多成成果，这使得得技术越越来越成熟，应应用也越来越广泛。美国麻省理工大大学的实验验室利用技术将核磁磁共振或扫描成的图像叠加在病人的身身体部位，通通过头盔显示示器等显示设设备扩展医师师的视野，使使医师能实时时地掌握病人身

10、体体部位的信息息。在医学领领域的应用上上，系统统还可以通过过图像或文字字信息的叠加增强为为医师提供精精确地手术导导航，医师根根据提示逐步步完成手术操操作，可以大大大提高手术的成成功率【。在工业设计，机机械制造领域域，自波音公公司将用用于辅助布线线系统后，在该领域内应用日趋成成熟，哥伦比比亚大学的和研究组使用用技术进进行激光打印机的维修跟跟踪，该研究究组还将系统用于汽汽车门锁的安安装，该系统统能逐步地指指导毫无经验的用用户进行门锁锁的安装，在在安装过程中中用户还可以以通过语音识识别系统与计计算机进行交互式式对剖引引。在文化遗产领域域，公公司在欧盟的的支持下研制制出了采用技术对古古希腊遗址进行现场

11、复复原的古迹电电子导游系统统。在增强现实领域域，尤其是文文化遗产保护护领域，北京京理工大学王王涌天教授等等作出了突出的贡献和研研究，取得了了丰硕的成果果，王王涌天教授及及其研究小组组利用技技术成功对圆明园相关关遗址进行复复原，目前已已经研制出了了可供演示的的定点观察式式原型系统，用户视野通过该该系统在圆明明园相关遗址址的基础上进进行复原增强强，其效果如如图和和所示】早期的研究究除了对硬件件设备要求较较高外，软件件的设计相对对也比较复杂杂，年博士开发发出了工具，使使得增强强系统可以简简单的在机器上通过单目目摄像机来实实现，对硬件件设备的要求求大大降低。该工具能在不同同的操作系统统上实现，支支持、

12、和操操作系统，这使得得走进人人们的日常生生活起了促进进作用。该工工具的另外一一个有点是算算法精炼简洁，用用语言实现现，便于移植植，的这些优点点使它在增强强现实领域获得了青睐，关关注和研究的研研究机构也越越来越多，其其中国外有华华盛顿大学人机接口实验室室、新西兰坎坎伯雷大学人人机界面实验验室等研究机机构，国内有有浙江大学国国家重点实验验室等。西南交通大学硕硕士研究生学学位论文第页图卜西水塔遗遗景宴址。闰卜西水塔重重建效果“由于的的可移植性，随随着移动通信信的快速发展展，尤其是现现代智能手机机的出现，使基于的增增强现实技术术在智能手机机上的实现成成为可能”研研究者和爱好者们开始始尝试在智能能手机系

13、统上上实现增增强现实系统统，并取得了了重大成果。一些为当前知名名品牌和主流流设计计的系统统逐渐丌始得得到应用目目前比较成熟的智能能手机增强现现实系统有和等。增强现现实浏览器己己经分别在和（）智能手机机上移植实现现“，如图图一所示示；针对系列列的增强现实浏浏览器目前前已经在等版本上上得以实现，如图所示。西南交通大学硕硕士研究生学学位论文第页图卜浏览器器增强现实系系统有着巨大的的应用潜力和和价值，但目目前的技技术总的来说说还不是很成成熟，研究方面也主要集中中在高校的实实验室应用用方面范围狭狭小，功能比比较单一，但但随着硬件设设备和软件技术的的发展以及随随着对研研究的不断深深入，在在人们的日常常生活

14、中将会会得到更广泛的应用用。本文研究究内容与论文文结构本文的研研究内容本文主要研究了了版本本的基本原理和和流程及其相相关技术，主主要研究西南交通大学硕硕士研究生学学位论文第页（）研究了工具具基本原理，分分析了算法中中矩形标记物物的检测识别别，跟踪定位原理，总总结了基于算法法的其他移植植版本及相关关技术。（）研究了中图图像匹配结果果值的精确度度，对标记物检检测识别时图像匹配值值计算方法进进行分析，分分析其他图像像匹配计算方方法，对几种种图像匹配计计算方法进行比较较，选取合适适的计算方法法，提高了匹匹配结果的精精准值，并进进行仿真。（）研究基于于算算法的增强现现实技术在恐恐龙博物馆里里的应用，设设

15、计了一个基于开发包包的桌面增强强现实人机交交互系统，该该系统主要是是通过对恐龙龙图样的矩形标记记进行检测识识别，并加载载相关恐龙虚虚拟视频，实实现人与虚拟拟视频的交互互。论文文结构安排本文主要内容以以及论文结构构安排如下：第一章绪论，首首先介绍了论论文研究背景景，技术术基本概念以以及技术术的诞生；之后介绍了的主要应用用领域、在该该领域取得的的成果以及国国内外研研究现状；最最后介绍论文的内容容以及论文组组织结构。第二章基本原理，首首先介绍了融开发工具具的特点；然然后介绍了基于于计算机视觉觉处理的相关关理论和数学学模型；然后后重点分析了了算法流程和函数数实现流程，并并绘出详细函函数流程图；最后分析

16、了了标记检测时时位图图像匹配算法和数学学模型。第三章图像匹配算算法改进研究究，首先选取取若干不同矩矩形标志，分分析了在从摄摄像头获取的的图像中提取取出的矩形区区域与标志图图像进行匹配配时的匹配结果；然后通过过改进匹配采采用的不等式式数学模型来来改进图像匹匹配算法，并并进行实验结结果分析。第四章恐龙博物物馆中增强现现实系统的研研究与实现，采采用基于算法的的开开发工具，设设计并实现一一个基于单目目视觉的人机机交互系统，该该系统通过检测不同的恐龙龙矩形标记，在在现实场景中中叠加相关恐恐龙视频，并并由用户进行行选择播放与控制。第五章总结与展展望对本文内内容做了一个个简单总结，在在此基础上提提出进一步工

17、工作方向和展望。西南交通大学硕硕士研究生学学位论文第页第章基本原理本章首先介绍了了开开发工具的特特点；然后介介绍了基于计算算机视觉处理的相关关理论和数学学模型；然后后重点分析了了进进行标记检测测和跟踪定位算法流程和函函数实现流程程。概述采用基基于矩形标识识物的视频检检测方法，利利用计算机视视觉技术来计计算观察者视点相对于所所检测到的矩矩形标识的位位置和姿态，即即通过计算摄摄像机坐标系系、矩形标识物坐标系和屏屏幕坐标系的的转换矩阵来来确定所检测测到得矩形标标识的位置和和姿态，从而而实现矩形标识物物的跟踪与定定位，加载虚虚拟物体进行行增强，并显显示增强后的的视频。体系结结构是一组组语言函数数库，它

18、由几几个函数库组组成，分别是是【，】：函数库：包括摄像机机校正与参数数收集、矩形形标识物识别别与跟踪和定定位模块，主要完成摄摄像机定标、矩矩形标识物识识别与三维注注册等功能。函函数库：基于于微软视频开开发包的视频频处理函数库库。主要完成图像实实时采集功能能。函数库：基基于的图形形处理函数库库，完成图像像的实时显示示，三维虚拟场景的的实时渲染等等功能。以上几个库函数数中除外，其其它部分的源源代码都是对对用户开放的的，开发人图体体系结构图西南交通大学硕硕士研究生学学位论文第页工作流程工作流流程如图所示。通过过计算摄像机机相对于矩形形标识物的位置来进行宴宴时跟踪与定定位。首先检测测摄像头设备备是否正

19、常，然然后初始化摄像机内置参数数，导入标识识物模式文件件启动摄像像头捕获视频频，然后根据据用户设定的的阀值将采集到的的一帧彩色图图像进行二值值化处理，转转化为黑自二二值图像，并并进行反色处处理【”土】，如如图所所示。对该二二值图像进行行边缘检测瑚啪连连通域分析，找找出其中所有有的矩形区域，对对这些矩形区区域进行初步步处理，如清清除过小的矩矩形区域，将将筛选过后的的矩形区域在该帧帧彩色图像中中找出相对应应的矩形区域域作为候选区区域，将每一一候选区域与与模式文件库中的的模式文件进进行图像匹配配，得到相应应的匹配值（即即相似的概率率），并记录录该候选区域的相相关状态信息息，对于模板板库中的每一一个模

20、扳而言言，候选区域域中与之匹配配所得到的匹配值值最高者并且且大于某一给给定参考值（该该参考值。开开发人员可适适当更改），则认为匹配成功功，找到了一个个标识，利用用该标识区域域的变形来计计算摄像机变变换矩阵，从而计计算出摄像机机相对于标识识的位置和姿姿盘，这样就就可以进行跟跟踪与定位，叠加虚拟物体。作流程程圈絮三一令西南交通大学硕硕士研究生学学位论文第页主要特性主要特特性田有如如下几点：（）提供了一一个简单的框框架用于构建建实时性增强强现实应用程程序；（）支持多种种操作系统：、等；（）基于计算算机视觉算法法的三维虚拟拟物体注册：（）支持多种种输入源格式式：、等；（）支持多种种格式的视频频数据：、

21、等；（）基于单摄摄像机视觉识识别，支持多多种型号摄像像机：（）通过初始始化摄像机内内置参数，减减少图像失真真效：（）采用基于于标识物的视视频检测方法法进行定位，采采用封闭的黑黑色正方形外外框、内部为任意图形或或圈像但非空空或非完全对对称的矩形标标记为标识物物，矩形边长长标准长度为为，黑色色矩形框内标标记图案标准准长度为，开发发出来的应用用程序需要标识物，这在在一定程度上上制约了工具在在开发户外增增强现实应用用中的使用；（）基于头盔盔显示器或者者实时视频表表示增强效果果；（）基于语言，便于于移植，代码码基于开源授授权协议；基本原理进行实实时跟踪与定定位是基于标标识物的视频频检测以及计计算机视觉技

22、技术，因此标识物和计算算机视觉变换换矩阵是的重要要基础。标记文文件采用封封闭的黑色正正方形外框、内内部为任意图图形或图像但但非对称的矩矩形标记为标识物，如如图所所示。）文字矩形标标记）恐龙龙矩形标记图”标记示示铆西南交通大学硕硕士研究生学学位论文第页图图片片来源于工具包包，图黑色矩形形框内图样来来自吉林大学学博物馆，整整个标记按照照标标准标记制作作而成。在检测测标识物时将将提取的矩形形区域同已经经导入到模式式库中的标识识物模式文件进行匹配配，这些模式式文件是预先先制作好的，模模式文件以文文本格式存在在，该文本文件内容是个个的二维矩阵阵。如图所示，文件根据据提供的标记模式式文件制作应应用程序生成

23、成，光照环境境为室内同光光灯。用的二二潍矩阵存储储标识物每卜像素点的的亮度等级，由由于要分别存存储像素点的亮度等级级，因此用的的二维矩阵来来存储像素点点的等等级，即个矩阵，分别别表示像素点点的、亮度等级矩矩阵。标记是有有方向的，检测时需需要确定标已已的方向从从而进行定位位，因此将该该矩阵中对代代表三个的矩阵阵进行逆时针针旋转以代表表标记的方向向，这样就得得到个的矩矩阵。提供了了函数来制作作标识物模式式文件，开发发人员可通过过该函数来编写制作标记记模式文件的的应用程序或或直接采用提供供的标记模式式文件制作应用程序。模式式文件的扩展展名由开发人人员自行命名名，一般为或，但不不限于此扩展名。】”】叫

24、酬恐龙矩矩形标记的模模式立作由于通通过矩阵的旋旋转来确定标标记的方向，因因此矩形标记记内部图像理理想状态下为非空图图像，这样一一个维的矩矩阵经过旋转转后得到的矩矩阵与原矩阵阵存在差异，每一个矩矩阵代表标记记的一个方向向，倘若矩形形标记内部图图像为空白图图像，则理想想状态下其模式文文件的个二二维矩阵为同同矩阵，这样样无法确定标标记的方向。不不过由于标记模式文文件的制作过过程是：打印印标识物，启启动标记模式式文件制作应应用程序，摄摄像机捕获标识物物，应用程序序对捕获的标标识物处理生生成标记模式式文件。在摄摄像机捕获视视！；）！堡埔们铂”曲船蛐”；塑塑钔靶虬虬孙们种拍拍“驰拈卯卯”西南交通大学硕硕士

25、研究生学学位论文第页频的过程中，由由于打印效果果、光照的影影响以及标记记上的阴影等等其他因素，使使得内部图像为空白的标记记获得的标记记模式文件二二维矩阵并不不相同，如图图和所示，空空白标记图片来源于工具具包，文件件根据提供的标标记模式文件制作应用程序序生成，光照照环境为室内内日光灯。这这样豇增增强现实应用用程序在检测标识物时虽虽然能通过图图像匹配确定定标识物的方方向，但受光光照影响等因因素的影响很很大，使得在检测测过程中出错错率较高，因因此实际应用用中在制作矩形形标识物时黑色正方形框内内的图像一般般采用非空白白图像。内部为空白白图样矩形标标记叫坐标体系闰空白标标记的模式文文件增强现现实系统对检

26、检测到的标记记进行定位所所面临的核心心问题是计算算现实世界标识物坐标标系与摄像机机坐标系之间间的转换矩阵阵，现实世界界标识物坐标标系、摄像机机；：；蛇心晒陀陀姑蛇帅卯蜡蜡吣。；。；。；坠蚰叫叫盯吁帖盯盯蛇驰蛇帖们蛆堕堕”毗们们们跎叭姑叽叽姑鸭卯堕盯盯盯盯盯跖”昭昭踮蛇如”西南交通大学硕硕士研究生学学位论文第页坐标系和屏幕坐坐标系体系结结构如图所示。根据计算机视觉觉基本理论知知测。，设（，）为现现实世界标识识物坐标系，（，）。为为摄像机坐标标系，为摄像机变变化矩阵，和表示摄摄像机的旋转和平移变换换，为正交矩阵阵，为三维维位向量（，），摄摄像机坐标系系与现实世界标识物物坐标系之间间的关系见公公式【

27、。摄像机坐标系标识物坐图坐标系设（，）为屏幕幕坐标系，为摄像机的的内置参数，该该内置参数系统统已经给定，应用用程序启动后后初始化该内内置参数，开开发人员也可可以通过提供的库函数校正该该内置参数，表示某一时时刻，表示示焦距，表表示倾斜系数数，通常取，表示像素的纵纵宽比【】，摄像机机坐标系与屏屏幕坐标系见见公式。圪瞄刚编由公式和和公式得：互如疋五肘（）（）如如圪乙。乙。广肼圪乙。广叫业业西南交通大学硕硕士研究生学学位论文第页肼娟崔肘跟踪与与定位（）是基于于单摄像机视视觉的【，由公式式、公公式和和公式可知矩阵为摄像机内置参参数，该内置置参数已经给定定，可通过提供供的摄像机校正程序进行行参数校正。摄摄

28、像机变换矩矩阵是是变化的，因因此矩阵也也是变化的。对于一个跟踪标标识物中心点点位置并对中中心点在现实实场景中进行行定位的增强强现实系统来来说，除了要确定定标识物中心心点在屏幕坐坐标系中的坐坐标外，还须须计算出该时时刻摄像机变变化矩阵。通过对对标识物进行行检测，对于于与标识物模模式文件匹配配的矩形区域域，计算出该矩形区域的的方向、四条条边线的线性性方程、四个个顶点的二维维坐标、中心心点坐标和区区域内像素点数目目，匹配成功功后计算出该该矩形区域对对应于模式文文件的编号（该该情况为多标记检测，多标标记检测时需需要对多个标标识物模式文文件进行编号号，便于检测测，单标记检检测时不须编号，系系统默认该标标

29、识物模式文文件编号为）以及与该该模式文件的的匹配概率值值。会存储储该矩形区域域的这些状态态信息值。通过提提取的矩形区区域的四个顶顶点的屏幕坐坐标初步估算算摄像机变换换矩阵，然后通过非线性性最小二乘法法对摄像机变变换矩阵进行行迭代求精，从从而求出摄像像机变换矩阵【，。非线性性最乘法迭代求求精见公式。（矗一）（）（）公式中砟砟。和儿，是根据估算算出的初始和公式式计算算出的矩形区区域的四个顶点在理想屏幕幕坐标系下的的坐标，非线线性最小二乘乘法通过求提提取的矩形区区域的顶点与与公式计算算出的顶点之之间的距离平平方和的最小小值来获得最最佳的。通过摄摄像机变换矩矩阵和摄像机机内置参数矩矩阵计算出中中心点在

30、摄像像机坐标系中的三维坐坐标值，从而而进行定位和和虚拟注册（叠叠加虚拟物体体）。乙。丌儿互疋疋五艮他忍忍凰您风。局彤皿皿广叫也儿，巩。畈。，。比乙。西南交通大学硕硕士研究生学学位论文第页函数流程是一组组基于语言言的函数库，在在下下其函数流程程主要分为二二部分，第一部分分：首先检测测摄像头设备备，初始化摄摄像头内置参参数，导入标标识物模式文文件；第二部分：启动摄像头头捕获视频，对对摄像头捕获获的视频进行行标识物检测测，并计算摄像机变换矩阵阵，根据摄像像机变换矩阵阵计算出标识识现实世界标标识物中心点点在摄像机坐坐标系下的三维坐坐标，进行定定位，根据计计算出的中心心点三维坐标标进行虚拟叠叠加。下面以以单标记检测为例例具体分析函数数流程。函数流程全全局变量说明明如图所示。图函