基于光学图像的多粒度随动环境感知算法-陈昊升.pdf

《基于光学图像的多粒度随动环境感知算法-陈昊升.pdf》由会员分享，可在线阅读，更多相关《基于光学图像的多粒度随动环境感知算法-陈昊升.pdf（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、软件学报ISSN 10009825，CODEN RUXUEWJournal ofSoftware，2016，27(10)：26612675doi：10 13328jcnkijos005083中国科学院软件研究所版权所有基于光学图像的多粒度随动环境感知算法4陈昊升，张格，叶阳东(郑州大学信息工程学院，河南郑州450052)通信作者：叶阳东，Email：ieydyeZZUeducnEmail：jOSiscasaccnhttp：wwwjosorgcnTel：+861062562563摘要： 针对快速三维建模中的室内外随动环境感知问题，提出一种基于光学图像的多粒度随动环境感知算法该算法根据多种光学图像

2、生成拟合真实三维环境的多粒度点云模型，然后通过概率八又树压缩并统一表示已生成的多粒度三维模型进而伴随相机轨迹每个时间节点，通过卡尔曼滤波动态融合多粒度点云模型的概率八叉树表示最终生成唯一的时态融合概率八叉树三维模型，简称TFPOM，使TFPOM能够在较少的噪声影响下以任意粒度动态拟合真实环境该算法配合剪枝和归并策略能够适应多粒度融合和多粒度表示的环境建模要求，有效压缩环境模型存储空间，实现鲁棒的随动环境感知，便于基于环境模型的视觉导航，增强现实等应用实验结果表明，该算法能够在以可穿戴设备为代表的内含多种异构光学图像传感器、低计算效能的平台上实时地得到充分拟合真实动态环境的多粒度TFPOM，基于

3、该模型的视觉导航具有较小的轨迹误差关键词： 随动环境感知；概率八叉树；多粒度；快速三维建模中图法分类号：TP391中文引用格式：陈昊升，张格，叶阳东基于光学图像的多粒度随动环境感知算法软件学报，2016，27(10)：2661-2675http：wwwjOSorgcn1000-98255083htm英文引用格式：Chen HS，Zhang G，Ye YDOptical image based multi-granularity follow-up environment perception algorithmRuan Jian Xue BaoJournal ofSoftware，2016，2

4、7(10)：2661-2675(in Chinese)http：wwwjosorgcn100098255083htmOptical Image Based Multi-Granularity Follow-Up Environment Perception AlgorithmCHEN HaoSheng，ZHANG Ge，YE Yang-Dong(School of Information Engineering，Zhengzhou University，Zhengzhou 450052，China)Abstract：An optical image based multigranularity

5、 follow-up environment perception algorithm is proposed to address the follow-upenvironment perception issue from indoor to outdoor in the field of rapid 3D modelingThe algorithm generates multi-granularity 3Dpoint cloud models which perfectly fit the groundtruth according to different types of opti

6、cal imageA probabilistic octree representationis proposed to uniformly express the 3D point cloud modelsFinally,the expected TFPOM is generated through dynamic ground-tmthfitting at any granularity,and probabilistic octree representation of multigranularity point cloud models are dynamically fused t

7、hroughimplementation of Kalman filter along with the camera trajectoryBenefiting from pruning and merging strategies，the proposed algorithmmeets requirements of multi-granularity fusion and multigranularity representationAs a result，the storage space of environment modelscan be effectively compresse

8、d and robust follow-up environment perception can be achieved，which are essential in environment modelbased visual navigation and augmented reality Experiment results show that the algorithm can generate multigranularity TFPOM whichperfectly fits ground-truth in real time with fewer errors in model

9、based navigation on platforms，such as wearable devices，that areequipped with multiple optical sensors and low computing capabilityKey words：follow-up environment perception；probabilistic octree；multi-granularity；rapid 3D modeling基金项目：国家自然科学基金(61170223，61502434，61502432)Foundation item：National Natur

10、al Science Foundation ofChina(61170223，61202207，61502432)收稿时间：20160120；修改时间：20160325；采用时间：201605-09；jOS在线出版时间：2016-0808CNKI网络优先出版：2016-0809 15：38：19http：wwwcnkinetkcmsdetail112560 TP 201608091538020html万方数据2662 Journal of Software软件学报V0127，No1 0，October 20 1 6基于光学图像的环境感知是指通过多种异构的光学图像传感器，例如单目相机、全景相机、

11、双目相机、红外相机等对真实环境的描述构建高度拟合环境的三维模型随动环境感知不同于以批处理模式离线构建环境模型的基于运动结构恢复(structure from motion，简称SfM)的传统方法，它强调在相机运动过程中根据相机轨迹实时生成环境模型随动环境感知问题实质上是一个基于视觉的同步定位与建图(vision based simultaneouslocalization and mapping，简称visual SLAM)问题，通常使用基于滤波器的方法或基于关键帧的捆集调整法(bundle adjustment，简称BA)求解而传统的基于滤波器，如扩展卡尔曼滤波器的方法因受累计误差和协方差矩

12、阵计算复杂度的限制，已逐步被基于关键帧的捆集调整法取代在visual SLAM领域，文献1】首次提出一种使用单目广角相机作为图像采集设备、基于扩展卡尔曼滤波的MonoSLAM算法，为visual SLAM算法的可行性和易用性奠定了坚实的基础文献【2，3提出一种基于关键帧且定位和建图分离的单目visual SLAM算法PTAMPTAM保持了visual SLAM结构，并使用运动结构重建相关算法对MonoSLAM进行改进其中，分离后的建图工作使用捆集调整法代替扩展卡尔曼滤波，在具有更好的鲁棒性的同时避免了累计误差以及协方差矩阵计算量等限制伴随visual SLAM体系结构的逐步完善，相关工作的重心

13、转移到如何使算法能够获取更加丰富的环境信息和具有更好的精确性以及更强的实时性上其中，文献4】提出一种逐个像素遍历处理的PTAM改进算法，算法虽然能够构建较为精确的三维稠密点云地图，但受计算复杂度约束，其应用场景仅限于较小的桌面场景文献57提出了一种基于图像梯度不依赖于特定图像特征点的半稠密建图方法，并根据单目彩色相机、全景相机、多目立体相机分别提出了相关算法这种方法相对于基于图像特征点的建图方法，可以较大程度地恢复场景细节，但是，由于半稠密区域所恢复的深度采用中心特征点深度近似方法，使得这类算法具有较大的固有和随机噪声文献8】提出了一种基于ORB9】算子的ORBSLAM算法，该算法利用闭环检测

14、机制减少了累计误差，在实际应用中具有较好的鲁棒性，但存在生成的环境模型较为稀疏、缺少较多细节等问题文献10】对文献8】进一步加以补充，提出了ORB特征的半稠密表示文献1114通过主动红外深度相机构建精确稠密的点云地图，其中，文献12考虑到动态场景的恢复问题，文献13】则关注先验模型库为定位与建图所带来的增益受限于现有深度相机支持的最大有效工作景深一般仅为4m且易受室外自然红外线干扰，该类算法一般受限于室内场景环境三维模型存储表示是用于环境感知的visual SLAM中的重要一环，对算法精确性和时间效率起决定性作用其中，文献15，16将空间离散划分为刚体的体素，这种方法存在存储空间占有大、需要预

15、先确定环境的内容等问题另一种被visual SLAM广泛使用的表示形式是点云形式【l 718】，这种表示形式的主要缺陷在于无法明确表示状态为未知(摄像机尚未捕捉到的区域)和空闲(确定为未被实体占用的区域)的区域，对环境的动态性容忍度较低文献19】首次提出使用八叉树用于存储表示，之后，文献20，2l】开始关注是否处于被占用的二值状态文献2224提出一种概率方法以表示状态为占用和空闲的区域上述八叉树表示没有解决存储消耗和置信度闽值问题文献25，26设计了一种概率八又树的表示和相关剪枝等策略，较好地解决了上述问题同时，文献27】还讨论了利用八叉树结构进行有效纹理映射的方法在实际的视觉同步定位与建图中

16、，一般使用以可穿戴设备为代表的硬件平台这些硬件平台大多具有内含多种异构光学图像传感器、低计算效能等特点在环境场景由室内向室外转换时，难以由一种同构图像传感器统一感知例如，在室内具有较高精度的红外相机由于其最小及最大可测距离的限制，无法适用于室外场景，如图1所示，需要双目相机或单目相机辅助另外，各种异构相机衍生出相应不同粒度的环境建图方式目前常用的方法有单目或双目相机的基于图像特征点的稀疏建图方法【1_3，81，单目、双目或全景相机的半稠密建图方法5-7,10】，单目、双目或主动深度相机的基于深度图的稠密建图方法1-14】这3类这些客观因素对统一表示多粒度地图模型提出了挑战另一方面，在相机运动过

17、程中相机姿态不断更新，相应的环境地图需要同步动态增量更新此外还需要考虑不同图像传感器在不同时刻的工作状态，如运动模糊所造成的影响等如何针对不同环境模型的内在特性给予相应的置信度进行有机融合和根据相机时间序列状态动态更新置信度的问题亟待解决本文在深入研究现有算法的基础上，提出了基于光学图像的多粒度随动环境感知算法该算法采集多种异万方数据陈昊升等：基于光学图像的多粒度随动环境感知算法 2663构图像传感器及相应visual SLAM算法所生成的稀疏、半稠密、稠密多种粒度的异构三维点云模型，同时提出一种概率八叉树统一表示生成的若干三维模型然后，通过卡尔曼滤波，在相机运动期间不断融合多种异构点云的置信

18、度，并更新时态融合概率八叉树模型(temporal fused probabilistic octree model，简称TFPOM)，这种融合方法既可以保证环境模型的时空一致性，又可以满足后续增量更新的需求同时，利用一种有效的剪枝和归并策略，在压缩模型存储空间时使环境模型能够以任意粒度动态拟合真实环境，最终实现鲁棒的随动环境感知已有的visual SLAM技术均可借鉴本文算法，融合计算真实场景的动态时空模型，从而避免单源固有噪声和随机噪声的影响，以提高算法鲁棒性，并通过概率八叉树模型压缩特性和本文所提出的剪枝归并策略提高算法效率本文给出其中一种融合稀疏、半稠密、稠密visual SLAM环境

19、模型并给出统一表示的算法实现据我们所知，目前尚未出现融合多源多粒度环境模型的相关算法QFig1 Color image，depth image and registered image of infrared camera under the same sceneRegistered area of the scene is highlighted by red ellipse图1 红外深度相机在同一场景下的彩色、深度和彩色深度配准图图中椭圆标出区域是受相机景深限制唯一能够配准的区域本文主要贡献如下：(1)对真实环境的若干异构点云模型提出一种统一的概率八叉树表示这种统一的概率八叉树表示可以有效

20、地表达状态为占有、空闲和未知的区域然后为这种环境模型的概率八叉树表示提出了剪枝和归并策略，压缩模型存储空间，扩展模型多粒度表示(2)通过为多种异构光学图像传感器提出一种合理的置信度概率模型，伴随相机运动，使用卡尔曼滤波器对上述环境模型的概率八叉树表示提供时态融合，进而生成TFPOM，用于多粒度动态感知真实环境(3)为算法更新过程提出一种模型增量更新的方法，这种方法具有较低的计算复杂度，可以在以穿戴式设备为主的低计算效能的设备上实时运行，便于随动环境感知1 相关知识11多粒度环境感知原理当前visual SLAM所构建的环境模型根据体素的密度分为3种类型：稀疏模型、半稠密模型和稠密模型相关的构建

21、方法高度依赖于具有不同特性的传感器和相关算法实现例如，单目相机一般用于构建稀疏模型和半稠密模型，双目和红外深度相机则用于构建稠密模型现将本文所使用的模型构建方法中的相关原理描述如下稀疏模型的构建原理参考文献8】，通过对视频帧提取ORB图像特征点并在视频帧序列的相邻帧之间或双目图像之间寻找特征匹配，接着使用图像特征点匹配和三角测量从图像中恢复像素的深度信息，使之成为体素与此同时，使用捆集调整法不断优化所有体素的位姿，使其达到最优化，优化后的体素整体构建成环境稀疏地图半稠密模型的构建原理参考文献5】，通过对图像剧烈变化的区域，也就是图像梯度处于极值的区域做图像配准万方数据2664 Journal

22、of Software软件学报V0127，No1 0，October 20 1 6来更新相机位姿更新后的相机位姿配合相关的若干视频帧，通过误差能量函数最小化估计像素深度，这是一种光流的思想获取到图像深度信息后，半稠密模型将图像极值区域的像素群构建相应体素群，因为图像一般包含较多的极值区域，能够恢复较多的图像细节，所以这种体素群构建环境地图的方法称为半稠密建图稠密模型的构建原理是通过视频帧的彩色图和配准的深度图在视频帧序列中不断更新当前相机姿态，并根据相机姿态，将新加入的具有直接深度的体素插入环境点云，从而直接获得稠密环境三维模型12概率八叉树模型八叉树是一种将环境空间迭代细分为八维子空间的存储

23、表示方法在环境感知中，八叉树的叶子节点存储所有的环境体素，非叶子节点称为内点，在插入、剪枝、归并或变更分辨率等树操作后可能转换为叶子节点或高层节点，如图2所示环境空间内的立体度量单位在转换成三维模型中的一个体素后可以分为3种状态其中一种称为未知状态，表示该体素在当前时刻之前相机尚未捕捉到的环境区域中剩余两种相互制约状态分别称为占有和空闲，表示该体素对应的立体度量单位在当前时刻被认为有实体占有和被认为无实体占有在实际对环境的感知过程中，受各种异构相机内部噪声和环境外部噪声的共同影响，当前时刻体素的状态难以由确定的三元状态完全解释，应使用更灵活的概率八叉树表示本文所用概率八叉树的实现可参考文献f2

24、5，26，在第i个叶子节点使用logOdds值上(f)，如式(1)所示，表示对占有状态的置信度P(j)的初始值一般设置为05，表示处于置信度不明确状态根据三元状态的定义，该叶子节点空闲状态的置信度为1屯(f)，而未知状态则会被预先标识r PCiL(i)2 logit(p(i)=logI去I (1)Ll一，LzJJI(a)概率八叉树空间模型Fig2 A typical example of probabilistic octree图2概率八又树示例2基于概率八叉树的多粒度环境模型的统一表示传统环境模型多以单粒度模型为主，而单粒度模型自身存在各异构图像传感器的固有不足，且受模型固有噪声、随机噪声的

25、影响较大多粒度模型的主要困难则在于如何统一多粒度模型的表示，使其具有统一的语义背景综上，本文首先提出一种多粒度环境点云模型及其概率八叉树的统一表示，具体如下所述本文所使用的多粒度的环境模型由稀疏、半稠密、稠密模型三者组成为了较好地可视化算法每一步的结果，选择TUM RGBD数据集28】的Fr3 structure texture far序列，如图3所示，作为被感知的标准环境图4展示了标准序列的稀疏、半稠密和稠密模型从图中可以显著看出，如文献8等构建的稀疏模型可以较为真实地恢复场景的少量细节，如文献5等构建的半稠密模型虽然可以获得较多的环境细节，但噪声较大，在实际运动融合中极易出现地图信息不一致

26、只有如文献11等构建的稠密模型可以得到相机扫描区域较为平滑的三维模型另一方面，稀疏和半稠密模型可以在无GPU加速的情况下实时运行，而稠密模型难以实时生成MJ，在不同的硬件平台上可能会导致不同粒度模型的时序异步或地图不一致万方数据陈昊升等：基于光学图像的多粒度随动环境感知算法 2665(a)彩色图第1帧 (b)彩色图第180帧 (c)彩色罔第406帧 (d)彩色罔第750帧Fig3 Fr3一structuretexturefar sequence of TUM RGBD dataset(938 frames in total)图3 TUM RGBD数据集Fr3 structure texture

27、 far序列()938帧)0U锔出跌量坟乩出 LJ)如盛跌生i一二聋 tkJ铺盖跌兰wj】jj乱盘 LU锅出跌羔“0 Z轴洮圈Fig4 A comparison among sparse，semi dense and dense modelsImage color is set from dark blue to dark red according to its value along corresponding axis图4 3种建模方法所建的多粒度点云模型比对，上层图片所示为稀疏模型，中层图片所示为半稠密模型，底层图片所示为稠密模型其中XYZ视图根据体素相应的x、y、z值由d,N大配以深

28、蓝色到深红色的渐变色本文使用概率八叉树模型统一表示3种模型概率八叉树模型构建时，式(1)所表示的置信度关系随着相机的移动可能会产生3种状态的置信度变化，例如状态为未知的环境区域由摄像机在后续时刻捕捉到而转换为万方数据2666 Journal of Software软件学报V0127，No10，October 2016其他两种状态或者非刚体环境中体素不定时在占有和未知状态相互转换概率八叉树使用式(2)更新时间序列节点r上的logOdds值L(ilz)，其中nZ，为传感器在当前时刻的累计度量，Z(nlz。)根据异构模型的固有置信特性设置，如式(3)所示因为这种logit转换可逆，更新过程可以被解释

29、为一种概率度量更新其中，logOdds值通过反logit变换，如式(4)所示，转换成P(nlzl：，)并由式(5)表示概率更新过程在实际存储过程中还可以转换为占有、倾向占有、空闲、未知4种状态保存以压缩存储空间传统八叉树存储表示方法不具有表示对多种体素状态的置信关系的能力，也不具有伴随时间序列更新的特性相较于文献25，26，本文方法充分考虑到模型自身固有噪声的影响，同时也考虑到模型的存储空间因素，因而更为精确和灵活L(nl Z1，)=L(nI zl一】)+L(nl Z，) (2)L(nI z，)loc。=07， 特征点节点，k=一o3，非特征点节点庀。=06， 灰度极值节点 ，。=一o3，非灰

30、度极值节点 &。=o85，红外已捕捉节点，k=一04，红外未捕捉节点荆21。(删2鬲而1(4)脚J 3I H帮篙等尚I 概率八叉树中非叶子节点也称为内点，这种节点在优化剪枝、变更分辨率导致的节点合并等操作后可能转换为叶子节点或高层节点因此，如何将八维孩子节点状态均为占有、空闲或未知的内点剪枝，以内点表示内点为根的子树整体，优化查询存储，即称为剪枝问题如何将若干叶子节点合并为高层节点并把高层节点作为叶子节点参与表示或存储称为合并问题为了解决概率八又树的剪枝问题，首先需要确定叶子节点的置信度上下限，也就是说，对于内点所有子节点的某种状态的置信度均达到了确信状态(overconfidence)时，才

31、可以被剪枝与此同时，剪枝后的内点代表整个子树成为叶子节点，如何为内点n分配一个合理的logOdds值使(，1)代表整个子树成为另一个需要考虑的问题为了解决第1个问题，本文使用式(6)在更新过程中配合置信上下限边界fm。和fmi。以区分占有状态的确信和空闲状态的确信当全部子节点处于同一状态下被确信后就可以触发剪枝操作L(n Z)2 max(min(L(n z1：】)+L(n t)，fm。)，fm。) (6)多粒度也就是多分辨率模型，具体实现依靠概率八叉树子节点迭代归并动态生成多粒度模型实现和上述剪枝问题一样，存在内点在剪枝后logOdds值如何设置的问题这种问题存在如：子节点最大值、子节点最小值

32、等诸多解决方法本文选择式(7)所示子节点均值方法，旨在避免在建图过程中由于内部或外部噪声所带来的最大、最小值噪声影响一 1 8Ll(n)=-ZL(n，) (7)3概率八叉树模型的时间序列融合稀疏、半稠密和稠密模型经过上述过程后转化为统一的概率八叉树表示在相机时间序列中，若干稀疏、半稠密和稠密的概率八叉树模型在同步定位与建图的每个时刻不断生成，如图5所示，相机在沿轨迹运动的过程中，算法不断以多粒度感知环境因此，在时间序列巾的每个时间节点，由不同异构模型所生成的若干概率八叉树模型如何有机融合成统一的时态融合概率八叉树模型TFPOM成为下一步需要解决的问题万方数据陈昊升等：基于光学图像的多粒度随动环

33、境感知算法(a)稀疏模型感知环境 (b)半稠密模型感知环境卜溅l 。潦tc)稀疏模型的辛“机姿态轨迹 LdJ、卜铷密f5j；型的棚饥姿态轨迹Fig5 Sparse and semi dense multi time spatial probabilistic octree models图5稀疏和半稠密的多时态概率八叉树模型2667本文提出一种基于卡尔曼滤波的置信融合方法，设第f个概率八叉树模型的第，个叶子节点在k时刻的形式化表示为LS(k)，其中，i=O表示时态融合概率置信度融合算法首先引入一个离散系统的控制模型和测量方程，分别如式(8)、式(9)所示其中，?(七)为系统在七时刻的状态变量，z

34、(七)为系统在七时刻第i个观测样本的状态变量观测值，w(，vi(k)分别为过程激励噪声和第i个观测样本的观测噪声，协方差分别为Q，剧?(七+1)=?(七)+以七) (8)z?(七)=LS(k)+v(七) (9)下一步使用系统的过程模型，如式(10)所示，预测下一时刻的系统状态?(七+1Ik)=三?(七I后) (10)更新状态L?(七+1Ik)的协方差P?(七+1I七)，如式(11)所示尸；(七+1Ik)=P?(后Ik)+O (11)计算每个观测值的卡尔曼增益K：，如式(12)所示K；=尸?(七+lI七)(P?(七+1lk)+R)。1 (12)结合观测值更新状态估计?(七+lIk+1)，如式(1

35、3)所示，其中，N为观测值个数，obv函数将模型置信度融入，如式(14)所示1 N?(i+11七十1)2；(Ii+11七)+寺DbV(K(七+1)一?(后+l (13)f=If12x，模型f属于稠密模型obv(x(k；)=o8x，模型f属于半稠密模型 (14)l工， 模型i属于稀疏模型最后更新k+1时刻的误差估计P?(七+11七+1)，如式(15)所示，并返回式(10)，使卡尔曼滤波器随时间序列不断迭代下去万方数据26684算法流程与复杂度分析Journal of Software软件学报V0127，No1 0，October 20 1 6麒)=(，一万1荟N K；净川 (15)本文算法的整体

36、步骤可概括如下Step 1更新当前时刻疋Step 2更新时刻k的稀疏、半稠密、稠密模型的统-)k叉树表示octl(D、oct2(k)、Dc户(动作为观测模型；Step 3更新TFPOM当前节点索引，：Step 4根据Step 2的结果更新TFPOM当前叶子节点各观测模型的观测值z：(七)；Step 5引入TFPOM节点系统状态的控制模型和测量方程，如式(8)、式(9)所示；Step 6使用式(10)预测下一时刻系统状态：Step 7以式(11)预测下一时刻系统状态的误差P?(尼+1l七)；Step 8通过式(12)计算每个观测值的卡尔曼增益K：；Step 9通过式(14)融入模型置信度，并通过

37、式(13)更新下一时刻系统状态估计三?(七+l k+1)；Step 10使用式(15)更新系统状态的误差估计P0(七+1lk+1)；Step 11如果没有可以插入或者更新的叶子节点，则进入Step 12，否则返回Step 3；Step 12返回Step 1为可视化算法的完整过程，对共938帧的TUM RGBD数据集Fr3 structure texture far序列生成的点云，如图3所示，对应生成统一的概率八叉树表示，如图6所示接着对上一步每个时间节点所生成的若干概率八叉树融合最后通过图像时间序列地不断增量融合，形成完整的多粒度环境模型，如图7所示(C)稀疏八叉树模型的概率视图(d)半稠密八

38、叉树模型 半稠密八叉树模型的z视图 (f)半稠密八叉树模型的概率视图(g)稠密八叉树模型 (h)稠密八叉树模型的Z视图 (i)稠密八叉树模型的概率视图Fig6 Uniform probabilistic octree representation corresponding to its point cloud modelThe dark cube represent over-confident occupied node，the light cube represent probabilistic occupied nodeand the white cube represent over

39、confident free node in probabilistic view图6 多粒度点云模型相应的统一概率八叉树表示其中概率视图中深色方块代表确信占有节点，浅色为非确信占有节点，空白区域为确信空闲节点万方数据陈昊升等：基于光学图像的多粒度随动环境感知算法哆哆坶增(a)分辨率0 05m (b)分辨率0 1m (c)分辨率O2m (d)分辨率O4mFig7 MultiGranularity form of temporal fused environment probabilistic octree model图7 时态融合概率八叉树环境模型的多粒度形态2669本文算法在实际时态融合的过

40、程中，仅增量更新在当前时刻标记为变动状态的内节点与叶子节点，对于未处于变动状态的节点，只更新此节点的卡尔曼滤波器相关变量，不进行概率八叉树的搜索和更新算法整体复杂度为O(NzlogsNl)，其中l代表环境模型的八叉树节点数，2代表标记为变动状态的节点的个数5实验51增强现实增强现实(augmented reality，简称AR)是一种将虚拟信息三维注册在真实场景中，追求沉浸式融合虚拟信息和真实场景的计算机视觉技术，是快速三维建模的一个重要应用如今这种技术己被广泛应用于工业、娱乐、游戏、医疗、军事等领域增强现实具有沉浸感的前提是具有较好的三维注册和虚拟遮挡能力，也就是对环境具有较高精度的感知能力

41、所以本文首先使用室外增强现实系统，以融合单目稀疏环境模型和双目稠密环境模型后的TFPOM作为系统的虚拟环境模型，测试算法的环境感知能力实验在配有ZED双目相机和Logitech Pr09000单目相机(均选择常用分辨率640x480)的Nvidia Jetson TXl Developer Kit嵌入式硬件平台上进行测试，该硬件处理平台核心硬件包含ARM架构的A57型号4核处理器Maxwell架构含有256个cuda单元的Nvidia显卡和4GB LPDDR4内存实验结果如图8所示(b)轻微晃动 fd)剧烈晃动(e)标准三维注册 (D轻微晃动 (g)强烈晃动Fig8 A comparison

42、between temporal fused probabilistic octree modelbased AR(upper)and point cloud model based AR(10wer)图8基于时态融合概率八又树模型的增强现实(上层图片)与基于点云模型的增强现实(下层图片)在相机动态模糊情况下的效果对比记本文算法生成的时态融合概率八叉树作为环境模型的增强现实系统称为系统A，则系统A的三维注册效果如图8Ca)-图8(d)所示记图像特征点云作为环境模型的增强现实系统称为系统B，则系统B的三维注册效万方数据2670 Journal of Software软件学报V0127，No10，

43、October 2016果如图8(e)一图8(h)所示，系统A、B均能够实时运行(30帧每秒以上)从对比图可以较为明显地看出，系统A在经历轻微至剧烈晃动的过程中，虚拟物体(红色的能量方程、蓝色的爱因斯坦英文全名)仍然精确三维注册在标准三维注册时的三维位姿而轻微晃动导致的运动模糊就已经使系统B中虚拟物体相对于原先注册的三维位姿大幅漂移，即使相机恢复原始相机位姿，虚拟物体仍然不能恢复原始虚拟物体所注册时的三维位姿导致这种现象出现的原因主要是因为系统B在相机剧烈运动过程中所出现的不同强度的运动模糊影响下导致定位漂移，进一步影响了特征点所恢复出深度的准确性这种现象甚至导致了环境地图的整体不一致性，如图

44、8(h)所示，即使相机恢复了原始位姿，虚拟物体也无法恢复原始三维注册的位姿而系统A则因为滤波融合了双目及单目数据源，显著减少了单源的运动模糊随机噪声和硬件固有噪声，使得系统A能够在持续运动模糊中始终保持虚拟物体原始三维注册时的三维姿态52视觉里程计TUM RGBD数据集【2 8】包含若干室内视频序列相应的彩色图和配准后的深度图，详细信息见表1，这些视频序列由复杂多样的相机轨迹对不同特点的环境场景拍摄而成，为评价视觉定位与建图算法的定位精度做出了重要贡献相对于TUM数据集，KITTI数据集【29】包含若干室外视频序列的双目彩色图、GPS数据、IMU数据、激光数据等，详细信息见表2，这些视频序列由

45、车载摄像拍摄而成，是评价自动导航系统，如自动驾驶汽车、多旋翼无人机等优劣的重要数据平台这两种数据集的评价都是检测视觉里程计(visual odometry,简称vo)优劣的主流方法同步定位与建图理论中定位与建图相互依附、相互影响，相机定位精度直接决定建图体素的三维位姿误差，而体素的位姿误差则会反向影响三角测量时相机的三维位姿定位，是一种典型的VO思想，所以定位精度的评价可以反映建图质量的优劣其中，TUM数据集的模型构造效果本文已有介绍，KITTI数据集的稀疏地图构建过程如图9所示Table l Detail information of TUM RGBD dataset表1 TUM RGBD数

46、据集详细信息视频序列 序列编号 数据集规模(image) 感知时间长度(s)Frlfloor 2 1 242 414Frlxyz 3 798 266Fr2360一kidnap 4 1 43 1 477Fr2一desk 5 2 965 9883Fr2一deskwith_person 6 4 067 1 3556Fr2一xyz 7 3 669 1223Fr3一longoffice_household 8 2 585 8616Fr3一nostructure_texture_far 9 465 1 55Fr3_nostructure_texture near withloop 10 1 682 560

47、6Fr3一sitting_halfsphere 1 1 1 1 1 0 37Fr3一sitting_xyz 12 I 261 4203Fr3structuretexturefar 13 938 3126Fr3一structuretexturenear 14 1 099 3663Fr3_walking_halfsphere 15 1 067 355611i兰!i!92Z! ! !i! ：!：!jTable 2 Detail information of KITTI outdoor dataset表2 KITTI室外数据集详细信息视频序列 序列编号 环境大小(mm) 数据集规模(image) 感知

48、时间长度(s)KITTI 01 2 1157x1827 1 10l 2202KITTl 02 3 599946 4 661 9322KITTl 03 4 47l199 801 1602KITTl 04 5 05394 27l 542KITTl 05 6 479426 2 76l 5522KITTl 06 7 23x457 l 10l 2202KITTl 07 8 191x209 l 101 2202KITTl 08 9 808x391 4 071 8142KITTl 09 10 465568 l 591 3182KITTI】0 】l 671177 l 20l 2402万方数据陈昊升等：基于光学图像的多粒度随动环境感知算法 267l(b)KITTl04序列特征点采集片段2(d)KITTl04序列特征点采集片段4e)KITTl 04 M煳lj：列建H轨迹Fig9 Feature extraction and mapping