基于重复结构检测的三维建筑物精细模型重建-缪永伟.pdf

《基于重复结构检测的三维建筑物精细模型重建-缪永伟.pdf》由会员分享，可在线阅读，更多相关《基于重复结构检测的三维建筑物精细模型重建-缪永伟.pdf（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、软件学报ISSN 10009825CODEN RUXUEWJournal ofSoftware，2016，27(10)：25572573【doi：10133280cnkijos005072】中国科学院软件研究所版权所有基于重复结构检测的三维建筑物精细模型重建+缪永伟1，冯小红1，于莉洁1，陈佳舟1，李永水2(浙江工业大学计算机科学与技术学院，浙江杭州 310023)Email：jOSiscasaccahttp：wwwjosorgcnTel：+86-10625625632(School of Mechanical&Aerospace Engineering，Nanyang Technologic

2、al University，Singapore 639798，Singapore)通讯作者：缪永伟，E-mail：ywmiaozjuteducn摘要： 基于单幅图像的城市建筑物建模是计算机图形学和计算机视觉的一个研究热点针对具有显著重复结构特征的单幅城市建筑物输入图像，提出了一种通过简单交互方便、快速地生成建筑物三维模型中精细细节结构的方法首先，根据用户的简单交互重建建筑物基本主体部分的三维几何模型；然后，根据输入图像，通过检测水平方向和垂直方向上的边界线自动检测建筑物各个墙面的重复结构，并对重复细节结构按照其包围盒的特征进行分类；其次，通过用户描绘细节结构的局部线画图，根据建筑物细节结构与基

3、本主体部分的射影几何关系，恢复对应凹凸细节结构的几何模型；最后，根据检测得到的建筑物表面重复结构，分别自动生成相同类型的重复细节结构，得到三维建筑物精细模型实验结果表明，该方法能够简单，便捷地重建出具有较强真实感的三维建筑物模型关键词： 单视图；三维重建；重复结构；交互式；建筑物；精细模型中图法分类号：TP39l中文引用格式：缪永伟，冯小红，于莉洁，陈佳舟，李永水基于重复结构检测的三维建筑物精细模型重建软件学报，2016，27(10)：2557-2573http：wwwjosorgcn1000-98255072htm英文引用格式：Miao Yw，Feng XH，Yu LJ，Chen JZ，Le

4、e YTReptition detection based 3D reconstruction of detailedarchitecturesRuan Jian Xue BaoJoumal of Software，2016，27(10)：25572573(in Chinese)http：wwwjosorgcn100098255072htmRepetition Detection Based 3D Reconstruction of Detailed ArchitecturesMIAO YongWeil，FENG XiaoHon91，YU LiJiel，CHEN Jia-Zhoul，LEE Y

5、ongTsui21(College ofComputer Science and Technology，Zhejiang University ofTechnology，Hangzhou 310023，China)2(School of MechanicalAerospace Engineering，Nanyang Technological University，Singapore 639798，Singapore)Abstract：In the literature of computer graphics and computer vision，single-image based 3D

6、 architecture modeling is a hot researchtopicFocusing on repetition detection of urban architecture images，a novel algorithm fur reconstructing detailed 3D architectures ispresented fur interactively generating large number of repetitive structures in all effective and convenient mannerThe new appro

7、achconsists of three stepsFirst，according to the parallel or vertical relations of sketch lines interactively&awn by the user,the coarsearchitectural model is reconstructed using an energy function optimizationUpon the texture information of the single input image，thehorizontal and vertical repetiti

8、ons on each architectural face are then detected and classified based on their bounding boxesNext，according to the user inputted sketch lines of typical detailed structure，the 3D information of detailed concave or convex structures iscalculated based on the projective relations between detailed stru

9、ctures and basic body of architectureFinally,the other same type ofrepetitive structures are reconstructed automatically and their 3D detailed architectures can be generatedExperimental results show thatthe proposed method call conveniently and effectively reconstruct 3D detailed architectures from

10、single image with high visual qualityKey words：single view；3D reconstruction；repetitive structure；interactive modeling；architecture；detailed reconstruction基金项目：国家自然科学基金(61272309，613031381Foundation item：National Natural Science Foundation ofChina(61272309，61303138)收稿时间：201601-05；采用时间：201603-29；jOS在线

11、出版时间：20160808CNKI网络优先出版：2016-0809 15：38：05，http：wwwcnkinetkcmsdetail112560TE201608091538012html万方数据2558 Journal of Software软件学报V0127，No10，October 2016随着遥感技术、三维扫描技术和虚拟现实等技术的快速发展，各种针对三维建筑物和虚拟城市场景的建模应用，包括从日常使用的谷歌地图、虚拟旅游导航、三维数字游戏到具有现实意义的城市规划、文化遗产保护等均深受人们的追捧，同时也得到了学术界和工业界的广泛重视I-31然而，在这些应用的开发过程中，三维建筑物模型的构

12、建往往还是借助3dMax、Maya、AutoCAD等专业建模软件虽然这些建模软件能够生成用户需要的建筑物模型，但其建模过程通常都较复杂、繁琐和耗时，需要用户具备专业的操作技能，无法满足普通用户对三维建模的实用性和便捷性要求因此，如何方便、快捷地生成虚拟城市场景中的建筑物精细模型成为计算机图形学和计算机视觉中的重要问题，得到了研究人员的广泛重视已有的建筑物建模方法主要包括基于点云的建模方法和基于图像的建模方法等2,31基于点云的建模方法虽然能够重建高质量的建筑物模型，但需要借助三维激光扫描仪扫描庞大的建筑以获取建筑物对象的点云数据，所需要的成本代价比较高，一定程度上限制了该方法的实用性基于图像的

13、建筑物建模方法大致可以分为两类：基于多视图的建筑物建模48和基于单视图的建筑物建模9-16在基于多视图的建筑物建模中，往往需要用户提供较多的输入图片，并进行不同视图之间的精确配准，其三维重建算法通常比较复杂Pollefeys等人4】利用固定姿势相机拍摄到的视频流，先对相机进行标定，再计算像素的深度信息来生成三维城市场景根据输入的一组二维图像，Xiao等人5,61提出的建筑物建模方法首先利用视图配准计算初始点云数据，再根据得到的点云数据从模型库中匹配粗糙模型，最后经过细化得N-维模型Cohen等人71和Ceylan等人【引利用建筑物的对称性和重复结构，对传统SfM(structure from

14、motion)重建技术进行了改进和优化以提高重建效果的准确度基于单视图的建筑物场景建模方法是计算机图形学和计算机视觉的一个研究难点21，该类方法可以进一步细分为基于模型库的数据驱动建模方法9-12和基于几何的交互式建模方法13。1 61基于模型库的数据驱动建模方法需要预先建立一个建筑物模型库，然后根据输入图像的特征描述匹配模型库中模型的特征，最后将匹配得到的三维模型进行编辑组装生成相应的三维建筑物模型wu等人【9提出了一种逆过程式的建模方法，即根据输入的建筑物表面布局图像，计算对应的分割语法并对表面的所有细节进行语义分析，最后生成对应的三维模型Bao等人101先将输入图像进行层次分割，然后利用

15、半自动方式对各个结构添加标签，得到一个建筑物表面的外观布局，然后再生成对应的三维模型Nan等人【11通过考虑细节结构内部元素的分布规律、纹理的覆盖率以及与相邻细节结构的相关性等因素来实现对二维建筑物图像中细节结构纹理信息与模型库中三维模型所对应的二维纹理图的匹配吴等人【l 2J提出了一种基于特征线素的三维建筑表意性建模方法，即先由用户交互输入特征线条，再根据形状文法创建三维模型，最后由用户调整部分特征线素，通过轴向弹性约束形变编辑三维模型虽然基于数据库的建模方法能够快速生成简单的建筑物模型，但对于复杂建筑物需要建立更大的模型数据库，匹配算法也将更加复杂，以至于影响最终生成模型的速度和准确率因而

16、，本文更倾向于基于几何的交互式建模，针对输入图像中呈现的重复细节结构，本文方法通过自动检测建筑物各墙面的重复结构，根据细节结构与墙面的射影几何关系恢复其三维几何，通过少量的用户交互方便、高效地生成精细的三维模型在基于单视图的建筑物建模中，传统的建模途径是利用相机标定方法或通过优化方法获取对应二维输入图像各个顶点的三维信息13-16,但是，由于根据单幅图像很难准确估计相机的内外参数，同时难以精确检测各个建筑物平面以及它们之间的几何关系，所以不可避免地需要用户一定的交互或对图像的获取方式进行某些约束才能顺利完成建模工作Guillou等人【13】提出了利用灭点原理(principle of vani

17、shing point)对单幅输入图像进行相机标定并生成粗糙建筑物模型的方法，但该方法需要对输入图像的获取进行较多的约束，包括相机屏幕的横纵比固定、主点位于图像中心位置及输入图像至少存在两个灭点等0h等人14提出利用深度图表示一个三维场景，并根据基于梯度约束的优化方法确定场景深度值，但该方法需要用户较多的交互以得到精确的重建效果在假设输入视图中两条正交线段在实际三维空间中长度比例已知的前提下，Wang等人【15利用灭点原理恢复相机的外部参数和投影矩阵，并利用投影矩阵以及场景约束对建筑物可见部分进行三维重建Jiang等人【16充分利用了建筑物的对称特性，根据输入的单幅图像生成较为复杂的三维模型，

18、方法首先要求用户在输入图像中标记一个截头锥体进行相机标定，在随后的建模过程中需要对建筑物的各个部件(如墙壁、屋顶等)分别进行标记以实现交互式三维重建，但该方法对于具有大量重复结构的建筑物重建，需要用户的交互工作量非常繁多对万方数据缪永伟等：基于重复结构检测的三维建筑物精细模型重建 2559于具有显著重复结构特征的建筑物，Schindler等人【I 7】利用SIFT特征检测建筑物墙面的重复结构，即先对图像中的SIFT特征描述符进行聚类，再随机选取相似的特征描述符获取对应的单应矩阵，并根据单应矩阵对图像中的主要顶点进行变换找到对应重复结构的格子布局，该方法适合于墙面重复结构比较单一的情形对于同一墙

19、面中存在多种类型的重复结构情形，wu等人【18,19】首先根据图像中检测到的灭点将透视图像进行校正预处理，然后分别沿水平、垂直方向进行特征匹配以获取重复间距集合和对称轴集合，最后根据所获取的重复结构区域，通过计算重复质量评估值进行分解，得到最终的重复结构分布状况虽然该方法能够检测出不同的重复结构，但对于面积较小的重复结构难以进行有效的检测，而是将距离较近的细节结构作为一整块区域进行检测，故该方法并不适用于重建具有不同尺度下精细结构的复杂建筑物场景针对具有显著重复结构特征的单幅城市建筑物输入图像，本文提出了一种以简单交互的方式快速生成建筑物精细模型的方法，从而方便用户将拍摄到的任意一张具有重复结

20、构的建筑物图像重建为对应的三维建筑物模型本文方法的主要贡献在于：(1)提出了一种直接针对透视图像中建筑物各个墙面进行重复结构自动检测和分类的方法，极大地减少了用户在重建建筑物模型过程中的交互工作量；(2)利用建筑物细节结构与基本主体的射影几何关系，提出了计算建筑物凹凸细节结构深度信息的理论，使生成的三维建筑物模型更加精确；(3)算法对建筑物图像的获取方式不进行任何约束，重建过程简单、快捷，具有广泛的实用性1三维建筑物重建框架考虑到本文方法处理的对象是任意获取的建筑物图像，并且建筑物通常具有大量的重复结构，故本文通过优化方法预先重建建筑物基本轮廓的三维模型，而并不是采用传统的利用相机标定方法来建

21、模【13,1 5,16,20在传统的利用相机标定方法重建建筑物三维模型时，由于单幅图像所包含的信息量有限，为了准确重建建筑物模型，不可避免地需要对输入图像的获取进行一定的约束，如相机主点位于图像中心位置【1 6】等，以获取足够信息计算相机的内外参数，无法满足本文对方法广泛实用性的需求同时，为了减少用户的交互量，对输入的建筑物图像中的重复结构进行自动检测和分类，并根据重复的细节结构与建筑物基本轮廓之间的空间几何关系，对建筑物细节结构进行精细建模本文方法主要包含如下3个步骤(1)基于优化方法生成六面体建筑物墙面在以单幅建筑物图像为背景的画布上，用户通常需要描绘建筑物六面体可见墙面的二维轮廓线，即两

22、个四边形平面根据用户输入的线画图，系统将自动识别并提取线画图中线条之间的平行、垂直和共面关系，建立一个基于几何约束的能量函数，通过将能量函数极小化来获取线画图中所有顶点的三维坐标，并根据对称关系得到其他的对称面片以完善建筑物基本轮廓的三维模型(2)建筑物重复结构的自动检测和分类由于建筑物体墙面的细节结构，如窗户、阳台等在一般情况下都具有在水平、垂直方向上对齐的特点，同时，通过透视投影拍摄到的图像，细节结构位置顶点仍对齐于水平、垂直方向上的灭点位置根据此特点，本文对用户所要重建的建筑物墙面分别进行逐行逐列检测，并通过比较包围每个重复结构的四边形包围盒来对建筑物墙面的重复结构进行筛选和分类，最终将

23、得到每个墙面上所有重复结构的位置信息和类别信息(3)基于射影几何关系重建建筑物细节结构由于建筑物墙面中的细节结构与其六面体墙面之间存在相对的位置关系，可以利用射影几何原理根据建筑物六面体墙面的三维信息恢复各墙面中细节结构的深度信息具体地说，首先将建筑物三维模型进行平移和旋转变换，使当前细节结构所在平面垂直于z轴方向，然后利用射影变换计算x、y坐标，再利用灭点原理以及射影几何原理计算深度值一旦恢复某一细节结构的三维模型，系统就会自动搜索与该位置结构类型相同的其他重复结构的位置，通过平移、复制的方法快速重建当前墙面中其他类型相同的重复结构的三维模型2基于优化方法生成六面体建筑物墙面一般来说，城市建

24、筑物的基本主体都是六面体墙面，而且该六面体墙面中相邻墙面相互正交，同一墙面中的各个顶点位于同一平面因此，在建筑物基本墙体中，各条边界要么相互平行，要么相互正交利用建筑物六面体万方数据2560 Journal of Software软件学报V0127，No10，October 2016墙面的这些特性，本文提出了一个基于几何约束的能量式来对用户所描绘的线画图中各个顶点的三维坐标进行优化，得到结构稳定的三维面片该能量方程式定义如式(1)所示f(x，Y，Z)=ep。rall。l(z，Y，z)+如Evcni强uty(工，Y，z)+五Eplanaritv(x，Y，z) (1)式中，参数、五、也表示对应各项

25、的权重，q删leI、E州训坤、Eph“竹分另I一-、z-。关系、垂直关系以及共面关系约束的能量函数式，具体表示如公式(2)公式(4)所示其中，在通过优化方法获取线画图中各顶点理想的三维坐标之前，其初始坐标的获取是直接将图中的二维坐标赋值给对应顶点在三维空间中的X和Y坐标值，而z坐标值的获取是通过检测线画图的一个立方角，然后根据立方角理论【21】并结合顶点的平面性计算所得乓删。l(工，Y，z)2 (一乩)2+(以zbZItYt2)2+(xltZ122X12)2】 (2)Ii，12 ELltlI12E删cal。ty0，Y，z)2 (+YJ。Yl：+气Z2)2 (3)乓ty(工，Y，z)=0正，fi

26、eFxtn ytil ztllxi【2 yln zxb ytu zIij需要指出的是，虽然单幅建筑物图像一般仅显示两个建筑物墙面信息，但根据建筑物的对称性特点，可以对已获得的三维墙面面片进一步完善以补全其余墙面面片具体地说，根据矩形面的中心对称关系，由其中3个顶点坐标便可确定对应矩形面的第4个顶点坐标从而，在得到两个稳定的矩形面片后算法遍历已知面片的每一条边缘线，一旦检测到存在只共享于一个面片的边缘线时，利用矩形面片的中心对称特性由3个顶点坐标可以计算其余第4个顶点的三维坐标，组成新的面片算法通过循环遍历已生成的三维面片直至所有边缘线都共享于两个面片，最终得到完整的三维粗糙模型，如图l所示a1

27、输入图 (b)J户描绘的线条 (c)利川优化，J浊牛成维” (d)ji移的维羊H糨幞I_Fig1 Generation of hexahedral architectural facade图1六面体建筑物墙面的生成3建筑物重复结构的自动检测和分类建筑物表面通常存在大量的重复结构，即形状大小完全相同、纹理近似的细节结构(如窗户、阳台等)，如果简单地通过交互方式直接对这些建筑物细节结构进行建模，用户的工作量无疑非常庞大，而且用户在描绘时不可避免地存在偏差，这将会造成所有的重复结构并不能保持形状、位置与实际情况完全一致，影响最终重建得到三维模型的精确性因此，对建筑物表面的重复结构进行自动检测具有十分

28、重要的意义目前已有的重复结构自动检测算法，如Wu等人18】对具有显著边界建筑物图像的重复结构检测和Bao等人【101对墙面细节结构布局进行检测中。往往需要先将输入图像进行校正预处理，然后再利用对应的特征描述符检测重复结构的分布与已有方法不同，本文提出的重复结构检测算法可以直接对原始图像的重复结构进行检测而无需对图像进行校正预处理，同时将相同类型的重复结构聚为一类并获取它们的相对位置信息需要强调的是，由于在上一节重建六面体建筑物墙面时，已经得到了用户描绘的墙面线画图，从而确定了建筑物墙面区域在检测建筑物重复结构时，可以充分利用建筑物墙面区域信息，避免对无关冗余信息进行检测，提高了算法的效率万方数

29、据缪永伟等：基于重复结构检测的三维建筑物精细模型重建 256131同类型重复结构的判定依据一般而言，针对城市建筑物墙面中的重复结构，可以直接比较其形状和大小来进行简单分类以区别不同类型的结构，如不同大小的窗户、阳台等因此，假设建筑物墙面的每个细节结构都用一个简单四边形格子表示(在本文算法中用四边形包围盒表示各个重复细节结构)，通过比较包围盒的长宽便可确认所检测的细节结构形状大小是否相同然而，在实际建筑物图像中，由于透视投影的存在，真实环境中具有相同类型、相同大小的重复结构投影到二维成像平面后其大小具有明显的差别研究者通常将待检测图像进行校正预处理【I 8】或要求拍摄得到的建筑物墙面尽可能地接近

30、正交投影【9】，以使得相同类型结构大小尽量保持一致与传统方法不同，本文算法间接地借助射影矩阵对图像中待检测的细节结构进行分类，使得具有相同形状大小的细节结构聚为一类其中，细节结构的特征描述包括两项，一项是由初始顶点指向水平灭点方向的边长(如图2中边P。P2的长度)，另一项是由初始顶点指向垂直灭点方向的边长(如图2中边PlP4的长度)由于一个平面墙面中最多只存在两个灭点，当墙面中的细节结构均表示为简单平面矩形时，在透视投影作用下必定存在一个射影变换矩阵可以恢复所有细节结构边界的平行关系【221受该结论启发，我们可以通过射影矩阵变换、平移变换、射影矩阵逆变换将任意四边形包围盒变换到指定位置，从而得

31、到该四边形包围盒在任意指定位置的透视投影效果如图2所示，算法在比较同一墙面中两个细节结构boxI和box2时，先对boxl进行射影矩阵变换、平移变换以及射影矩阵逆变换，得到位于box2相应位置处的boxl，再对boxl与box2进行特征匹配以判断这两个细节结构是否属于同一类型具体地说，首先根据结构boxl的4个顶点确定一个射影变换矩阵，该射影变换矩阵K满足如下关系：I一工(日)岛z(昱)岛(工(昱)+工(只)一z(日)屈x(只)l kl。 墨： k13|l x(g)x(足)x(B)z(只)lP,Y(PI)P2Y(P2)P3(Y(P2)+Y(P4)一Y(PI)P4Y(P4)l=l如l kz2 k

32、23|Y(PI)Y(P2)Y(P3)Y(P4)l (5)L n 仍 岛 岛J L岛l k32 kB3JL 1 l l l J其中，异、最、只、只为结构boxl的4个顶点公式(5)中包含13个未知量和12个方程，通过求解该方程式可以得到关于某未知量(本文中选为Pl，不妨取值为10)唯一确定的解，即可获取变换矩阵K中所有参数然后，对顶点异、最、只、Ql进行如下射影矩阵变换：引萎得到变换后的4个顶点墨7、g、只和纠；并根据顶点墨和纠，得到平移距离T=纠-g；再对顶点日、足和只进行射影矩阵逆变换即：式耳P：卅=TK1I g例最终得到的点彳、耳和片即为图2中结构boxl在box2相应位置处的顶点坐标，从

33、而再对变换后boxl与结构box2进行特征匹配，即可辨别出这两个细节结构是否形状相同在理想状态下，如果boxl与box2属于相同类型，则变换后。结构boxl的特征长宽与结构box2的特征值长宽完全一致需要强调的是，当待检测墙面接近正交投影时，水平方向和垂直方向灭点均在无穷远处但是，由于在重复结构检测和分类中仅仅需要灭点方向，因而该情况并不影响本文算法的检测和分类效果Fig2 Diagram of repetitive structures(two yellow quadrilaterals mean structuresand red lines represent their feature

34、 lengths)图2重复结构示意图(黄色框四边形表示细节结构，红色方向边长表示其特征长度)万方数据2562 Journal of Software软件学报V0127，No10，October 201632重复结构自动检测和分类根据上述同类型重复结构的判定依据，本文的重复结构自动检测算法主要包括对细节结构的候选位置进行检测以及对候选项分类筛选这两步(其中水平边界线和垂直边界线的交叉位置细节都被选定为候选项)在对细节结构的候选项位置进行检测时，算法先对当前墙面区域逐行逐列检测，以找到所有的边界线集合，然后确定所有水平边界线与所有垂直边界线的交叉位置集合一般情况下，墙面的所有细节结构所在位置均包含

35、在这些交叉位置中，因此本文将得到的交叉位置集合视为候选项所在位置的集合在对检测得到的候选项进行分类和筛选时，首先根据每个候选项的初始位置提取其特征信息，将每个细节结构用四边形包围盒表示，并根据第31节中的同类型重复结构判定方法对当前墙面中的所有重复结构候选项进行分类，再对初步分类结果进一步优化并排除分类结果中细节结构大小极小的异常情况，最终得到重复结构的检测和分类结果针对图3中的建筑物输入图像，算法先将墙面区域内图像进行二值化处理得到图像丘。(一般来说，建筑物墙面二值化后的理想图像是白底黑色图，相反情况时可以对图像进行取反处理)，计算二值化图像厶。中黑色像素点所在比例ThO；再利用图像腐蚀操作

36、得到粗糙的边缘图像如。，在此基础上分别对每个墙面进行重复结构检测在对每一个墙面进行重复结构检测时，见算法1首先对垂直方向边界线进行检测，找到既满足在边缘图像中黑色像素点个数占所在列总像素个数的比值大于阈值砌1(图3中Thl=Th0，左右墙面分别取为0473和0494)且满足二值图像中其左右像素差值大于0的像素点个数占所在列总像素个数的比值大于阈值Th2的列作为垂直方向边界线(图3中Th2=08-ThO，左右墙面的Th2值分别取为0378和0395)这里设定像素差值大于0是为了提高候选重复结构位置的检测准确率，避免找到重复的位置，即在左上角、右上角、左下角、右下角4个位置中统一选定左上角位置作为

37、细节结构的相对位置同样地，在水平方向上进行类似操作以获取水平方向上的边界线集合从而，可以取水平方向边界线与垂直方向边界线的交叉位置为待检测墙面中重复结构的候选位置然后，算法根据二值化图像厶my将每个候选点位置用一个四边形包围盒表示，该包围盒的两对边均指向灭点方向利用第31节中判断同类型重复结构的方法，对所有候选重复结构进行初步分类得到如图3(b)所示的初步分类结果这里需要强调的是，受噪声、遮挡等因素影响，+般很难得到理想的二值图像，故在对细节结构进行准确匹配时，我们设定了一定的误差范围Th3(实验中Th3取为03)为了提高分类结果的准确率，排除不理想的二值化效果影响重复结构分类的最终结果，算法

38、对得到的初步分类结果进一步优化优化过程中首先逐列统计所有细节结构类型，细节结构的类型判断出错往往存在于相同类型的细节结构数目较少的情况，故需将相同类型总数较少的细节结构类型与附近相同类型总数最多的细节结构类型再次进行判别；类似地逐行进行优化，并对墙面所有细节结构的类型标签进行重定义，得到如图3(c)所示的分类结果(图中不同的颜色表示不同的细节结构类型)算法1垂直方向边界线检测输入：待检测墙面区域，二值化图像厶。和边缘图像，edge；输出：垂直方向边界线集合毋=q，P：，算法过程：1)计算垂直方向上的灭点P以2)沿灭点Pr方向，逐列对边缘图像，ed。进行检测；WHILE待检测列白位于墙面区域内D

39、O3)统计边缘图像，ed。中列e。上黑色像素点个数占该列总像素个数的比例rati01；IF rati017兹1 THEN4)统计二值化图像Ig。中列ei上所有像素点中其左右像素差值大于0的像素点个数占该列像素总数的比例rati02；IF rati02Th2 THEN5)将边界线ej放入垂直方向边界线集合E，中；END IF万方数据缪永伟等：基于重复结构检测的三维建筑物精细模型重建ENDIFEND WHILE2563(a)建筑物图像及待检测的墙面区域 (b)重复结构初步检测分类结果 (c)重复结构最终检测分类结果Fig_3 Automatic detection and classificati

40、on of repetitive structures图3重复结构的自动检测和分类4基于射影几何重建建筑物细节结构除不规则建筑物外，根据射影几何理论22,23】，一般城市建筑物表面的细节结构与其墙面整体结构的二维视图信息和其对应的三维结构之间存在一定的几何关系然而，已有的建筑物表面细节结构重建方法仍以优化为主【10,11,24，主要可分为3种：第1种是通过检测判断局部与整体的相对位置关系(如平行和正交等)进行优化求解，计算细节结构顶点的深度信息，如Yang等人【24】提出的利用线画图进行三维重建方法；第2种是预先建立细节结构的数据库，然后通过细节纹理等信息进行匹配的方法来恢复细节结构的三维信息

41、【10；第3种是融合前两种方法重建细节模型【111由于细节结构类型复杂多样，第1种方法生成的三维模型由于考虑的约束条件有限，往往导致深度信息计算并不十分稳定；而通过模型匹配的方法来重建三维模型虽然能够生成稳定的三维模型，但要提高重建精度就不可避免地需要加大数据库中模型的存储量，这无疑会增大匹配过程的复杂度，降低算法效率本文提出了一种准确计算建筑物凹凸细节结构深度的方法，以快速恢复建筑物表面细节结构的三维信息，该方法充分利用了建筑物细节结构与墙面的几何射影关系。从而能够简单、高效地重建三维精细模型41建筑物凹凸细节结构的深度计算凸细节结构的深度计算假设建筑物细节结构在实际空间中与建筑物墙面垂直，

42、如图4所示，用户初始描绘的两个墙面faceO和facel的边缘线为墙面主体结构的边缘线，随后描绘的边缘线均属于细节结构部分的边缘线，由墙面边缘线可以得到3个方向的灭点：VP,LP,RP已知图中所有顶点的二维坐标以及墙面顶点的三维坐标，计算墙面faceO处细节结构的深度厶D(K，吃)的方法为：首先延长线段尸K与边交于点，然后计算线段巧即与线段砭上P交于点，再计算线段K VP与线段圪交于点，根据灭点原理【18】，在实际三维空间中满足如下平行关系：(K)3D(v,v7)3D (6)(K)3D(z7203D (7)由公式(6)和公式(7)可知，四边形KKK在三维空间为平行四边形，因此得到如下关系：厶D

43、(K，)=厶D(巧，K) (8)万方数据2564 Journal of Software软件学报V0127，No10，October 2016同样地，根据三维空间中的平行关系，四边形在实际三维空间也为平行四边形，故线段巧与巧满足：厶D(，)=厶D(，) (9)由公式(8)和公式(9)易知，线段K与线段K在三维空间中的关系为厶D(K，)=3D(K，)因此，一旦求得线段在实际三维空间中的长度，即可获得该细节结构的深度值其中，点、圪为位于同一条线段上的3个点在文献221提到，共线三点的简比在仿射变换下保持不变在三维到二维的透视投影中，经过实验发现，共线三点的简比在三维空间中与二维投影平面上也近似相等

44、另一方面，由于在建筑物图像中，如图5所示，建筑物墙面上的所有细节结构D1D6的深度远小于它们所在墙面的深度，也就是说，细节深度与墙面深度的比值将非常小，如果利用共线三点的简比近似相等来计算细节结构的深度值，其误差较小因此，本文在计算建筑物墙面的细节结构深度，即图4的三维空间中长度三3D(圪，玛)时，可利用共线三点的简比近似相等，即：刍旦!匕：堡!。刍旦!堡!堡!三：D(，圪) 厶D(圪，圪)亦即厶。(_，)z乏詈嬲厶。(_，圪)(10)其中，二维线段长度L2D(，K)和Lzo(，v6)可从输入图像上直接获取，三维线段长度厶D(，K)也已在六面体墙面重建算法中求得，故三维长度厶D(匕，v9)可以

45、通过公式(10)直接计算=迤i，峨尸一一_一-一-_一一一一-一_：Fig4 Depth calculation of convex structures图4凸细节结构深度值计算凹细节结构的深度计算凹细节结构的深度计算与凸细节类似，如图6所示，已知墙面faceO和如cPl的三维信息以及图中所有顶点的二维信息，线段在实际三维空间中的长度值就是面faceO上细节结构的深度值，具体计算深度的方法为：延长边K与边蚝K交于点蚝，再计算线段蚝RP与线段K己P的交点K，最后计算线段K VP与线段K巧的交点K。由灭点原理【18可知，在实际三维空间中，(VoV,)3DGv03D，(VoV8)3D(v4v9)3D

46、故在三维空间中满足关系：厶D(，)=厶D(K，z9) (11)同样地，线段圪K。与线段在三维空间中以下关系等式：厶D(K，)=厶D(圪，K。) (12)万方数据缪永伟等：基于重复结构检测的三维建筑物精细模型重建由公式(11)和公式(12)可以得到，在三维空间中线段Zo与线段K K。的关系如下：厶D(，)=L3D(蚝，K。)因此，图6中面faceO上的细节结构深度与线段以K。的三维长度值相等与上述求凸细节结构的深度值理论依据相同，由于一般建筑物的凹细节结构深度远小于其对应的灭点距离，故可以通过共线三点的近似简比求得线段KK。的三维长度值，即：(驯z筹搿(M) (13)其中，二维线段长度L2D(圪

47、，K。)和：D(屹，)可以从输入图像上直接获取，三维线段长度厶D(蚝，)表示面facel中顶点蚝到的实际三维距离，其在六面体墙面重建算法中已经获得，故凹细节结构的深度值可以通过公式(131直接计算出来Fig5 Detailed structures of the architecture image图5 建筑物图像的细节结构3删、，：_j，0*I-ig 6 Depth calculation of、conc：Ic stFt1CttllcI图6 凹细节结构深度值计算42建筑物细节结构的重建算法在恢复细节结构的三维信息时，算法主要分为两个步骤首先利用二维空间中墙面顶点工坐标和y坐标与三维空间中墙面

48、顶点x坐标和Y坐标之间的映射关系初步求得用户在画布中描绘的细节结构顶点坐标从F并将部分与墙面不在同一墙面上的顶点按某一方向进行平移变换得到真实的x和，坐标；然后，根据具体细节结万方数据2566 Journal of Software软件学报V0127，No1 0，October 20 1 6料水1)计算当前墙面f的二维灭点K。九。诅l和k。；2)判断墙面f的位置：如果Vo。talX05即墙面重复结构排列非常紧密且占墙面面积比例较大时，实验中对每列进行重复结构检测时将Th2直接下调到015算法在进行重复结构匹配时允许的误差范围阈值Th3取为O_3建筑物重复结构的检测分类主要可分为对每个墙面区域所有细节结构的位置检测和对所有候选重复结构通过特征匹配进行分类这两个步骤图9给出了本文建筑物重复结构检测算法的实验效果，其中图9(a)中黄色线框为用户描绘的待测墙面，同一墙面的不同颜色圆点表示不同类型的重复结构，而不同墙面的细节结构即使所显示的类型颜