全景拼接算法简介.doc

《全景拼接算法简介.doc》由会员分享，可在线阅读，更多相关《全景拼接算法简介.doc（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、全景拼接算法简介罗海风目录1.概述22.主要步骤22.1.图像获取2鱼眼图像矫正2图片匹配32.4图片拼接32.5图像融合32.6 全景图像投射33.算法技术点介绍33.1 图像获取3鱼眼图像矫正43.3 图片匹配5与特征无关的匹配方式5根据特征进展匹配的方式5图片拼接6图像融合73.5.1 平均叠加法73.5.2 线性法73.5.3 加权函数法73.5.4 多段融合法多分辨率样条7全景图像投射73.6.1 柱面全景图73.6.2 球面全景图83.6.3 多面体全景图84.开源图像算法库OPENCV拼接模块94.1 stitching_detail程序运行流程94.2 stitching_de

2、tail程序接口介绍94.3 测试效果105.小结11参考资料11全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览 简化的全景只能提供水平方向360度的浏览。目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机与多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术复原图像的鱼眼全景摄像机。鱼眼全景摄像机最终生成的全景图像即使经过校正也依然存在一定程度的失真与不自然。多镜头全景摄像机可以防止鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有附加感的缺撼。本文档中根据目前所查找到的

3、资料，对多镜头全景视图拼接算法原理进展简要的介绍。2.主要步骤.图像获取通过相机取得图像。通常需要根据失真较大的鱼眼镜头与失真较小的窄视角镜头决定算法处理方式。单镜头与多镜头相机在算法处理上也会有一定差异。假设相机镜头为鱼眼镜头，那么图像需要进展特定的畸变展开处理。根据素材图片中相互重叠的局部估算图片间匹配关系。主要匹配方式分两种：A与特征无关的匹配方式。最常见的即为相关性匹配。B根据特征进展匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。2.4图片拼接根据步骤所得图片相互关系，将相邻图片拼接至一起。2.5图像融合对拼接得到

4、的全景图进展融合处理。2.6 全景图像投射将合成后的全景图投射至球面、柱面或立方体上并建立适宜的视点，实现全方位的视图浏览。图1:opencv stitching模块进展图像拼接的处理流程局部步骤可选3.1 图像获取由于鱼眼镜头与常规镜头在生成全景图方面存在很大差异，其校正算法完全不同，因此需分开讨论。但是校正后的图像进展拼接步骤时的处理方法一定程度上可通用。A单常规镜头拍摄多张图片方式手持该方式很常见，在目前多种手机上均有相关全景功能。B多个常规镜头组成的相机或单镜头旋转扫描方式图2：三星2021年发布的360度全景照相机Project Beyond，内置16个摄像头C鱼眼镜头拍摄图3：理光

5、2021年发布双鱼眼全景相机RICOH THETA3.2鱼眼图像矫正假设为鱼眼镜头采集的到的图像，必须对图像进展矫正。鱼眼镜头图像校正算法通常有两种：一种是球面坐标定位法，一种是经纬映射法。具体推导过程见参考资料【1】?鱼眼照片生成全景图算法的研究与实现?，矫正效果如下列图所示：图4：鱼眼图像及校正后的展开图3.3 图片匹配3与特征无关的匹配方式常见的为相关性匹配，一般都用于没有复杂变换的图像拼接情况下。该方式计算简单，仅为普通的灰度模板匹配。具体细节见参考文档【2】?全景图生成技术研究?。图5：模板匹配法示意图3根据特征进展匹配的方式基于特征的匹配首先从图像上选取特征信息，然后识别出两幅图像

6、对应的特征信息。常用的特征信息有特征轮廓，特征曲线，特征点，多采用特征点匹配法。进展特征点匹配的第一步是提取所有素材图片的局部特征点。普遍来讲，一张图片所包含的特征点通常就是周围含有较大信息量的点，而仅通过这些富有特征的局部，根本就可以推测出整张图片。常见的特征点包括SIFT，FAST，SURF等。 图6：SITF特征点检测效果图。青色内容为检测到的SIFT特征点。由于特征点由特征向量表示，所以图中每个特征点显示为一个箭头。形成特征向量之后下一个问题就是如何匹配了。最根本的方式可以称作“最邻近搜索Nearest Neighbour，实际上也就是找在128维空间上直线距离最近的的特征向量，这个求

7、直线距离的方式与2维无异，最近的特征向量也就被认为是互相匹配。SIFT原作者使用的方式是增加了k-d tree算法来高效率地完成高维度上的最邻近搜索。特征点匹配效果如下列图所示。图6：SITF特征点匹配效果图3.4图片拼接在以上步骤中得到了图像间的匹配关系，就可以根据这些关系进展图像的拼接了。按照图像匹配的不同方式，拼接处理也分两大类：A根据模板匹配的方式，可得到图片见的平移或者包括缩放参数，继而根据参数进展图像拼接操作；B根据特征点匹配的方式，那么利用这些匹配的点来估算单应矩阵 Homography Estimation，也就是把其中一张通过个关联性与另一张匹配的方法。单应矩阵H效果如下：通

8、过单应矩阵H，可以将原图像中任意像素点坐标转换为新坐标点，转换后的图像即为适合拼接的结果图像。下列图即为找出符合几何约束的特征点之后，通过单应矩阵来对齐两张图片的内容。图7：根据特征点进展图像拼接的效果图图8：多张图像拼接效果3.5图像融合图像拼接后，需要对图像重叠局部进展融合处理。图像融合技术决定了最终图像合成质量，常用的有平均叠加法，线性法，加权法，多段融合法等。具体见参考文档【2】?全景图生成技术研究?。3.5.1 平均叠加法平均叠加法是直接对图像进展平均叠加。这是最简单的融合方法，会出现明显的拼接缝隙。3.5.2 线性法柱面图像的拼接多采用简单的线性法。图像映射到柱面坐标下，图像间就是

9、简单的纯平面平移变换，局部对准后，对重叠区域用线性法融合。该方法适合柱面全景图生成，或者仅具有平移变换的两幅图像融合。3.5.3 加权函数法加权函数法与线性法类似，也是广泛应用的融合方法之一。该方法能有效去除边界缝隙，但在拼合区往往出现叠影模糊的现象。3.5.4 多段融合法多分辨率样条多段融合法是目前比拟好的融合方法，拼接成的图像既清晰又光滑无缝，能防止缝隙问题与叠影现象。另外，如果选取好的最正确缝隙线，还能处理有轻微运动物体的图像拼接。但该方法运算量大是其明显缺陷。3.6全景图像投射3.6.1 柱面全景图固定视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列，将这

10、组图像序列无缝拼合，并投影到柱面空间坐标，就得到了衣服柱面全景图。柱面投影就是讲图像投影到柱面上，它是一种透视投影而非平行投影，通俗的讲就是要活的从投影中心这一点上观察图像在柱面上的成像。下列图表示将三维空间上的点X,Y,Z映射到柱面模型上得到对应于柱面模型上的点x,y,z的过程。其中为观察视域中心与X轴夹角，h为柱面模型高度，(x,y,z)为X,Y,Z在柱面模型上的投影。图9：柱面全景图生成模型其中，图10：柱面全景图效果图详细的柱面投影模型的推导过程，见参考文档【5】?柱面全景图拼接算法的研究?。3.6.2 球面全景图球面全景图是通过求取图像映射到球面的参数，将图像映射到球面模型上，然后得

11、到的平面反展开图就是球面全景图或者局部球面全景图。图11：球面投影变换结果图图12：球面全景图拼接效果3.6.3 多面体全景图以景物中心为固定视点来观察整个场景，并将周围场景的图像记录在以该点为中心的环境映射到多面体上，这样环境映射以多面体全景图像的方式来提高其中心视点的场景描述。多面体全景图中以立方体最为简单，立方体全景图是由6幅广角为90度的画面组成。图13：立方体全景图效果开源图像算法库OpenCV在2.4.0版本后集成了一个全景图拼接模块stitch，其中一个较详细的样例代码stitching_detail.cpp简要介绍如下：4.1 stitching_detail程序运行流程1.命

12、令行调用程序，输入源图像以及程序的参数2.特征点检测，判断是使用surf还是orb，默认是surf。3.对图像的特征点进展匹配，使用最近邻与次近邻方法，将两个最优的匹配的置信度保存下来。4.对图像进展排序以及将置信度高的图像保存到同一个集合中，删除置信度比拟低的图像间的匹配，得到能正确匹配的图像序列。这样将置信度高于门限的所有匹配合并到一个集合中。5.对所有图像进展相机参数粗略估计，然后求出旋转矩阵6.使用光束平均法进一步精准的估计出旋转矩阵。7.波形校正，水平或者垂直9.融合，多频段融合，光照补偿，4.2 stitching_detail程序接口介绍img1 img2 img3 输入图像 -

13、try_gpu (yes|no) 是否使用GPU(图形处理器)，默认为no/* 运动估计参数 */ -features (surf|orb) 选择surf或者orb算法进展特征点计算，默认为surf -ba (reproj|ray) 光束平均法的误差函数选择，默认是ray方法 -ba_refine_mask (mask) - -wave_correct (no|horiz|vert) 波形校验 水平，垂直或者没有 默认是horiz -save_graph 将匹配的图形以点的形式保存到文件中， Nm代表匹配的数量，NI代表正确匹配的数量，C表示置信度/*图像融合参数:*/ -warp (plan

14、e|cylindrical|spherical|fisheye|stereographic|compressedPlaneA2B1|compressedPlaneA1.5B1|compressedPlanePortraitA2B1|compressedPlanePortraitA1.5B1|paniniA2B1|paniniA1.5B1|paniniPortraitA2B1|paniniPortraitA1.5B1|mercator|transverseMercator) 选择融合的平面，默认是球形 -seam_megapix 拼接缝像素的大小 默认是0.1 - -seam (no|voron

15、oi|gc_color|gc_colorgrad) 拼接缝隙估计方法 默认是gc_color -compose_megapix 拼接分辨率，默认为-1 -expos_comp (no|gain|gain_blocks) 光照补偿方法，默认是gain_blocks -blend (no|feather|multiband) 融合方法，默认是多频段融合 -blend_strength 融合强度，0-100.默认是5. -output 输出图像的文件名，默认是result,jpg 命令使用实例，以及程序运行时的提示：4.3 测试效果图14：usb摄像头拍摄的办公室90度视角的六张图像图15：生成的全

16、景图OpenCV的图像拼接模块效果良好，但是由于考虑到及其缺乏条件的情况，因此算法方面采用了很多很复杂的方法，如待拼接的图像顺序不明，基于特征点的图像匹配，迭代优化估计相机焦距参数等，耗时十分长此例子中，耗时大约十几分钟。当有适宜的硬件配合时，整个算法流程可以大大简化。本文档根据网上搜集到的局部信息，对全景拼接算法进展了概括性的介绍，并展示了开源图像算法库opencv的全景图拼接效果测试效果。根据已有的结果，可以看出，以opencv全景模块为算法流程蓝本，过程过于复杂，暂时无法实现实时性。而相对的，利用一些先验知识如素材图像顺序与硬件条件相机参数，拍摄约束等，可以大大简化图像拼接算法流程与难度

17、，关键的步骤如图像几何模型投影等内容，又已经搜集到了相关文献，可以学习详细推导过程，从而自行编程实现完整算法流程。参考资料1. 鱼眼照片生成全景图算法的研究与实现，程菊明等，计算机工程与应用，20072. 全景图生成技术研究，李艳丽，山东大学硕士毕业论文，20073. 球面全景图像生成技术的研究，杨燕等，20074. 全景图像拼接技术研究现状综述，江铁等，重庆工商大学学报，20215. 柱面全景图拼接算法的研究，付金红，哈尔滨理工大学硕士毕业论文，20056. Stitching Pipeline, OpenCV Reference, 7. 合成全景图中计算机视觉技术的知识与原理 8. SIFT特征提取分析 9. 全景摄像机图像矫正的核心算法 10. 三星发布360度全景相机Project Beyond 11. 理光发布双鱼眼镜头全景相机 12. Stitching_detail算法介绍 第 11 页