2022年文献综述 5.pdf

《2022年文献综述 5.pdf》由会员分享，可在线阅读，更多相关《2022年文献综述 5.pdf（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1 基于图像处理的目标定位文献综述1. 前言随着经济发展和人民生活水平的提高，传统产业的结构调整和升级已成为行业发展的共识。 将机器视觉、 机器人等先进技术引入传统的生产加工行业，改善自动化生产、保障加工过程安全卫生、提高生产效率、降低劳动强度，已成为现代工业加工与包装行业的一种新型趋势。 机器视觉技术具有非接触测量、 可靠性高、柔性好等特点，在工业自动化、 视觉导航、虚拟现实等方面已获得广泛应用。机器视觉系统分为基于PC 的视觉系统和基于视觉传感器的视觉系统两大类。基于 PC 的机器视觉系统的视觉检测全部由 PC 完成，检测速度受限。 基于视觉传感器的机器视觉系统，由于视觉传感器将图像处理器

2、、 数字摄像机、I/O 接口等高度集成， 并提供专用视觉开发软件，因此可大大简化软件开发难度、缩短开发周期、 提高识别速度和可靠性， 具有更为广阔的应用前景。 1 2. 正文2.1 机器视觉机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品( 即图像摄取装置，分CMOS 和 CCD 两种) 将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号; 图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 2 值得一提的

3、是， 广义的机器视觉的概念与电脑视觉没有多大区别，泛指使用电脑和数字图像处理技术到达对客观事物图像的识别、理解和控制。 而工业应用中的机器视觉概念与普通电脑视觉、模式识别、数字图像处理有着明显区别，其特点是：(1)机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、电脑软硬件技术、人机接口技术等。 这些技术在机器视觉中是并列关系，相互协调应用才能构成一个成功的工业机器视觉应用系统。(2) 机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境， 要有合理的性价比， 要有通用的工业接口， 能够由普通工作来操作，有

4、较高的容错能力和 安 全 性 ， 不 会 破 坏 工 业 产 品 ， 必 须 有 较强的通用性和可移植性。 (3) 对机器视觉工程师来说，不仅要具有研究数学理论和编制电脑软件的能力，更需要的是光、机、电一体化的综合能力。(4) 机器视觉更强调实时性，要求高速度和高精度， 因而电脑视觉和数字图像处理中的许多技术目前还难以应精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 1 页，共 11 页2 用于机器视觉，它们的发展速度远远超过其在工业生产中的实际应用速度。3 目前，最先进的机器视觉技术仍然由欧美、日本等国家掌握， 发达国家针对工业现场的应用开发出了

5、相应的机器视觉软硬件产品。中国目前正处于由劳动密集型向技术密集型转型的时期， 对提高生成效率、 降低人工成本的机器视觉方案有着旺盛的需求，中国正在成为机器视觉技术发展最为活跃的地区之一。长三角和珠三角成为国际电子和半导体技术的转移地， 同时也就成为了机器视觉技术的聚集地。许多具有国际先进水平的机器视觉系统进入了中国，国内的机器视觉企业也在与国际机器视觉企业的良性竞争中不断茁壮成长，许多大学和研究所都在致力于机器视觉技术的研究。2010 年和 2011 年中国机器视觉市场迎来了爆发式增长，市场规模分别到达 8.3 亿元和 10.8 亿元，其中智能相机、软件、板卡、工业相机的增长速度都远超中国整体

6、自动化市场的增长速度。 机器视觉市场 70%的市场份额由电子、 汽车、制药和包装业占据。 4 在机器视觉的应用中， 如基于地图生成的视觉、 移动机器人的自定位、 视觉伺服等的应用中， 从二维图像信息推知三维世界物体的位姿信息是很重要的。目前已经出现了一些自定标和免定标的方法，这些方法在比较灵活的同时， 尚不成熟， 难以获得可靠的结果。 通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。摄像机定标在机器视觉中决定：(1) 内部参数给出摄像机的光学和几何学特性焦距，比例因子和镜头畸变。(2) 外部参数给出摄像机坐标相对于世界坐标系的位置和方向，如旋转和平移。在机器人的视觉应用中， 目标物

7、位姿信息获取通常有一定的精度要求，机器人视觉系统的性能很大程度上依赖于定标精度。随着电脑性能的快速提高，低价位 CCD 摄像机的大量使用，电脑定标方法也得到了不断的改良。5 摄像机标定坐标系可分为： 图像像素坐标系、图像坐标系、 摄像机坐标系和世界坐标系，在这首先对几种坐标系做简要介绍：图像像素坐标系： 坐标原点在图像左上角， 每一象素的坐标 (u、v) 分别是该象素在数组中的列数和行数。图像坐标系：摄像头的 CCD 传感器的外表坐标系， 原点为摄像机光轴中心， x 轴、y 轴与像素坐标系 u ，v 轴平行；摄像机坐标系：如图1 摄像机坐标系的原点为摄像机光轴与图像平面的交点，XC轴和 YC轴

8、与图像的 X 轴与 Y 轴平行， ZC轴为摄像机光轴，它与图像平面垂直，由点OC与 XC、YC、ZC轴组成的直角坐标系。精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 2 页，共 11 页3 世界坐标系：在环境中选择一个基准坐标系来描述摄像机的位置和用来标定的特征点的位置的坐标系，满足右手法则。几种坐标系间的相互关系如下列图1 所示：图 1 坐标系用摄像机拍摄图像时， 世界坐标系中的目标物在实际成像过程中需要经历如下列图 2 所示步骤：精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 3 页，共 11 页

9、4 图 2 空间点实际成像过程 6 在视觉测量中， CCD 相机在应用过程中存在严重的非线性失真，其中内外参数不稳定，传统的针孔成像模型无法准确建立成像几何。因此，开发一种新的成像模型和畸变补偿方法来完成摄像机的标定，已经成为电脑视觉测量的重点。7 在理想情况下， 给定一个拥有足够数量的点集合，并且知道它们在世界坐标系下的坐标和对应的像素坐标系下的坐标，就可以解出相机的内外参数。 但在实际的运用中，理想的针孔线性模型不能精确的描述相机的成像几何关系，使得所求三维空间点的坐标产生误差。 分析其结果是因为相机成像过程中存在畸变，在畸变的情况下使得计算出空间点的世界坐标存在偏差， 主要原因是畸变使得

10、空间成像点的位置关系发生了改变，为了得到较精确的空间点坐标，校正相机成像畸变的过程是必要的。相机的镜头制造过程中， 由于材料和加工精度的关系使得其不是一个理想的光学成像系统。 在相机的成像平面上， 相机畸变影响到了空间点的成像位置，使得成像点与理想的位置存在一定的偏差。相机畸变类型可分为径向畸变、 偏心畸变和薄棱镜畸精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 4 页，共 11 页5 变。畸变使得成像点的位置会在径向或切向上发生改变，理想成像点与实际的成像点之间的位置关系如图3 所示，图 3 理想成像点和实际成像点之间的位置关系传统的相机标定方法

11、有很多学者提出了不同的算法思路，传统的相机标定方法根据算法的不同思路又可分为以及基于最优化算法的相机标定方法、基于相机变换矩阵的相机标定方法以及考虑了畸变补偿的其他方法。1基于最优化算法的相机标定方法利用最优化算法进行相机标定的方法假设相机成像的光学模型非常复杂，这是这类方法的一个优点。 这类相机标定方法求得相机标定参数的结果受参数给定的初始值的影响，同时优化步骤也非常的耗时， 假设给定的参数初始值不理想的的话，优化过程很难得到准确的参相机数结果，耗时的优化程序也无法得到实时的结果。根据参数模型的选取不同， 这类算法的主要有摄影测量学中的传统方法和直接线性变换法。摄影测量学中的传统方法典型代表

12、方法是Faig 提出来的方法，该标定方法建立一个很复杂的相机成像模型， 建立相机模型的过程中不仅利用了针孔相机模型的共面约束条件，还考虑到了成像过程中各种因素对成像的影响。标定方法描述每一幅图像的空间约束关系至少利用了17个参数， 因而计算量相当的大。直接线性变换法是Abde1.Aziz和 Karara 在 1971年提出的， 这种方法求解相机的参数结果精度不高，因为算法忽略了相机成像过程中分线性的因素，相机的镜头畸变也没有考虑， 标定相机模型的各个参数是通过求解线性方程来获得的。2基于透视变换矩阵的标定方法该种相机标定用一个非线性的方程来描述三维世界坐标系与二维图像像素坐标系之间的变换关系，

13、 其中非线性的方程包含了相机模型的内外参数。在不考虑相机镜头畸变等分线性的约束条件的情况下，同时把透视变换矩阵中的元素当作未知数，可以运用一组三维空间点和图像对应点的对应信息来线性的求解矩阵中的元素的值。3Tsai 两步法Tsai 提出的两步法是基于径向一致约束的方法，求解参数分为两步，根据径向精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 5 页，共 11 页6 一致约束条件， 可以先求解出一部分相机成像模型的参数，再通过非线性优化步骤得到相机模型其他参数的值。 这种方法在工业视觉系统中运用比较多，径向一致约束法这种方法获得的标定结果精度比较高，

14、使用与需要精密测量的场合。 径向一致约束法求解相机模型参数的过程中大部分方程式线性方程，降低了求解参数的复杂度， 标定过程速度快、准确。但不适合普通的标定场景， 因其需要高精度的标定设备作为代价。4张正友标定法张正友在 1998 年提出了一种比较简单灵活的方法，该方法是介于传统方法和自标定方法之间的一种方法，该方法假定平面标定板置于其所在的世界坐标系Zw=0的平面上，其通过线性成像模型来求得相机参数的初值，然后基于非线性成像模型给出考虑了非线性畸变的目标函数， 然后使用非线性最优化的方法来获得相机参数的最优解。这种标定方法具有较好的鲁棒性、实用性和较高的精度， 防止了传统方法需要高精度设备的要

15、求。不足之处在于线性估计相机参数初值是采用的是整幅图像的像点，不能为非线性求解过程提供一个较理想的初始值。相机自标定法标定相机仅需要用到相机运动过程中多幅环境图像之间的对应关系，并不需要特定的标定参照物。 相对于传统的相机标定方法，其算法不足之处在于鲁棒性较差， 但由于标定过程不需要标定参照物，所以算法更加的灵活， 对于未知场景和相机运动任意的情况下也可以对相机进行标定。目前已而言，有基于Kruppa 方程的自标定方法和基于二次曲面的自标定发，还有分层逐步标定法等自标定方法。1基于 Kruppa 方程的自标定方法Faugeras 等对射影几何的研究证明了每两幅图像间存在两个形如Kruppa 方

16、程的二次约束，内部参数可以通过求解Kruppa 方程组来确定。基于Kruppa 方程的自标定方法标定相机的过程仅需要建立两幅图像之间的方程，对图像序列的摄影重建过程并不考虑。如果图像序列较长， 且所有图像相对于确定的射影空间的无穷远平面一致性无法保证，标定算法的稳定性会受到影响。2基于二次曲面的自标定法将绝对二次曲面引入相机标定的过程中，从本质上来说，其与基于Kruppa 方程的标定方法是一直的概念，最先是由 Triggs提出来的。都是根据欧式变换下的绝对二次曲线的不变性质来进行的。相对于基于Kruppa 方程的自标定方法，基于绝对二次曲面的自标定法不仅包含了二次曲线的信息，还包含了无穷远平面

17、的信息。 标定方法计算二次曲面之前先对图像做了射影重建，因此对所有图像的无穷远平面的一致性就得到了保证，所以基于二次曲面的自标定法更加的稳定。3分层逐步标定分层逐步标定法做相机标定之前， 与基于二次曲面的自标定法一样要对图像序列精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 6 页，共 11 页7 做射影重建步骤， 在重建图像序列的基础上接着进行放射标定和欧式标定。通过将所有图像与其中一幅图像做摄影对齐，减少了未知数的个数， 应用非线性优化算法将所有的未知数同时求出。 优化算法的收敛性不确定是这类标定方法的一个缺点，因为优化初始值只能估计， 同时重

18、建图像序列的射影对齐的参考图像是不确定的，不同的参考图像会使得相机参数标定结果不一样。4基于主动视觉的相机标定法：基于主动视觉的相机标定方法是在已知相机的某些运动信息的情况下进行标定相机的，这些信息有定性的和定量的， 由于知道了一些相机的运动信息，基于主动视觉的相机标定方法求解相机的参数是线性的，所以算法具有较高的鲁棒性。基于主动视觉的相机标定法中的相机可以知道其精确的运动信息，通过控制相机运动的控制平台控制相机运动拍摄多幅图像，相机的内参数和外参数可以通过图像信息和相机的运动信息求得。 该种算法需要精准的相机运动平台，标定不够灵活是一个不足的方面。 8 2.2.5 影响标定精度的因素分析对一

19、幅图像上的 i ( i=1,2,3,4,? ) 个特征点有 2式，从中可以看出，特征点的提取精度和世界坐标的测量精度都会对单应性矩阵的计算造成影响，通常特征点会远远大于 4 个，因此以上方程组不相容，不存在通常意义下的解，通常取最小二乘解。即令可求得单应性矩阵一个 H。特征点 u，v，0、标定板上角点世界坐标 X，Y，Z都会对计算结果产生直接的影响，每一幅图像上特征点的数量将影响到每个单应性矩阵的求解精度。在该标定方法中要求每一幅图片都从不同的角度去拍摄，即一幅图片就是一个视场，能唯一确定一个单应性矩阵H。图片的数量即 H的数量。在由单应性矩阵求解相机内外参数的过程中， H 的数量同样会影响到

20、标定的精度。不考虑畸变的情况下， 相机参数共有 9 个，而一个单应性矩阵仅能确定8 个自由度，因此标定至少需要2 幅不同视角的图像。 为了获得稳定的数值结果， 通常采集的图片数量会远远超过次数。如果采集图像不足， 明显会对内部参数计算带来一定的误差，但采集图像过多一方面影精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 7 页，共 11 页8 响标定的精度， 另一方面也会造成误差累积， 增加错误概率。 因此合适图像数量必须加以考虑。 9 视觉系统强调精度和速度， 所以需要图像采集部分及时、 准确地提供清晰的图像，只有这样，图像处理部分才能在比较短的时

21、间内得出正确的结果。由此可知图像采集部分的性能会直接影响整个机器视觉系统的性能。图像采集部分一般由光源、镜头、数字摄像机、图像采集卡和电脑构成。采集过程可简单描述为在光源提供照明的条件下，数字摄像机拍摄目标物体并将其转化为图像信号，最后通过图像采集卡传输给图像处理部分，如图 4 所示。由于获取的图像是彩色图像， 而后续的算法只需要灰度图像就能完成，因此要灰度化。通常的图像都会受到各种噪声的影响， 因此还要去除噪声， 经过前面的预处理之后， 得到更好质量的图像。预处理之后就是对工件图像的边缘检测，提取工件的边缘特征。 整个处理过程如图 5 所示。 10 图 4 图像采集过程框图图 5 图像预处理

22、和边缘特征提取过程框图视觉检测系统的功能模块包括图像采集与显示模块、图像处理模块以及检测结果输出部分。1图像的采集与显示模块包括图像传感器以及A/D 转换器等，主要功能是在合适的光源照度下进行图像的采集，并转换为需要的图片格式进行显示和存储。2图像处理模块是整个系统的核心，它主要根据需要， 提取目标图像的特征信息进行中心定位。3 图像输出部分是把图像处理后所存储的数字阵列图像变换为适于人们理解的形式。 11 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 8 页，共 11 页9 视觉测量图像预处理主要包括彩色图像灰度化和滤波去噪。目前，灰度图像处理

23、己存在多种算法，并且因其只研究图像的亮度信息，在很大程度上缩短了处理时间。所以，一般情况下，首先将采集的彩色图像进行灰度化处理，转化成灰度图像。由于要测量物体轮廓边缘的几何信息，所以图像边缘信息提取的好坏就显得尤为关键。一般物体和背景具有较大的比照度，反映在图像上就是物体和背景的灰度差异较大，图像直方图将呈现较为明显的双峰型。因此系统采用阈值法即可较好的实现图像分割。12 边缘检测主要包括以下四个步骤: (1)图像滤波边缘检测算法主要是基于图像亮度的一阶和二阶导数，但是导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能。 (2)图形增强增强边缘的基础是确定图像各点邻域

24、强度的变化值。增强算法可以将邻域强度值有显著变化的点突出显示。 (3)图像检测在图像中有许多点的梯度幅值比较大，而这些点在特定的应用领域中并不都是边缘，应该用某些方法来确定那些是边缘点。最简单的边缘检测判据是梯度幅值阈值判据 。 (4)图像定位如果某一应用场合要求确定边缘位置，则边缘的位置可以在子像素分辨率上来估计，边缘的方位也可以被估计出来。13 算法如下 : 首先对图像进行遍历， 按照从上到下， 从左到右的顺序扫描， 设首先扫描到的黑点为点 a，易知 a 是左上方的点，然后搜索a 点的邻域，对其右，右下，左，左下的点进行判断，至少可以发现一个边界点，设为b。再以 b 为基础，对其右，右下，

25、下，左下，左，左上，上，右上的进行判断，找出边界点c。如果 c 与 a 为同一点，则表示已经遍历了一圈，边界跟踪结束；否则，再以c 为基础继续遍历，直到找到a 为止。在遍历过程中可能会遇到不是边界点的情况，判断是否为边界点的方法： 如果其上下左右均为与自身相同的点，则不是，否则是边界点。发现轮廓后，将轮廓作为一个整体研究，一个轮廓一般对应一系列的点，也就是图像中的目标工件边缘曲线。再将轮廓点的坐标按顺序保存为一个序列，构成目标物体的轮廓序列。14 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 9 页，共 11 页10通过图像预处理和边缘特征提取等

26、有效图像处理后得到了零件的二值化边缘，这些边缘除了噪声点和伪边缘点外，基本上组成一个一个的目标区域。这些区域如果仅从视觉效果上看， 很明显的是一块块的区域， 但是对于电脑来说， 它并不知道这些区域中哪块才是目标区域， 即我们要找的工件。 因此我们需要从分割图中找到所要的零件，这就是图像识别需要解决的问题。图像识别就是从图像中找出与已知模式相似的目标图像，即识别出物体并确定出它在整幅图像中的位置和方向，是电脑视觉系统中的关键和难点。图像识别的一般流程，如图6 所示，由模型库、图像信息获取、图像预处理、特征检测器和匹配、分类组成。图 6 图像识别流程 103. 总结本文就实现机器视觉定位技术的研究

27、和开发，在广泛查阅分析现有的文献资料后，对机器视觉在目标定位方向的技术实现进行了总结综述。基于区域的匹配和形状特征识别结合，进行数据识别和计算， 能够快速准确地识别出物体特征的边界与质心，从而定位到目标。机器视觉技术的诞生和应用， 极大地解放了人类劳动力， 提高了生产自动化水平，改善了人类生活现状，具有很好的应用前景。该项技术目前在我国正处于起步阶段，急需广阔科技工作者的共同努力，来迅速提高我国机器视觉技术的发展与应用水平，为现代化建设做出更大的奉献。154. 参考文献1 晏祖根 , 李明, 徐克非 , 孙小华 , 闫志鹏 , 孙智慧 . 高速机器人分拣系统机器视觉技术的研究 J.2014(1

28、):28-31. 2 百度百科词条 : 机器视觉科技技术 ). 3 段峰, 王耀南 , 雷晓峰 , 吴立钊 , 谭文. 机器视觉技术及其应用综述J.2002(3):59- 61. 4 胥磊. 机器视觉技术的发展现状与展望J.2016(9):7-9. 5 吴文琪 , 孙增圻 . 机器视觉中的摄像机定标方法综述J.2004(2):4-6. 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 10 页，共 11 页116 陈勇. 基于 MATLAB 相机标定系统研究与实现D. 陕西: 长安大学 ,2015(6):29-31. 7Yan Wang,Feng Y

29、uan,Hong Jiang,Yinghui Hu.Novel camera calibration based on cooperative target in attitude measurementJ.2016:1045710466. 8 冯焕飞 . 三维重建中的相机标定方法研究D. 重庆: 重庆交通大学 ,2013(5):13- 18. 9尹 洪 涛 , 刘 成 , 李 一 兵 , 鲁 光 泉 , 刘 文 超 . 相 机 标 定 误 差 因 素 分 析J.2012(1):28-30. 10 基于机器视觉的工件识别和定位文献综述11 黄 紫 青 , 曾 祥 进 . 基 于 机 器 视 觉

30、 的 芯 片 引 脚 识 别 与 中 心 定 位 算 法 研 究J.2015(1):67-69. 12 王 宸 龙 , 李 蓓 智 , 杨 建 国 . 基 于 机 器 视 觉 的 分 度 夹 具 转 角 误 差 测 量J.2016(5):94-95. 13 段瑞玲 , 李庆祥 , 李玉和. 图像边缘检测方法研究综述J.2005(3):415-419. 14 陈泽宁 , 张学习 , 彭泽荣, 钟凯宇 . 基于机器视觉的工件定位和识别J.2016(4): 99-103. 15 唐向阳 , 张勇, 李江有 , 黄岗, 杨松, 关宏. 机器视觉关键技术的现状及应用展望J .2004(2):36-39. 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 11 页，共 11 页