基于双目视觉的目标检测与测距技术研究,电气工程硕士论文.docx

《基于双目视觉的目标检测与测距技术研究,电气工程硕士论文.docx》由会员分享，可在线阅读，更多相关《基于双目视觉的目标检测与测距技术研究,电气工程硕士论文.docx（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于双目视觉的目标检测与测距技术研究,电气工程硕士论文摘 要 随着我们国家经济的发展和科技的进步，拥有汽车的家庭也随之增加，虽为生活提供了更多的便利，但伴随而来的还包括道路拥挤和交通事故，汽车的驾驶安全已成为当下汽车技术发展所面临的一个重中之重的问题。基于双目视觉的环境感悟技术在汽车安全驾驶领域中是一个研究热门，本文对基于双目视觉的目的检测与测距进行了深切进入研究，提出了一种基于深度学习网络 GA-Net 和YOLOv4 的目的检测与测距技术。 首先，对摄像机几何成像中用到的四大坐标系和它们之间的转换关系进行介绍。分析了双目立体视觉测距的原理，然后总结了常用的匹配算法。 其次，对 GA-Net

2、 立体匹配的原理、网络构造和实现经过进行分析，采用KITTI-stereo2021 和 Cityscapes 两个数据集进行训练和测试，将获取的视差图与传统 SGM 算法获取的视差图进行了比拟，结果表示清楚 GA-Net 立体匹配算法处理得到的视差图更平滑，边缘更清楚明晰，在均方根误差上也明显低于 SGM 算法。 再次，研究分析了 YOLOv4 模型的算法原理、网络构造、损失函数等，采用 MS COCO 数据集训练模型、KITTI-Object 的训练集微调模型参数、KITTI-Object 的测试集和 Cityscapes 测试集测试模型，利用平均检测精度(AP)、均值平均精度(m AP)和

3、图像每秒传输帧率(FPS)三个指标评估 YOLOv4 模型的辨别性能，并将结果与 SSD 目的检测模型作比拟。 最后，采集室内和室外的双目图像视频。运用张正友标定法对选择的 ZED双目相机进行标定得到内参、外参信息，然后采用单目的和多目的的检测与测距方案对本文提出的目的检测与测距算法进行试验，单目的检测和测距的试验结果表示清楚在 15 m 距离范围内，目的测距误差在 5.2%以内；多目的检测和测距的试验中，本文的算法正确辨别了图像中的人、车、椅子等信息，并计算出了它们的距离。 多种试验的结果表示清楚，本文提出的基于双目立体视觉的目的检测与测距技术能够为汽车自动驾驶提供辅助驾驶技术。 本文关键词

4、语 ： 双目视觉；目的检测；测距；自动驾驶 。 Abstract With the development of my countrys economy and technological progress, thenumber of families with cars has also increased. Although it provides moreconvenience for life, it is also accompanied by road congestion and traffic accidents. Car driving safety has become t

5、he current situation. One of the most important issuesfacing the development of automobile technology. The environment perceptiontechnology based on binocular vision is a research hotspot in the field of car safedriving. This article conducts in-depth research on target detection and ranging basedon

6、 binocular vision, and proposes a deep learning network based on GA-Net andYOLOv4 Target detection and ranging technology. First, the four coordinate systems used in the geometric imaging of the cameraand the conversion relationship between them are introduced. The principle ofbinocular stereo visio

7、n ranging is analyzed, and then the commonly used matchingalgorithms are summarized. Secondly, the principle, network structure and implementation process ofGA-Net stereo matching are analyzed. Two data sets of KITTI-stereo2021 andCityscapes are used for training and testing. The obtained disparity

8、map is comparedwith the traditional SGM algorithm. The result is It shows that the disparity mapprocessed by the GA-Net stereo matching algorithm is smoother, the structure isclearer, and the root mean square error is also significantly lower than the SGMalgorithm. Thirdly, it studied and analyzed t

9、he algorithm principle, network structure, lossfunction of YOLOv4 model, using MS COCO data set training model, KITTI-Objecttraining set to fine-tune model parameters, KITTI-Object test set and Cityscapes testset test model, using Average detection accuracy (AP), average average accuracy(m AP) and i

10、mage frame rate per second (FPS) are three indicators to evaluate therecognition performance of the YOLOv4 model, and compare the results with theSSD target detection model. Finally, collect indoor and outdoor binocular images and videos. Use ZhangZhengyou calibration method to calibrate the selecte

11、d ZED binocular camera toobtain internal and external parameter information, and then use single-target andmulti-target detection and ranging schemes to test the target detection and rangingalgorithm proposed in this paper. Single target detection and The test results ofranging show that within the

12、range of 15m, the target ranging error is within 5.2%; inthe multi-target detection and ranging test, the algorithm in this paper correctlyrecognizes the information of people, cars, chairs, etc. in the image, and calculatesOut of their distance. The results of various experiments show that the targ

13、et detection and rangingtechnology based on binocular stereo vision proposed in this paper can providedriving assistance technology for auto-driving. Keywords : binocular vision, target detection, distance measurement, automaticdriving 。 文章为硕士论文，如需全文请点击底部下载全文链接】 1.3、国内外研究现在状况 1.3.1、双目视觉智能车研究现在状况 1.3

14、.2、双目视觉立体匹配技术研究现在状况 1.3.3 、目的检测技术研究现在状况 1.4、本文主要研究内容与构造布置 第二章 双目视觉及立体匹配基础理论 2.1、摄像机几何成像模型. 2.1.1、 四大坐标系 2.1.2、坐标系的转换 2.1.3、 非线性模型 2.2、极线几何. 2.3、双目立体视觉测距的原理 2.4、立体匹配算法， 2.4.1、传统的 立体匹配算法 2.4.2、基于卷积神经网络的立体匹配算法 2.5、立体匹配算法评价标准. 2.6、本章小结. 第三章 基于GA-Net的立体匹配. 3.1、 GA-NET 立体匹配 3.1.1、网络结 构 3.1.2、特 征提取 3.1.3、代

15、价聚合 3.1.4、引导子网络. 3.1.5、视差回归与损失函数 3.2、试验经过与试验结果分析. 3.2.1、试验 数据集 3.2.2、训练经过 3.2.3、试验结果与 分析. 3.3、本章小结. 第四章 目的检测 4.1、 YOLO目的检测算法 4.1.1、 YOLOv4 目的检测 4.1.2、网络结 构 4.1.3、损失 函数 4.2、目的辨别训练. 4.2.1、试验数据集 4.2.2、模型的训练 4.2.3、检测性能评估指标 4.3、试验结 果与分析 4.4、本章小结. 第五章 基于双目立体视觉的目的检测与测距试验. 5.1、试验平台 5.2、摄像机标定 5.3、实测图像集测试结果 5

16、.4、本章小结. 第六章 总结 本文以双目立体视觉和目的检测技术为基础，在不同背景下研究了对车辆前方目的的检测辨别与测距技术，该技术能够为自动驾驶的汽车提供前方信息，促进汽车自动驾驶技术的发展。通过在计算机搭载双目摄像机，采集真实的图像视频信息，运用深度学习算法检测辨别前方目的，再通过立体匹配算法计算目的的距离，实现车辆自动驾驶中对前方目的的检测辨别与距离计算。 结合实现双目立体视觉目的辨别与测距系统所做的工作，本文主要完成的内容及结论如下： (1)首先查阅了大量的目的检测算法与立体匹配算法的文献，并介绍了目的检测辨别和立体匹配的研究现在状况。 (2)通过分析世界坐标系、摄像机坐标系、图像像素

17、坐标系、图像物理坐标系这四大坐标系之间的位置关系，得到了它们之间的坐标转换矩阵，能够将三维空间中任意一点通过坐标变换转换到二维成像平面上。分析双目测距的原理，得出距离的计算公式，然后简单介绍了几种典型的立体匹配算法，为实现双目立体视觉测距提供了基础。 (3)对GA-Net立体匹配算法的网络构造和实现经过进行分析，使用该立体匹配算法对选取的批量图像数据集进行处理，获取视差图。将其得到的立体匹配得到的视差图与通过SGM立体匹配算法得到的视差图进行比照分析，证明了GA-Net立体匹配算法得到的视差图具有更好的的匹配效果，进而能够提高通过视差信息计算距离的准确度。 (4)研究分析了YOLOv4实时目的

18、检测算法的检测经过，检测原理、网络构造和损失函数，在标准数据集中选择所需的标签信息，采用YOLOV4网络进行重新训练，最终得到的目的检测的m AP为47 %，每30 ms左右能够检测完成一张图片。在一样环境下对SSD目的检测模型的效果进行测试并与YOLOv4进行比照。得到了图像中目的的位置信息，为目的的距离计算做了准备工作。 (5)搭建双目立体试验平台。选择张正友标定法，基于MATLAB双目立体相机标定工具对系统选用的双目相机进行标定，得出双目相机的内部参数和外部参数。采集视频图像信息，截取华而不实关键帧，首先采用单目的检测与测距的实验方案，得出图像中目的的类别和距离，共进行了15组实验，然后

19、将计算得出的距离与激光测距仪测量的距离进行比照，分析误差。得出在15 m范围之内误差控制在5.2 %左右。然后在不同场景下进行多目的的检测与测距试验，实现了不同场景下多目的的检测与测距。试验表示清楚本文能够对自动驾驶的汽车提供车辆前方的信息。 以下为参考文献. 1杨铖汽车电子技术中的智能传感器技术分析J电子测试20212)133-134. 2 THORPE C, HERBERT M KANADE T, et al. Toward autonom ous driving the cmu navlab.11. architecture and systems. IEEE expet, 1991,

20、6(4): 44-52. 3 MALLOT H A BULTHOFF H H, LITTLE JJ, et al. Inverse perspective m apping simplifies optical flow cam putaton and obstacle detection. Biologcal cybemetics, 1991, 64(3):177-185. 4 NGUYEN V D, VAN NGUYEN H, TRAN D T, et a1. Leamning fram ework far robust obstacle detection, recognition an

21、d trackingJ. IEEE Transactions an Inteligent Transpotati on System器2021, 18(6): 1633- 1646. 5 SEO D, PARK H, JO K et al. Omni directional stereo vi sian based vehicle detection and di st ance m easu ement for diver assi stance system C/IECON 2020- 39th Annua1 C onference of the IEE Industrial E1ectr

22、 anics Society IEEE, 2020: 5507-5511 6王荣本李琳辉,金立生郭烈,赵-兵基于双目视觉的智能车辆障碍物探测技术研究中国图象图形学报,2007(1 2):2158-2163. 7齐小燕基于双目立体视觉V-视差法障碍物检测算法研究与实现D沈阳:东北大学,2018. 8 张琦,胡广地,李雨生,赵鑫.改良FastRCNN 的双目视觉车辆检测方式方法应用光学,2021,39(6) 832-838. 9 岳欣羽基于双目视觉的车辆前方障碍物检测方式方法研究D.吉林:吉林大学, 2021. 10MART D C. A computati onal investigation

23、into the human repr esentation and processing of vi sual inform ati onJ. Free-nan, San Francisco, CA, 1983,27(1) 1 1BOYKOV Y, KOLMOGOROV V. An experim ental comparison of min- cutmax flow algorithms for energy mininization in visionJ. IEEE tr ansactions on pattern analysis andm achine inelligence, 2

24、004, 26(9): 1124-1137. 12LEMPITSKY V, ROTHER C, BLAKE A. Logcut- ef cient egraph cut optimizati on for m arkov random fieldsC/2007 1EEE 1 1th Intermnati onal C onference on C amputer Visan. IEEE, 2007: 1-8. 13KANADE T, KANO H， KIMURA S，et al. Development of a video-rate stereom achineCProceedings 19

25、95 IEEERSJ Internati anal C onference on Intelligent Robots and System s. Hum an R obot Inter acti on and C ooperative Robots. IEEE, 1995, 3: 95-100. 14HIRSCHMULLER H Accurate and ef cient stereo proce sing by semi-global m atching andm utual inform atianC/2005 IEEE C om puter Society C anference on

26、 Computer Vision and P ttermn Recogiti on (CV PR05). IEEE, 2005, 2:807-814. 15ZBONTAR J, LECUN Y. Computing the stereo mnatching cost with a convolutional neural networkC/Proceedings of the IEEE canfer ence an computer vi si arn and pattern recognition2021: 1592-1599 . 16CHANG J R, CHEN Y s. Pyramid

27、 stereo m atching netw orkC /Proceedings of the IEEEC onference on C am puter Vison and P atern Recogntion 2021: 5410-5418. 17ZHANG F, PRISACARIU V, YANG R, et al. G a net: Guided aggregation net for end to- eand stereo matchingC/Proceedings of the IEEE/CVF C anference an C omputer Vision andP atern

28、 Recognition 2022: 185- 194. 18GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hi erar chi es for accurate obj ect dection and semartic segm entionC/Proceedingsg of the IEEE conference on computer vis an and pattern recogntion. 2020: 580-587. 19HE K ZHANG X REN s, et al. Spatial pyramnid pooli

29、ng in deep convoluti onal netwv orks far vi sual recognitionJ IEE tansactions on pattern analysis and m achine itligence, 2021,37(9) 1904-1916. 20GIRSHICK R. F ast r-cnC/Proceedngsg of the IEEE intemnati onal confer ence on computer vision.2021: 1440-1448 . 21REN s, HE K GIRSHICK R, et al. Faster 1

30、cnmn: Tow ards real time obj ect detection with regon p oposal netwv arksJ arXiv preprint aXiv.1506 01497,2021. 22REDMON J, DIVVALA S, GIRSHICK R, et al. You anly look once: Unified re al-timne object dete cti anC/Proceedings of the IEE conference on computer vision and pattern recogniti on.2021: 77

31、9-788 . 23LIU W, ANGUELOV D, ERHAN D, et al. Ssd: Single shot multibox detectaC/European conference on com puter vi sion. Springer, Cham, 2021: 21-37. 24REDMON J, FARHADI A Y0LO9000: better, fastr, st angerC/P roceedings of the IEEE conference on com puter vi si on and pattern recognition. 2021: 7263-7271. 25REDMON J, FARHADI A Yolov3: An incremental improvem en arXiv pr eprint arXiv1 804.02767, 2021. 26BOCHKOVSKIY A, WANG C Y, LIAO H Y M. Yolov4: Optim al speed and accuracy of object detectianJ. aXiv preprint arXiv.2004. 10934, 2020.