-交通标线检测.docx

《-交通标线检测.docx》由会员分享，可在线阅读，更多相关《-交通标线检测.docx（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1 绪论1.1研究背景与意义1.1.1研究背景在现代社会，随着汽车工业技术和经济的飞速发展，世界上汽车的数量也在迅速增加。汽车的普及给人们带来了舒适，但是每年有125万人死于交通事故。因为个人造成的交通事故占全部交通事故的70%以上。在先进的智能车辆技术中，道路视觉检测是一个重要的组成部分。而在近年来各种类型的传感器被广泛用于车道线检测技术，主要包括激光雷达、雷达、全球定位系统设备（GPS）、单、多目摄像机等1。与此同时，随着深度学习这一概念的提及，在对车道线检测方面也有了更加深层次的应用。通过行车视频的图像来完成交通标线的识别，不仅在传统基于特征的方法上有了更高的准确性还能够为以后无人驾驶的

2、智能交通行驶奠定一个坚固的基础，同时还能提高行车视频的利用效率，极大程度上提高智慧城市产业的发展，为日后解决随意变道问题提出一种新的解决方案。1.1.2研究意义因人为原因发生的道路交通安全问题，所有交通事故中约50%是车辆脱离正常道路造成的。调查显示，有23%的驾驶者一个月内至少在方向盘上睡着一次，66%的卡车司机曾在驾驶过程中打瞌睡2，这无疑大大增加了交通事故发生的可能性。在交通部发布的营运客车安全技术条件中，也明确规定当车长大于9m的运营客车必须要安装JT/T883营运车辆行驶危险预警系统技术要求和实验方法规定的车道偏离预警系统（LDWS），还应装备自动紧急制动系统（AEBS）。不难看出，

3、完善的车道线检测技术系统能够有效的减少司机因为自身因素引起的偏离车道行驶，进而也大大降低了事故的发生几率。目前，无人驾驶车辆技术还属于半成熟阶段，而车道线检测的准确性也和日后无人驾驶车辆行驶的安全性息息相关。我们可以将无人驾驶的车辆看作是一台包含了感知、规划、决策和控制的多感知传感器的模拟人脑行为的移动机器设备。而在上述技术当中，对环境的感知技术则是所有技术的基础。只有当面对各种负责的道路状况，环境信息都能提供较高的准确性和鲁棒性，才能确保其他部分的技术安全准确的执行，从而保证车辆的行驶安全。这将融合各种传感器获得的信息，以获得完整的道路信息。驾驶员面临的主要问题是车辆周围障碍物的有效识别、交

4、通标志的识别和道路路线的识别。因为车道线检测涉及的内容颇多，本文主要通过行车视频获得的影像，针对基于卷积神经网络（CNN）的深度学习算法研究来识别交通标线中的虚实线。而对于交通标线的检测，目前比较主流的方法还是基于视觉的检测方法。通过视觉传感器结合图像处理的方法，将原本的于实际偏差较大的图像转换成鸟瞰图。因为本文主要讨论的是虚实线的识别，所以即使在图像处理过程中失去了颜色特征，但是图形特征十分明显，容易区分虚线和实线。不仅于此，将由远到近的车载摄像头画面转化成与实际相符的平行且宽度相等的鸟瞰图，再去除冗余的干扰信息后也十分方便且受周围环境等因素影响较小，进而能够有效的完成识别。单目视觉传感器是

5、目前应用最广泛的传感器，具有成本低、信息量大等特点。而交通标线具有标准颜色、宽度和形状等视觉特性。然而，现有的算法系统并不是很稳定，准确度在恶劣天气条件和复杂条件下的时候还达不到需要的检测标准。但是相较于单目视觉，立体视觉的成像基准线也很难得到，激光雷达的造价成本高昂且不适合批量使用在汽车设备上，GPS&GIS信号不稳定，容易受到环境遮挡屏蔽和电磁干扰的影响。因此不难看出，基于视觉的车道线检测对于道路交通安全具有重要的意义，也为实例中由后车检测前车是否违法变道奠定基础。1.2国内外研究现状道路交通标线是由施划或安装于道路上的各种线条、箭头、文字、图案及立面标记、实体标志、突起路标和轮廓标所构成

6、的交通设施，它的作用是向道路使用者传递有关道路交通的规则、警告、指引等信息3。车道线是划分同方向交通流的边界线，主要有虚线、实线、黄虚线、黄实线、双虚线、双实线、双白实线、双黄线等表示不同的含义，并且交通标线检测技术就是使用图像处理方法来检测目标图像的位置，进而完成识别。随着车道线检测研究的逐步深入，在检测的准确性和鲁棒性上都有了显著的提高，检测速度相较于之前也明显加快，但是于人工识别相比，机器识别还是存在着明显的不足，在实际应用中仍然由有许多技术难题还急需要解决。主要因为车辆行进过程中，不同的场景所获得的图像也呈现很多的变化，例如在高速公路中，车道标志明显，道路保持良好，进而获取到图像信息的

7、可遇见性和有序性更强。但是在一些城市道路中，由于道路的弯曲，行人等障碍物的走动道路周边的一些绿植建筑的投影等，这都会给车道线检测带来困难。而且车道线检测现在面临的主要问题就是图像逆光严重，不同的路面材料获取的图片质量不同和不同的坡度等。目前可以将国内外文献中提到的方法大致分为三类：第一种是基于特征的方法，第二种是基于模型的方法，第三种则是利用深度学习的方法。（1）基于特征的方法Borkar A等人4在文中通过逆透视变换将原图进行处理，然后采用霍夫变换检测车道线后只进行特征的分段提取。主要是采用了RANSAC(Random Sample Consensus，随机抽样一致)算法拟合，卡尔曼滤波器跟

8、踪。紧接着在对虚线问题的处理上，把虚线车道线用时域模糊的方法来生成均值图像连接。这样处理过的虚线能得到长直线的特征，以便于后期的检测。郜瑞芹5针对不同天气状况下的弯道检测情况，采用了三种不同的检测方式，即SVM（Support Vector Machine，支持向量机）、AdaBoost算法及塔式梯度直方图特征方式，通过在其自建数据库中进行的算法测试，结果表明支持向量机算法的检测率更高。采用了暗原色先验方法对弯道图去雾，进而提高雾天检测率低，很好的解决了雾天检测率低的问题。Cai H等人6在文中利用改进的霍夫变换检测车道线，建立了一种高斯统计颜色模型(G-SCM)，能够在感兴趣区提取车道线颜色

9、。为了计算车辆位置、偏航角以及车辆与车道线之间的距离，将单通道图像坐标系于世界坐标系建立一种对立关系，故而他们认为车辆的自主定位在安全驾驶辅助方面具有重要的作用。（2）基于模型的方法Wang J等人7在文中详细分析了车道检测和车道跟踪的方法。首先移除了若候选车道线边界，采用Sobel算子提取车道线边缘区域，再运用动态规划算法来得到道路的最佳路径。紧接着在处理滤波后的边缘图像检测车道线边界时运用了霍夫变换。实验结果表明，这种方法在高速公路条件下有着非常好的性能与应用，但是明显不适合那种曲线车道环境，在检测过程中为了获得感兴趣的道路边界区域利用了视频相邻帧数之间基于车道线边界的先验信息。Wang8

10、等人在定位了车道线初试区域后，把车道线检测的问题转换成在初试确定区域内确定曲线模型问题。许9运用 运用三次均匀非周期B 样条曲线拟合整条车道线，采用了 Canny 算法和多区域阈值分割算法来提取车道线。王10在利用边缘分布函数获得车道线倾角之后，采用单方向搜索算法和方向可变 Haar 特征提取特征点，最后利用双曲线模型拟合车道线。Jung C R等人11基于边缘分布函数，通过霍夫变换检测车道线位置和方向，对近视场区域和远视场区域分别采用直线模型和曲线模型来获取准确的车道线信息。（3）基于深度学习的方法Kim J12等人在文中介绍了一种利用CNN和RANSAC相结合来检测车道线的方法。首先采用5

11、5的高斯平滑函数对图像进行预处理，然后再利用CNN和RANSAC相结合对车道线进行检测。基于CNN的RANSAC算法检测车道线能够解决因为路况复杂而难以检测的问题，实验结果表明这种基于CNN和RANSAC相结合的车道线检测方法，其检测结果的准确性明显优于RANSAC检测算法和霍夫变换。Li J等人13在文中提及现在大多数现有的网络都没有考虑任何的空间结构，而是直接将低、中等级的特征直接结合起来用于图像分类。因此他们在文中融入了空间结构，以此来扩展深度神经网络的框架。通过建立一个多任务深度卷积网络，完成对感兴趣区域内的目标和目标位置方向的同时检测。通过多任务卷积神经网络提供辅助的几何信息可以很好

12、的帮助给定车道线结构的后续建模，利用循环神经网络来处理一些外形结构难以明确的目标空间分布特征，进而实现车道线边界的自动检测。1.3研究内容与技术路线本文主要的研究内容是通过自己搭建的一个典型卷积神经网络模型来检测交通标线中的虚实线，为实例当中实线违法变道系统解决交通标线识别这一关键问题。主要的技术路线是通过搭建一个卷积神经网络模型，利用标定好的数据集来学习交通标线的特征，主要是采用了两种语义分割，利用灰度图峰值的连续来判断虚实线，并将其应用在视频检测上。实例中介绍了一个实线违法变道系统，这个系统的搭建有利于实现后方车辆对前方车辆的实时监督，能够有效的减少交通监管当中的视觉盲区，在提高道路安全的

13、同时也起到了监督的作用。2 行车视频数据预处理现在大多数车载摄像头都是使用的单目摄像头，这也是目前使用最广泛的传感器。然而，单目摄像头也存在明显问题，就是视角与距离之间存在着不能缓和的矛盾。换句话说，相机的视角越高，精确距离就越短。视场越窄，探测距离越长。这就好比于人们肉眼观察世界，看的距离越远的时候，覆盖的范围就越近，反之，看的距离近的时候，覆盖的范围就会广阔一些。所以就会导致原本平行并且等宽的车道虚实线在获取的图像当中变成相交的，而且车载摄像头是定焦的，这就给后期虚实线的检测带来了很大的困难。不仅如此，车载摄像头采集到的图像，其中车道线仅仅占图中下方的一部分。对于检测而言，图像中包含了包括

14、天空、建筑、汽车、行人无用信息，而且这些不同环境下的干扰信息可能会对检测结果的准确性造成影响，还会降低模型在其他场景下的鲁棒性。因此需要对图像进行预处理，通过对采集的图像进行裁剪，从而获得感兴趣的区域，再通过逆透视变换将车道线转变成平行等宽的鸟瞰图，这大大有利于后期的检测。2.1感兴趣区域(ROI)提取图像中感兴趣区域的提取一般从两个方面来解决。首先可以利用图像分割技术提取感兴趣区域。其次，是从人的视觉特征角度出发，模拟人的视觉特征，寻找视觉敏感区域，并将其划分为关注区域。这里主要介绍自动图像分割技术提取ROI，主要是通过将视频转化成一帧一帧的图像来进行灰度，再获取灰度图像后转化成二值图像，最

15、终根据先验信息定义道路图像的感兴趣区域可以降低天空背景等干扰信息对车道线检测准确性的影响。灰度处理就是是灰度图像的过程。彩色图像分为红、绿、蓝三部分。亮的部分就是灰度值大的像素点，例如白色，它的像素值最大为255；而暗的部分则为像素值低的像素点，例如黑色，它的像素值为0。图像灰度化处理主要包括分量法、最大值法、平均值法、加权平均值法，本文主要采用的是加权平均值法，借由Matlab里面自带的rgb2GRAY函数来实现对图片的灰度化处理。每一分量的权重由其重要性等其他数值指标确定，然后加权平均。考虑到人眼对绿的敏感度高，对蓝的敏感度低，为了获得更好的灰度图像，使用公式（2-1）对RGB的三个分量进

16、行加权。具体Matlab实现如图2.1，其中加权平均法的表达式为：Gray(I,j)=0.299*RIi,j)+0.578*I(i,j)+0.114IB(i,j) （2-1）灰度化 图2.1 灰度化处理效果图2.1.2图像二值化二值图像处理将图像上点的灰度值设置为0或255。也就是说，使整个图像具有清晰的黑白效果，即，通过为256亮度灰度图像选择适当的阈值，可以获得能够反映图像的全部和部分特征的二值图像。这里主要采用最大类间差法求阈值（OTSU算法）。OTSU算法也称最大类间差法，有时也称之为大津算法。它被认为是图像分割的最佳阈值选择算法，计算简单，不受图像亮度和对比度的影响，广泛应用于数字图

17、像处理中，根据图像的灰度特性，如果图像是背景作为背景，背景和前景之间的差异越大，图像两部分之间的差异越大，图像两部分之间的差异越大，两者之间的差异越小，最大化类别之间的方差划分意味着最小的分类错误概率。其原理如下：（1）假设一副灰度图有L个灰度级，即1,2,.L，灰度级为i的像素点有ni个，那么总的像素点个数为N=n1+I+.+ni。那么一个像素点灰度级为i的概率为：pi=niN（pi0,i=1Lpi=1） （2-2）（2）现在假设通过一个灰度级k将这些像素点划分为两类C0和C1，1,2,.,k是C0，二值化为0，k+1,k+2,.是C1，二值化为255。（3）C0和C1两类，每一类出现的概率

18、以及各类的平均灰度级分别由下面的式子给出：0=Pr(C0)=C0类出现的概率=i=1kpi=(k) （2-3）1=Pr(C1)=C1类出现的概率=i=1+kLpi=1-(k) （2-4）0=i=1ki*Pr(iC0)=i=1ki*pi0=C0类的平均灰度级=(k)(k) （2-5）1=i=1+kLi*Pr(iC1)=i=1+kki*pi1=C1类的平均灰度级=T-(k)1-(k) （2-6）其中(k)=i=1ki*pi，是1到k的平均灰度级T=i=1Li*pi，是整幅图的平均灰度等级（4）容易验证： 00+11=T （2-7） 1+0=1 （2-8）（5）C0和C1各自的类内方差如下： 02=

19、i=1k(i-0)2Pr(iC0)=i=1k(i-0)2pi0 （2-9）12=i=1+kL(i-1)2Pr(iC1)=i=1+kL(i-1)2pi1 （2-10）（6）所以整幅图片的类内方差，两个类的类间方差，图片的总方差分布如下：W2=整幅图片的类内方差=002+112 （2-11）B2=两个类的类间方差=0(0-T)2+1(1-T)2， （2-12）又可以根据（2-7，2-8）两个等式可以将B2化简为01(1-0)2 （2-13）T2=图片的总方差=i=k+1L(i-T)2pi （2-14）（7） 因为T2与k值无关。W2是二阶统计（类方差），而B2是一阶统计（类均值）。所以B2即类间方

20、差是最简单的判断k选取好坏的判断标准。故最后选取使B2最大的k作为阈值。本文主要是借由Matlab自带的graythresh函数来实现对灰度图像的二值化处理，效果图如图2.2。二值化 图2.2 二值化效果图2.2逆透视变换通过行车视频获得的视频流转换成的图像具有明显的透视效果，实际上平行的车道在图像中呈现出了明显的汇聚状态。而逆透视变换（Inverse Perspective Mapping，IPM)就是为了消除图像感兴趣区域的透视效果，将明显汇聚的车道转化成与实际相符的平行车道。由小孔成像的原理可知，摄像机三维世界坐标（X,Y,Z）到二维图像坐标（x,y）变换关系为： sxy1=fx0cx0

21、fycy001r11r12r21r22r31r32 r13t1r23t2r33t3XYZ1 （2-15）根据式（2-15），可由三维世界坐标得到二维图像坐标，由于Z未知，所以反之不能实现，考虑到智能车在一般平面道路上行驶，可令Z=0，则式（2-15）可变换为： sxy1=fx0cx0fycy001r11r12r21r22r31r32 r13t1r23t2r33t3XY01 （2-16）式（2-16）可以建立二维像素坐标与三维世界平面坐标的映射关系，通过矩阵变换得： xyz=H11H12H13H21H22H23H31H321XY1 （2-17）其中s=XH31+YH32+1，x=xs，y=ys由

22、此可得：x=XH11+YH12+H13XH31+YH32+1y=XH21+YH22+H23XH31+YH32+1整理成矩阵形式：xXH31+xYH32+x-xH11-YH12-H13=0yXH31+yYH32+y-xH21-YH12-H23=0 （2-18）设H=H11H12H13H21H22H23H31H32，B=xy，A=XY1000-xX-xY000XY1-yX-yY 则式（2-18）可以用矩阵表示为 AHT=B （2-19）若要保证（2-19）有唯一解，则需要满足增高矩阵为满秩，即rankAB=8,那么就需要四组不相关的图像坐标系的点。具体实现上，只需找出四组互不相关图像像素坐标和对应

23、的世界坐标，然后通过Matlab即可解出H参数矩阵，公式形式简单，便于大量图像数据处理，具体通过Matlab实现如图2.3。IPM 图2.3 IPM变换效果图3 基于传统方法的交通标线识别传统方法的交通标线的识别主要是通过从摄像机拍摄的图像中提取车道线特征，是通过行车视频获取的视频流，然后将视频流转换成的帧图像来进行后续的操作。首先是通过人为设置摄像头的位置，角度，然后对图像进行裁剪，阈值的判断还有滤波的确定，但是考虑到车道边缘线的影响，所以采取的是canny算法，然后采用的就是直线检测的传统方法霍夫变换法来检测车道线。主要的流程步骤如图3.1。图3.1 传统方法检测流程图3.1边缘线检测算法

24、边缘是目标与目标之间、区域与区域之间、目标与背景之间的像素值不连续导致的结果，而边缘检测是基于边界的图像分割的第一步，它取决于图像灰度的特征。边缘类型分为阶梯状边缘（在两个相邻的渐变区域之间灰度值不同的图像）、脉冲状边缘（主要对应于灰度值的突变的区域，可以视为由两个阶梯状边缘组合形成）和屋顶状边缘（可以视为脉冲装边缘拉伸的结果，边缘上升下降都相较于之前比较平缓）。不同的图像有不同的灰度。一般来说，图像的边缘具有明确的边界，可以用来区分图像。但是不同的是，边缘和物体之间的边界并不是两个相等的概念，边缘是指图像中像素的突变的地方，但是物体之间的边界是物体之间的边界。所以有边缘的地方可能不是边界，也

25、可能有边界不是边缘。因为现实对象是三维的，但是图像只有二维信息，因此在三维投射到二维的过程中难免会丢失一些信息。另外，图像生成过程中的光照和噪声也是不可避免的重要因素。正因如此，边缘图像分割是当前图像研究中的一个全球性难题，目前的研究者也在尝试从边缘提取高层次的意义信息。在实际图像分割中，通常只使用一阶导数和二阶导数，理论上也可以采用高阶导数作为分割的原则。但由于噪声的影响，在计算纯二阶导数时，会产生噪声敏感现象，这样往往就会失去使用高阶导数的应用价值。二阶导数还可以解释灰度突变的类型，在某些情况下，边界无法用一阶导数中发现，例如图像中的灰度均匀变化的时候。但是二阶导数就可以提供非常有用的信息

26、，因为二阶导数对噪声敏感，解决的方法是先对图像进行平滑滤波，去除部分噪声，然后进行边缘检测。基于二次微分信息的算法是基于零过检测的，因此获取的边缘点的数目比较小，并且有利于后续的处理和识别。本文介绍的边缘检测算法种其中目前比较流行的是canny算子算法，主要的具体步骤包括：（1）高斯滤波利用高斯公式建立的公式规则，对像素点和原点的像素权重均值进行滤波；（2）计算梯度图像与角度图像Canny中使用的梯度算子是高斯滤波器，即通过梯度计算获得的滤波器。像素点的权重与其距离中心点的距离有关，即距离越近，权重越大； （3）对梯度图像进行非极大值抑制利用不是极大值的点来抑制寻找像素点局部的最大值，将非极大

27、值的像素点调整局部最大值，并将非极大值所对应的灰度值置0，极大值点置1；（4）使用双阈值进行边缘连接在虚假的像素突变点和像素处于0和1之间的像素点进行进一步处理。强制将超过1的设置成1，小于0的设置成0。具体检测由Matlab来实现，如图3.2。图3.2传统检测效果图3.2传统算法的检测和改进本文介绍的传统的检测方法中，在噪声选择上选择了高斯噪声，但是高斯噪声一般常常用于RGB图像中，且我们检测的对象是车道线，其过程中还是将RGB图像转化成了灰度图像在进行处理，所以在改进方面我们采用的就是椒盐噪声处理。噪声抑制是图像卷积的重要功能之一，中值模型卷积对去除椒盐噪声是有效的，但对平均滤波效果较差，

28、而对高斯噪声则没有更好的降噪方法。在滤波的选择上则是选择的中值滤波，原其理即为，将模板内的像素数据，按从小到大的顺序排列，取中间的像素替换原始像素的卷积操作。中值滤波也是一种可以非常有效去除少量异常像素值的滤波方法，这样可以强化检测图片的形状特征。具体的完成还是通过Matlab来实现，效果图如图3.3。图3.3添加椒盐噪声图像和中值滤波图像传统方法的交通标线识别技术虽然操作简单易于实现，但是其在不同场景下、不同的道路条件下，不同的天气条件下差异较大，检测效果并不理想，如图3.4-3.6。图3.4道路不同对检测结果的影响图3.5标志对检测效果的影响图3.6车辆对检测效果的影响于是人们逐渐开始通过

29、对传统方法的改进，以深度学习的方式直接输入图像，来了解交通标线的特性。无需复杂的预处理、人工特征提取和处理，结合交通标线的各种几何实验知识，设计损失函数来监督网络的训练，提高车道线检测的准确性和系统的稳固性。4 基于卷积神经网络的交通标线识别4.1卷积神经网络(CNN)随着科技的不断发展，相较于最初提出的神经网络，深度学习网络快速发展，在特征的提取和建立非线性函数模型方面都有着明显的优势。深度学习通过学习样本数据的规律能够逐步完成由浅至深学习越来越抽象、高级的特征表示。它的最终目的就是使得训练的机器能够模仿人类视听和思考等人类的活动，而且深度学习具有良好的泛化能力，在语音和图像识别方面取得的效

30、果远超于之前传统方法人工设计特征。深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法14：(1)基于卷积运算的神经网络系统，即卷积神经网络(CNN)。(2)基于多层神经元的自编码神经网络，包括自编码( Auto encoder)以及近年来受到广泛关注的稀疏编码两类( Sparse Coding)。(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。本文主要使用的深度神经网络为卷积神经网络（英文全称，缩写），先通过卷积层初步提取特征，再通过池化层提取主要特征，然后全连接层将各部分特征汇总，最后产生分类器，进行预测识别。4

31、.1.1卷积层卷积神经网络(CNN)中的卷积层(Convolution)的名字由来就是因为其使用了卷积运算的缘故。卷积的目的主要是为了提取图片的领域特征。卷积运算可以保持像素之间的空间关系。每张图片可以当做是一个包含每个像素值的矩阵，像素值的范围是0255,0表示黑色，255是白色。如图3.1是一个尺寸55大小的图像，每一个像素点里都存储着图像的信息。我们再定义一个33的卷积核（相当于权重），也叫滤波器（filter)，用来提取图像中的一定的特征，卷积核于数字矩阵对应位置相乘再相加，就可以得到卷积层的输出结果了。1010101015071291012761410722921221021001

32、23 Convolved Feature WEIGHT INPUT IMAGE （23=51+00+71+90+101+120+11+410+01）图4.1 卷积层工作原理黄色的矩阵在绿色的矩阵上从左到右，从上到下，每次滑动的步进值是1个像素，所以得到一个33的矩阵。另外使用不同的滤波矩阵也可以获得不同的特征图片。4.1.2池化层池化层(Pooling)，也可以叫做子采样层或者下采样层，主要是将邻域内的特征点整合得到新的特征。池化层的输入就是卷积层输出的原数据与相应的卷积核相乘后的输出矩阵。池化层的目的主要是为了减少训练参数的数量，降低卷积层输出的特征向量的维度，减小过拟合现象，只保留最有用的

33、图片信息，减少噪声的传递。最常见的两种池化层的形式是最大池化（max-pooling）和均值池化（mean-pooling）.卷积和池化分别受启发于1962年生物学家Hubel和Wiesel发现15的视觉皮层概念一简单细胞和复杂细胞，简单细胞最大程度响应来自感受野范围内的边缘刺激模式。4.1.3激活层激活函数层也可以称为非线性映射层，通过激活层可以增加深度学习网络的非线性因素，提高网络的表达能力和模型的泛化能力，可以使得神经网络逼近任意复杂的非线性函数，深度学习网络如果仅仅依靠其它线性操作层的堆叠则只能起到线性映射的作用，得不到复杂的函数无法应对非线性问题。激活函数模拟的是动物的神经元的原理，

34、在对神经科学的研究中发现生物的神经元通常有一个阈值作为神经元是否被激活的依据，如果神经元接收到的输入信号超过了该阈值此神经元就被激活否则就被抑制。激活函数主要分成线性激活函数和非线性激活函数，而线性激活函数一般适用于潜在行为是线性的任务，是一种简单的线性函数，即函数节点的输入等于输出。非线性激活函数种类比较多，主要的包括饱和激活函数Sigmoid、Tanh等，非饱和函数ReLU等，还有Leaky ReLU等变种激活函数。Sigmoid函数由于它容易饱和，而且在输入一个非常大或者非常小的时候，梯度就接近于0，导致权值无法更新，所以目前Sigmoid函数已经不怎么常用了。它的非线性激活函数的形式是

35、： f(x)=11+ex （4-1）ReLU函数由于它收敛的速度更快，而且计算量小，目前被广泛的应用在卷积神经网络当中，它的数学表达式是： f(x)=max(0,x) （4-2）4.1.4全连接层全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为11的卷积；而前层是卷积层的全连接层可以转化为卷积核为hw的全局卷积，h和w分

36、别为前层卷积结果的高和宽。全连接的核心操作就是矩阵向量乘积,即 y=Wx （4-3）4.2基于CNN的交通标线检测基于深度学习卷积神经网络的检测流程，主要是通过训练一个典型的卷积神经网络模型来自动学习车道线的特征，将行车视频获取的视频流转换成图像，然后通过人工标定感兴趣区域的方法，将图片转化成鸟瞰图，然后让卷积神经网络自动学习这些特征，达到检测的目的。所以主要的步骤主要是分为两块，数据集的标定和交通标线的检测。4.2.1数据集的标定数据集的标定也就是感兴趣区域的提取，数据集选用的是网上公开的加州理工数据集，这个数据集中包含了美国加州市的各种道路场景。其中包含了1225张640480像素的图片。

37、检测结果的好坏也和数据集的标定密不可分，但由于人工标定感兴趣区域耗时特别长而且不同场景下提取感兴趣区域的点也不同，所以本文训练的典型卷积神经网络只训练了一小部分的图片数据集，况且在检测精度上也存在很大的提升空间。不仅于此，标定出来的图片也都是在鸟瞰图的基础上来进行的，这也大大增加了标定的难度。在标定的过程当中，路面上的道路标志也会对标定的结果产生影响。4.2.2交通标线的检测首先设计一个典型的卷积神经网络，即包含了2个卷积层，1个池化层，2个全连接层，模型如图4.2。图4.2 卷积神经网络结构模型本文主要是检测交通标线中的虚实线，为实例分析中检测前方车辆变道奠定一个基础，主要的检测步骤有：（1

38、） 通过行车视频获取得到的车载摄像头图片，经过灰度化和二值化转换成二值图，再通过逆透视变换将其转换成300150像素大小的鸟瞰图，然后通过设置滤波和划定感兴趣区域提取特定宽度的垂直线。（2） 把鸟瞰图按照20个像素为一个间隔，将图片均匀分成15个部分，然后自底上分别划分成上下两个部分，即40像素的间隔进行垂直方向的灰度值累加可得到的峰值位置，即当灰度值处于峰值的位置即为车道线候选位置。（3） 区分虚实线，这里主要还是采取了两种语义分割的方法，即通过人工手动调整，以明暗的方式来确定划分虚实线，但是这种方法需要大量的数据来提高精度，本文只能达到初步检测的水平，在虚实交接处，双虚线检测上效果不是很好

39、，只能适用于一些标准路段且周边干扰较小的检测环境。（4） 因为卷积神经网络中包含全连接层，全连接层输入的参数必须是固定的，所以截取峰值2013像素区域送入网络进行分类。由于检测的过程当中道路边缘线也对检测的结果造成了一定的影响，而且虚实过渡地段标线检测不是很理想，所以精度上可以进一步优化提升。人工标定数据集的过程也可以利用模型学习进一步改善，最终图片检测出来的效果图如图4.3所示，视频检测中的虚实线结果如图4.4，4.5所示。图4.3 图片中交通标线检测结果Write SolidWrite Broken图4.4 视频1中交通标线检测结果图4.5 视频2中交通标线检测结果4.2.3算法的改进和优

40、化（1）不同场景的检测结果由于选择的场景和感兴趣区域的不同，得到的不同场景下的检测效果还不是很好，具体的实现效果图如4.6-4.8所示，可以明显看出图片的标定直接影响了检测的结果。图4.4道路不同对检测结果的影响图4.5标志对检测效果的影响图4.6车辆对检测效果的影响（2） 算法优化（聚类算法）这里提出的算法优化主要是在没有标定数据集的过程中采用聚类算法，将数据集划分成几个不同的类别，从而来提高应对不同环境的车道线检测，将同一条车道线的像素点聚到一起，把不同车道线的像素点分开，对于常用的聚类算法17有 K-均值聚类 (K-Means, KM)、模糊 C 均值聚类(Fuzzy C-Means,

41、FCM)、期望最大化(Expectation Maximization, EM)和具有噪声基于密度的聚类算法(Density-Based Spatial Clustering of Applications with Noise, DBSCAN)等.。K- Means 是聚类算法中较为简单的一种，根据实际应用有很多变种，实现较为 简单聚类效果也不错，因此应用很广泛，K-Means算法的思想是对于给定的样本集，根据样本之间的距离大小将样本划分为不同的簇，让簇内的点尽量紧密的连在一起 而让不同簇之间的距离尽量的大.这种算法的优点在于对于大型数据集也是简单高效、时间复杂度、空间复杂度低，但是缺点也有

42、很多，例如最重要是数据集大时结果容易局部最优；需要预先设定K值，对最先的K个点选取很敏感；对噪声和离群值非常敏感；只用于numerical类型数据；不能解决非凸（non-convex）数据，其主要流程如图4.7。图4.7 K-Means聚类算法流程图模糊C均值聚类算法是从硬C均值聚类算法发展而来的。根据隶属关系，每个数据点都属于一个特定的聚合算法。对象X的隶属成都由隶属度函数定义。本身的变量范围是可能属于集合中的所有对象的集合值域为0,1。这个算法的优点主要是对于满足正态分布的数据聚类效果会很好，另外，算法对孤立点是敏感的，由于不能确保FCM收敛于一个最优解，所以算法的性能依赖于初始聚类中心。

43、因此，我们要么用另外的快速算法确定初始聚类中心，要么每次用不同的初始聚类中心启动该算法，多次运行FCM。其检测流程如图4.8所示。图4.8 FCM聚类算法流程图FCM算法需要两个参数。一个是聚类数目C，另一个是参数m，C需要明显低于从聚类中提取的样本总数，同时还要保证C大于1。而参数m，则是控制算法灵活性的参数。如果m太大，机器的效果就很差。但是如果m太小，则该算法近似于HCM聚类算法。该算法的输出是矩阵是C*n模糊的划分矩阵和C个聚类中心点向量，每一种都属于每一类。根据划分矩阵模糊集的最大相关性原则，将每个一本点定义为一个类别。这些中心则是每个类别的平均特征，可以作为一个典型点。DBSCAN

44、聚类算法是一种基于高密度连接区域的聚类算法，其中密集的聚类可以划分为多个聚类，在噪声数据中可以发现任意形状的不同聚类。它的优点是可以找到任何形状的簇。对噪声不敏感的缺点是聚类结果与参数之间的关系很大，而DBSCAN可以用固定的参数来区分聚类，但如果聚类的稀疏程度不同，同样的准则会破坏聚类的自然结构。也就是说，较薄的团簇被分为多个类别或者较高密度的聚类，而且较近的类也会被合并成一个新的聚类更接近一个组的团簇。这类算法原理的基本要点就是要确定半径eps的值，其检测流程如图4.9 图4.9 DBSCAN 聚类算法流程图基于以上几种通用聚类算法的优缺点，最终选择DBSCAN聚类算法，与其他聚类算法相比

45、，DBSCAN算法不需要指定聚类数目。DBSCAN算法可以处理任意形状和大小的聚类，细长条状的车道线使用DBSCAN聚类效果较好，但DBSCAN算法需要大量的计算资源，计算速度较慢。无法满足无人操作的实时性要求。5 实线违法变道检测系统5.1系统需求分析目前交通安全问题逐步成为智慧城市交通需要解决的首要问题，而在重多交通安全问题中，由于随意变道而引起的车祸逐年增多，所以本文提出了一种实线违法变道检测系统。旨在于通过后方车辆完成对前方车辆的一种实时监督，很大程度上减少由于视觉盲区带来的交通安全隐患问题，同时响应车联网（IOV）的大趋势，参与构建车辆位置、速度和路线等信息构成的巨大交互网络，便于智

46、慧城市的实现。该系统的需求主要包含以下几个方面的内容：（1） 交通标线中虚线和实线的识别（2） 对前方车辆的识别（3） 判断是非变道与压线（4） 实线通信的实时传输5.2系统功能与总体设计5.2.1系统的总体设计基于CNN的交通标线识别，能够借助车载摄像头获取的视频自动检测区分虚实线，这很大程度上可以为实现一种后车对前车的自然监督。即通过后方车辆的行车记录仪记录的前方车辆行驶的过程中是否违法变道，还可以通过连网，将数据自动传到交管中心，减少交通管理的盲区，实现市民对市民的自动监督，为智能交通系统的构建奠定基础，其流程如图5.1所示。 图5.1 前方车辆违法变道检测流程5.2.2信息的传输信息的传输主要是通过搭建服务器、APP来接收无线传输模块发送来的图像信息，方便交管局备案或供