无人驾驶汽车环境感知技术学习教案.pptx

会计学1无人驾驶汽车环境无人驾驶汽车环境(hunjng)感知技术感知技术第一页，共21页。百度百度(bi d)无人驾驶无人驾驶汽车汽车第1页/共21页第二页，共21页。一、环境感知目的一、环境感知目的一、环境感知目的一、环境感知目的通过性：基于通过性：基于通过性：基于通过性：基于(jy)(jy)(jy)(jy)自身行驶性能和共识规则，自身行驶性能和共识规则，自身行驶性能和共识规则，自身行驶性能和共识规则，能实时、可靠、能实时、可靠、能实时、可靠、能实时、可靠、准确识别并规划出可保证规范、安全、迅准确识别并规划出可保证规范、安全、迅准确识别并规划出可保证规范、安全、迅准确识别并规划出可保证规范、安全、迅速到达目的地速到达目的地速到达目的地速到达目的地 的行驶路径；的行驶路径；的行驶路径；的行驶路径；安全性：在行驶过程中，能够实时、准确识别安全性：在行驶过程中，能够实时、准确识别安全性：在行驶过程中，能够实时、准确识别安全性：在行驶过程中，能够实时、准确识别出行驶路出行驶路出行驶路出行驶路 径周边对行驶安全可能存在安全隐患的物径周边对行驶安全可能存在安全隐患的物径周边对行驶安全可能存在安全隐患的物径周边对行驶安全可能存在安全隐患的物体，为自身采体，为自身采体，为自身采体，为自身采 取必要操作以避免发生交通安全事故；取必要操作以避免发生交通安全事故；取必要操作以避免发生交通安全事故；取必要操作以避免发生交通安全事故；经济性：为提高车辆高效、经济地行驶提供参经济性：为提高车辆高效、经济地行驶提供参经济性：为提高车辆高效、经济地行驶提供参经济性：为提高车辆高效、经济地行驶提供参考依据；考依据；考依据；考依据；平顺性：为车辆平顺行驶提供参考依据；平顺性：为车辆平顺行驶提供参考依据；平顺性：为车辆平顺行驶提供参考依据；平顺性：为车辆平顺行驶提供参考依据；第2页/共21页第三页，共21页。二、环境二、环境二、环境二、环境(hunjng)(hunjng)(hunjng)(hunjng)感知对象感知对象感知对象感知对象行驶路径：对于结构化道路而言，包括行车线、行驶路径：对于结构化道路而言，包括行车线、行驶路径：对于结构化道路而言，包括行车线、行驶路径：对于结构化道路而言，包括行车线、道路边缘、道路隔离物、恶劣路况的识别。对道路边缘、道路隔离物、恶劣路况的识别。对道路边缘、道路隔离物、恶劣路况的识别。对道路边缘、道路隔离物、恶劣路况的识别。对于非结构化道路而言，包括车辆欲行驶前方路于非结构化道路而言，包括车辆欲行驶前方路于非结构化道路而言，包括车辆欲行驶前方路于非结构化道路而言，包括车辆欲行驶前方路面环境面环境面环境面环境(hunjng)(hunjng)(hunjng)(hunjng)状况的识别和可行驶路径的状况的识别和可行驶路径的状况的识别和可行驶路径的状况的识别和可行驶路径的确认；确认；确认；确认；周边物体：包括车辆、行人、地面上可能影响车周边物体：包括车辆、行人、地面上可能影响车周边物体：包括车辆、行人、地面上可能影响车周边物体：包括车辆、行人、地面上可能影响车辆通过性、安全性的其它各种移动或静止物体辆通过性、安全性的其它各种移动或静止物体辆通过性、安全性的其它各种移动或静止物体辆通过性、安全性的其它各种移动或静止物体的识别；各种交通标志的识别；的识别；各种交通标志的识别；的识别；各种交通标志的识别；的识别；各种交通标志的识别；驾驶状态：包括驾驶员驾驶精神状态、车辆自身驾驶状态：包括驾驶员驾驶精神状态、车辆自身驾驶状态：包括驾驶员驾驶精神状态、车辆自身驾驶状态：包括驾驶员驾驶精神状态、车辆自身行驶状态的识别；行驶状态的识别；行驶状态的识别；行驶状态的识别；驾驶环境驾驶环境驾驶环境驾驶环境(hunjng)(hunjng)(hunjng)(hunjng)：包括路面状况、道路交通：包括路面状况、道路交通：包括路面状况、道路交通：包括路面状况、道路交通拥堵情况、天气状况的识别。拥堵情况、天气状况的识别。拥堵情况、天气状况的识别。拥堵情况、天气状况的识别。第3页/共21页第四页，共21页。三、环境感知方法三、环境感知方法三、环境感知方法三、环境感知方法1.1.1.1.视觉传感：基于机器视觉获取车辆周边环视觉传感：基于机器视觉获取车辆周边环视觉传感：基于机器视觉获取车辆周边环视觉传感：基于机器视觉获取车辆周边环境两维或三维境两维或三维境两维或三维境两维或三维 图像信息，通过图像分析图像信息，通过图像分析图像信息，通过图像分析图像信息，通过图像分析(fnx)(fnx)(fnx)(fnx)识别技识别技识别技识别技术对行驶环境进行感知。术对行驶环境进行感知。术对行驶环境进行感知。术对行驶环境进行感知。l优点：信息量丰富、实时性好、体积小优点：信息量丰富、实时性好、体积小、能耗低。、能耗低。l缺点缺点(qudin)：易受光照环境影响、三维信息测量精度较低。：易受光照环境影响、三维信息测量精度较低。2.激光传感：基于激光雷达获取车辆周边环境两维或三维激光传感：基于激光雷达获取车辆周边环境两维或三维距离信息，通过距离分析识别技术距离信息，通过距离分析识别技术(jsh)对行驶环境进行感知。对行驶环境进行感知。l优点：优点：能够直接获取物体三维距离信息、测量精度高、对光照环境变化不敏感。车载雷达可以弥补激光发射器的一些盲点，可以准确得到汽车运行的相对速度。l缺点：缺点：无法感知无距离差异的平面内目标信息、体积 较 大、价格昂贵、不便于车载集成。第4页/共21页第五页，共21页。3.微波传感：基于微波雷达微波传感：基于微波雷达(lid)获取车辆周边环境两维或三获取车辆周边环境两维或三维维距离信息，通过距离分析识别技术对行驶环境进行感知。距离信息，通过距离分析识别技术对行驶环境进行感知。l优点：能够以较高精度直接获取物体三维距离信息优点：能够以较高精度直接获取物体三维距离信息(xnx)、对对l光照环境变化不敏感、实时性好、体积较小。光照环境变化不敏感、实时性好、体积较小。l缺点：无法感知无距离差异的平面内目标信息缺点：无法感知无距离差异的平面内目标信息(xnx)、国外、国外成成l熟产品对我国禁运而难以获得。熟产品对我国禁运而难以获得。4.通讯传感：基于通讯传感：基于(jy)无线、网络等近、远程通讯技术获取无线、网络等近、远程通讯技术获取车车辆行驶周边环境信息。辆行驶周边环境信息。l优点：优点：能够获取其它传感手段难以实现的宏观行驶环境 信息、可实现车辆间信息共享、对环境干扰不敏 感。l缺点：缺点：可用于车辆自主导航控制的信息不够直接、实时 性不高、无法感知周边车辆外其它物体信息。第5页/共21页第六页，共21页。l优点：能够获取丰富的周边环境信息、具有优良的环境优点：能够获取丰富的周边环境信息、具有优良的环境l适应能力、为安全快速自主导航提供可靠保障。适应能力、为安全快速自主导航提供可靠保障。l缺点：感知系统过于复杂、难于集成缺点：感知系统过于复杂、难于集成(jchn)、造价昂贵、造价昂贵、实用实用l性差。性差。5.融合传感：运用多种不同传感手段获取车辆周边环境融合传感：运用多种不同传感手段获取车辆周边环境(hunjng)多多种不同形式信息，通过多信息融合对行驶环境种不同形式信息，通过多信息融合对行驶环境(hunjng)进行感知。进行感知。第6页/共21页第七页，共21页。四、环境感知的传感系统四、环境感知的传感系统主要由机器视觉识别系统、雷主要由机器视觉识别系统、雷达达(lid)系统、超声波传感器系统、超声波传感器和红外线传感器所组成。和红外线传感器所组成。1.机器视觉识别系统机器视觉识别系统机器视觉识别系统是指智能汽机器视觉识别系统是指智能汽车利用车利用CCD等成像元件从不同等成像元件从不同角度全方位拍摄车外环境，根角度全方位拍摄车外环境，根据搜集到的信息得到反映真实据搜集到的信息得到反映真实道路的图像数据，然后综合运道路的图像数据，然后综合运用各种道路检测算法，提取出用各种道路检测算法，提取出车道线、道路边界以及车辆的车道线、道路边界以及车辆的方位信息，判断汽车是否有驶方位信息，判断汽车是否有驶出车行道的危险，当情况十分出车行道的危险，当情况十分危险时，会通过报警系统给驾危险时，会通过报警系统给驾驶员发出提示和警报，于此同驶员发出提示和警报，于此同时图像测控系统还可以根据视时图像测控系统还可以根据视觉导航的输出，对车辆的执行觉导航的输出，对车辆的执行机构发出指令，从而自主决定机构发出指令，从而自主决定车辆当前的前进方向和控制车车辆当前的前进方向和控制车辆自身的运动状态。辆自身的运动状态。第7页/共21页第八页，共21页。机器视觉具有检测范围广、信息容量大、成本低等优点、并且通过对其所得图像进行处理可以机器视觉具有检测范围广、信息容量大、成本低等优点、并且通过对其所得图像进行处理可以(ky(ky)识别、识别、检测对象，所以越来越多的人对机器视觉感知车辆行驶环境产生很大兴趣、以致使机器视觉在智能汽车研检测对象，所以越来越多的人对机器视觉感知车辆行驶环境产生很大兴趣、以致使机器视觉在智能汽车研究领域得到广泛的应用成为最受欢迎的传感器之一。机器视觉有其弱点容易受到环境的影响，在能见度较究领域得到广泛的应用成为最受欢迎的传感器之一。机器视觉有其弱点容易受到环境的影响，在能见度较低时效果不理想，因此，在传感器类别中属于被动型。低时效果不理想，因此，在传感器类别中属于被动型。第8页/共21页第九页，共21页。车载单目视觉车载单目视觉(shju)运动物运动物体检测体检测车载双目立体车载双目立体(lt)视觉环境感知视觉环境感知拥有两个摄像头，两者保持着一定的距离，如同人类的双眼视差，可以(ky)帮助汽车确定自己的位置以及行进速度，摄像头有激光发射器不可替代的作用，可以(ky)辨识道路上的信号灯与信号标示，保证自身运行遵循交通规则。第9页/共21页第十页，共21页。2.雷达系统雷达系统利用电磁波探测目标的距离、速度、方位等。雷达系统不要复杂的设计与繁复的计算。雷达系统的使用不受光线、天气等因素的干扰。无论是白天还是黑夜，晴天或者下雨。雷达系统都能正确的运转。由于雷达系统是靠电磁波反射原理工作的，这会导致相近的不同雷达电磁波之间的相互干扰而影响工作效能。但是由于雷达在准确提供远距离的车辆和障碍物信息方面有着得天独厚的优势，因此有其广阔的前景。汽车雷达被广泛的应用(yngyng)在汽车ACC系统、防碰撞系统以及驾驶支援系统中。第10页/共21页第十一页，共21页。激光雷达：激光雷达由发射系统、接收系统激光雷达：激光雷达由发射系统、接收系统 、信息处理三、信息处理三部分组成部分组成(z(z chn chn)：激光器将电脉冲变成光脉冲发射出去，：激光器将电脉冲变成光脉冲发射出去，光接收机再把从目标反射回来的光脉冲还原成电脉冲，最后光接收机再把从目标反射回来的光脉冲还原成电脉冲，最后经过一系列算法来得出目标位置（距离和角度）、运动状态经过一系列算法来得出目标位置（距离和角度）、运动状态（速度、振动和姿态）和形状，可以探测、识别、分辨和跟（速度、振动和姿态）和形状，可以探测、识别、分辨和跟踪目标。踪目标。11解析度高，测距精度高，小于解析度高，测距精度高，小于2 2公分、角度分辨率约公分、角度分辨率约0.090.09度，如此高的解析度可完整绘出物体轮廓，外加垂直侦度，如此高的解析度可完整绘出物体轮廓，外加垂直侦测角度中，平均每测角度中，平均每0.40.4度即有一个扫描层、全周资料更新率度即有一个扫描层、全周资料更新率1515赫兹（赫兹（HzHz），车辆周围环境将无所遁形），车辆周围环境将无所遁形22抗有源干扰能力强，激光雷达的脉冲光束发射器之口抗有源干扰能力强，激光雷达的脉冲光束发射器之口径非常小，即接收器可接收脉冲光束的区域亦非常狭窄，因径非常小，即接收器可接收脉冲光束的区域亦非常狭窄，因此，受到其他红外线雷达光束干扰的机会就非常小。此外，此，受到其他红外线雷达光束干扰的机会就非常小。此外，脉冲光束实质上属红外线波，不会受电磁波影响，因此，在脉冲光束实质上属红外线波，不会受电磁波影响，因此，在一般应用环境中能干扰激光扫描仪的信号源不多，适用于高一般应用环境中能干扰激光扫描仪的信号源不多，适用于高度自动化的系统。度自动化的系统。第11页/共21页第十二页，共21页。33探测性能好，对于激光扫描仪，仅有被脉冲光束照射的目标才会产生反射，且红外线波并不像电磁波探测性能好，对于激光扫描仪，仅有被脉冲光束照射的目标才会产生反射，且红外线波并不像电磁波会受回波干扰等问题，对于环境的几何形状、障碍物材质等，均不影响激光扫描仪的侦测结果。会受回波干扰等问题，对于环境的几何形状、障碍物材质等，均不影响激光扫描仪的侦测结果。44不受光线影响，激光扫描仪可全天候进行侦测任务，且其侦测效果不因白天或黑夜而有所影响，这也不受光线影响，激光扫描仪可全天候进行侦测任务，且其侦测效果不因白天或黑夜而有所影响，这也是目前无人驾驶车中许多采用的摄像头感测器所达不到的功能是目前无人驾驶车中许多采用的摄像头感测器所达不到的功能(gngnng)(gngnng)。55测速范围大，激光扫描仪可成功扫描出障碍物的相对速度高达每小时测速范围大，激光扫描仪可成功扫描出障碍物的相对速度高达每小时200200公里之轮廓，也就是说，对于公里之轮廓，也就是说，对于车系统，激光扫描仪并不局限在市区或低速应用情境，高速移动下的情境亦可被应用，此对车辆增加移动车系统，激光扫描仪并不局限在市区或低速应用情境，高速移动下的情境亦可被应用，此对车辆增加移动速度后之安全系统设计有显著的帮助，系统应用上更具有弹性。速度后之安全系统设计有显著的帮助，系统应用上更具有弹性。注：毫米雷达(lid)和微波雷达(lid)的原理都和激光雷达(lid)类似，这里不再过多介绍。第12页/共21页第十三页，共21页。车载线扫描激光雷达车载线扫描激光雷达(j un li d)检检测前方障碍物测前方障碍物车载三维激光雷达车载三维激光雷达(j un li d)环环境感知境感知第13页/共21页第十四页，共21页。3.超声波传感器超声波传感器是利用超声波为检测方法的传感器。一般检测距离大约1m到5m，但检测不出来详细的位置信息，使用超声波探测得来的的数据处理简单、快速。主要(zhyo)用于近距离障碍物的检测，比如在倒车防撞系统中。第14页/共21页第十五页，共21页。4.红外线传感器红外线传感器是利用红外线来进行测量工作的传感器，技术更加先进。红外线传感器不受黑暗、风、沙、雨、雪、雾的阻挡，环境适应性好，且功耗低。红外线传感器可以增强机器视觉(shju)识别的可靠性，使黑夜如同白昼，因此常被用于智能汽车中的夜视系统中。第15页/共21页第十六页，共21页。5.信息交换系统 基于无线、网络等近、远程通讯技术让车辆(chling)之间信息交换，从而获取车辆(chling)行驶周边环境信息。第16页/共21页第十七页，共21页。6.多传感器信息融合 为了克服传感器的数据可靠性低、有效探测范围小等局限性,保证在任何时刻都能为车辆运行提供完全可靠的环境信息,在智能车辆的研究中使用多个传感器进行数据采集,利用传感器信息融合技术对检测到的数据进行分析、综合、平衡,根据各个传感器互补特性进行容错处理,扩大系统的时频覆盖范围,增加(zngji)信息维数,避免单个传感器的工作盲区,从而得到所需要的环境信息。第17页/共21页第十八页，共21页。五、结语五、结语五、结语五、结语针对不同的传感器，采用的感知算针对不同的传感器，采用的感知算针对不同的传感器，采用的感知算针对不同的传感器，采用的感知算法会有所区别，跟传感器感知环境的机理法会有所区别，跟传感器感知环境的机理法会有所区别，跟传感器感知环境的机理法会有所区别，跟传感器感知环境的机理是有关系的。每一种传感器感知环境的能是有关系的。每一种传感器感知环境的能是有关系的。每一种传感器感知环境的能是有关系的。每一种传感器感知环境的能力和受环境的影响也各不相同。比如摄像力和受环境的影响也各不相同。比如摄像力和受环境的影响也各不相同。比如摄像力和受环境的影响也各不相同。比如摄像头在物体识别方面有优势头在物体识别方面有优势头在物体识别方面有优势头在物体识别方面有优势(yush)(yush)，但是，但是，但是，但是距离信息比较欠缺，基于它的识别算法受距离信息比较欠缺，基于它的识别算法受距离信息比较欠缺，基于它的识别算法受距离信息比较欠缺，基于它的识别算法受天气、光线影响也非常明显。激光扫描仪天气、光线影响也非常明显。激光扫描仪天气、光线影响也非常明显。激光扫描仪天气、光线影响也非常明显。激光扫描仪及毫米波雷达，能精确测得物体的距离，及毫米波雷达，能精确测得物体的距离，及毫米波雷达，能精确测得物体的距离，及毫米波雷达，能精确测得物体的距离，但是在识别物体方面远弱于摄像头。同一但是在识别物体方面远弱于摄像头。同一但是在识别物体方面远弱于摄像头。同一但是在识别物体方面远弱于摄像头。同一种传感器因其规格参数不一样，也会呈现种传感器因其规格参数不一样，也会呈现种传感器因其规格参数不一样，也会呈现种传感器因其规格参数不一样，也会呈现不同的特性。长距离毫米波雷达探测距离不同的特性。长距离毫米波雷达探测距离不同的特性。长距离毫米波雷达探测距离不同的特性。长距离毫米波雷达探测距离长达长达长达长达200200米，角度范围较小（米，角度范围较小（米，角度范围较小（米，角度范围较小（1010度），而度），而度），而度），而中距离雷达探测距离为中距离雷达探测距离为中距离雷达探测距离为中距离雷达探测距离为6060米，角度范围较米，角度范围较米，角度范围较米，角度范围较大（大（大（大（4545度）。度）。度）。度）。为了发挥各自传感器的为了发挥各自传感器的为了发挥各自传感器的为了发挥各自传感器的优势优势优势优势(yush)(yush)，弥补它们的不足，传感器，弥补它们的不足，传感器，弥补它们的不足，传感器，弥补它们的不足，传感器信息融合是未来的趋势。事实上，已经有信息融合是未来的趋势。事实上，已经有信息融合是未来的趋势。事实上，已经有信息融合是未来的趋势。事实上，已经有零部件供应商做过此事，比如德尔福开发零部件供应商做过此事，比如德尔福开发零部件供应商做过此事，比如德尔福开发零部件供应商做过此事，比如德尔福开发的摄像头与毫米波雷达组合感知模块已应的摄像头与毫米波雷达组合感知模块已应的摄像头与毫米波雷达组合感知模块已应的摄像头与毫米波雷达组合感知模块已应用到量产车上。用到量产车上。用到量产车上。用到量产车上。第18页/共21页第十九页，共21页。传感器探测环境信息，只是将探测的物理量进行了有序排列与存储。此时计算机并不知道这些数据映射传感器探测环境信息，只是将探测的物理量进行了有序排列与存储。此时计算机并不知道这些数据映射(yngsh)(yngsh)到真实环境到真实环境中是什么物理含义。因此需要通过适当的算法从探测得到的数据中挖掘出我们关注的数据并赋予物理含义，从而达到感知环境中是什么物理含义。因此需要通过适当的算法从探测得到的数据中挖掘出我们关注的数据并赋予物理含义，从而达到感知环境的目的。的目的。比如我们在驾驶车辆时眼睛看前方，可以从环境中分辨出我们当前行驶的车道线。若要让机器获取车道线信息，需要摄像头比如我们在驾驶车辆时眼睛看前方，可以从环境中分辨出我们当前行驶的车道线。若要让机器获取车道线信息，需要摄像头获取环境影像，影像本身并不具备映射获取环境影像，影像本身并不具备映射(yngsh)(yngsh)到真实环境中的物理含义，此时需要通过算法从该影像中找到能映射到真实环境中的物理含义，此时需要通过算法从该影像中找到能映射(yngsh)(yngsh)到真实车道线的影像部分，赋予其车道线含义。到真实车道线的影像部分，赋予其车道线含义。当然算法在计算机中响应速度要足够快，这样才有时效意义。当然算法在计算机中响应速度要足够快，这样才有时效意义。第19页/共21页第二十页，共21页。Thanks第20页/共21页第二十一页，共21页。