智能驾驶中的实时测图技术研究.pptx

《智能驾驶中的实时测图技术研究.pptx》由会员分享，可在线阅读，更多相关《智能驾驶中的实时测图技术研究.pptx（58页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、,李 必 军 2016.10,2016年中国智能车大会暨国家智能车发展论坛, 智能汽车发展趋势, 无人驾驶地图 实时测图技术 研究成果及展示 总结,目录,第一部分 自动驾驶汽车未来趋势,商业化前期：高速公路自动驾驶和低速无人驾驶 国外知名OEM计划 2016年，AUDI推出商用车辆，可以在车辆低速运行时实现自动转向和加减 速控制，以及交通堵塞的情况下，车辆辅助驾驶；TESLA和ME合 作解除；9月新加坡推出6辆无人出租车；9月19，美国政府颁布首 个联邦自动驾汽车政策文件，旨在指导测试与部署无人车； 2017年，GM宣布将在2017年推出具有“Super Cruise Control”功能 的

2、商用车辆，实现车道保持和自适应巡航控制； 2017年，GOOGLE预计实现Level 4的自主驾驶技术，并推出其商用车； 2018年，NISSAN在多车道高速公路上实现自主变道决策和控制； 2019年， TESLA将推出全自主驾驶车辆；,第一部分自动驾驶汽车未来趋势, 国外知名OEM计划 2020年，VOLVO预计使用自主驾驶技术，并实现“零伤亡”； GM、Mercedes-Benz、AUDI、BMW、雷诺公司实现部分路段 的自主驾驶； GM的阿兰陶伯估计这一年自动驾驶系统将成为汽车标准配置； 2025年，Daimler和Ford公司推出全自主驾驶车辆； 2025年，GM旗下大部分新车将具有自

3、主驾驶和车间通信V2V功能； 2035年，IHS Automotive预计无人驾驶汽车将会实现全自主驾驶功能；,典型无人驾驶汽车地图感知传感器构成洪荒之力,高精度地图背景, 从世界主要汽车强国来看，高精度地图是重要的、不可获取的 技术，并且逐步成为了自动驾驶领域研究的热点 日本：图商和部件商共同参与组建的“Dynamic Map Planning”公司。在 2020年前绘制出日本的3D道路地图，服务于东京夏季奥运会,高精度地图背景,欧盟：HERE、博世等正在研发自动驾驶地 图。同时，组织全球力量，组建NDS协会 ，主导欧洲高精度地图标准。,美国：Google基于Google Map，打 造一套

4、适用于自动驾驶的高精度地图,；,高精度地图背景,中国：四维图新、百度等 企业加入了NDS协会，参 与制定高精度地图ISO标 准。,高精度地图内容, 相较于传统导航电子地图，精细高精度地图主要包含：,高精度地图内容,1）道路级别数据 道路边线 道路中心线 路口交叉点,高精度地图内容,2 ）车道级别数据 左右车道线形、线宽等 车道中心线,高精度地图内容,3 ） 拓扑数据 虚拟车道线 道路连接线,高精度地图内容,4 ） 路口数据 停止线、人行横道 路口区域,高精度地图内容,5 ） 附属设施数据 交通灯 交通标志标牌,高精度地图内容,6 ） 安全辅助数据 坡度 转弯半径,智能车发展总结,国外主流OEM

5、厂商、IT巨头均将无人驾驶作为公司战略性进行研发； 国外主流OEM厂商在车联网方面开展较早，已经取得了一定的市场占有率； 互联网对传统行业渗透速度的加快，OEM厂商与互联网巨头合作开发未来的智能汽车；, 北汽与乐视共同打造“超级汽车” 上汽与阿里巴巴合作，启动“互联网汽车”战略 腾讯与富士康以及和谐汽车结盟，开发“互联网+智能电动车” 百度在芜湖建立测试基地、上海嘉定无人驾驶测试基地开放 中国制造2025将机器人、智能装备作为发展重点,高精度地图成为当前研究和生产的热点；,2030年 50%的车辆无人驾驶？,第二部分 无人驾驶地图,第一代无人车 (2010),“途智号”无人车 (2014-20

6、16),信号灯相 机,轮速传感 器,激光扫描 仪,POS定位,车道线相 机,武汉大学感知平台及构成,武汉大学感知平台及构成,OBD自动转向、制动、档位和油门,电机转向 OBD转向,拉线制动 OBD制动,电机换档 OBD换档,武汉大学感知平台及构成,途智号,途 e 号,导航地图是无人驾驶的重要技术基础 感知信息和已有真实道路地理信息的配准融合 组合定位 驾驶敏感目标实时定位、分类与构图 I.自车位置 II.车道线、 红绿灯、 交通标志等 III.动静态障碍物（行人、车辆等） IV.道路几何参数 目标：实时建立道路驾驶场景,智能车：地图 + 感知 + 决策和控制,地图发展趋势,互联网+ 移动 物联

7、网,无人驾驶，我们需要什么样的地图？,“地图”根据一定的数学法则，使用地图语言，通 过地图综合，表示地理空间事物的空间分布、联系及 在时间中的发展变化状态的图形。 “无人驾驶地图”是以安全出行为基础，动态 关联道路上各种信息，全面反映位置本身及其与所 在道路相关的各种特征、事件或事物的场景地图。,驾驶场景-交通规则（路网拓扑关系）,车道 车道线 车道数 道路中线 道路宽度,信号灯 障碍物 交通标志 车道标志,驾驶场景-地图引导,驾驶场景地图特点, 车道级高精度地图 车道几何形状及道路几何参数 车道属性、交通标牌、红绿灯、路 口等全要素 车道及要素间挂接与关联关系, 车道级拓扑,动、静态障碍物,

8、实时交通信息,精度 10cm,Advanced Driver Assistant System (ADAS) 定位：组合定位（里程计、DGPSCORSPOS） 单目相机：车道偏离告警 Lane Departure Warning (LDW) 、前车检测（PCW） 行人识别告警 Pedestrian Detection Warning （PDW） 交通信号及标志牌识别 Road Sign Recognition (RSR) 双目相机：立体视觉 激光雷达： SLAM、目标识别与分类 规划与控制：RRT、PID,第三部分：实时测绘技术,核心技术路线,视 觉 传 感 器,核 心 算 法,前方车辆识别,

9、交通信号及标志牌识别,车道线提取,行人检测,车道级实时交通信息计算,地图快速生产工具,ADAS 功能,视觉图像预处理,3.1 组合定位（绝对定位+相对定位）,3.2 视觉图像预处理,1） 视频图像超分辨率技术,2）模糊图像场景复原技术,3）含雾图像场景重建技术,4）全景图像拼接,1）.视频图像超分辨率技术,提升车载图像传感器视觉性能，增强交通标志符的识别水平等方面。,2）. 模糊图像场景复原技术,本项技术可以用 于前车识别、交通,过程。,标志识别的预处理,3）.含雾图像场景重建技术,在烟雨雾霾等恶劣成像环境下，图像的对比度急剧下降，视觉导航的性能无 法得到保证。该项技术基于辐射传输理论，快速自

10、动的实现图像真实场景的重建 ，增强视觉的“透视” 功能。 本项技术可以提升无人驾驶汽车的全天候、全天时视觉导航性能。,3）.含雾图像场景重建技术,3）.含雾图像场景重建技术,4）.全景图拼接,日常拍照,航拍,图像拼接技术可以将普通相机拍摄的若干幅具有一 定重叠区域的小视域图片进行拼接，得到高清晰度的宽 视角图片，并且看不出拼接痕迹。,SURF特征匹配实验,SURF特征匹配结果示意图,4）.全景图拼接关键技术1：图像配准,区域图像,图像融合处理过程图,4）.全景图拼接关键技术2：图像融合,1,2,3,4,5,6,7,武汉大学老图书馆全景图,4）.全景图拼接实验效果,Method (LDW) HO

11、G+SVM Resolution 640X480 Training set Positive samples:1000 Negative samples:1000 Detecting difficulties The contradiction between the speed and precision of detection Resolution Tracking inter frames,3.3 单目视觉的常用技术方法,Method (FCWPDW),Haar+adaboost,Problems of Haar,Sensitive to illumination,change and

12、 small offset,No stronger robustness,Problems of adaboost,训练样本量大 实时计算量大,Depth Neural Network (DNNs),信号灯检测,实际道路场景 红绿灯信息复杂 难以准确识别当前车道对应的红绿灯,交通灯检测,positioning,Detection and filter,信号灯识别与定位,根据地图信息，对 复杂路口红绿灯信 息进行网格定位。,在网格数据中 识别出当前车 道红绿灯状态 视频图像与路网数据相结合,3.4基于激光的环境感知, 基于多源历史数据融合的目标跟踪（TLD） 基于地图SLAM的局部地图场景构建,

13、动态目标提取和道路通可行区域建模,动态目标提取,车道提取,激光扫描与视觉的集成融合 识别与跟踪,融合多尺度特征的多类型地物要素自动化提取,地面点识别,路面提取,交通标志线提取,点云分割,目标识别,原始数据,目标提取,区域层次化合并,多规则区域生长,逐点分类,非地面点,基于激光点云与影像的场景感知与建模,点云的稳健配准、多层次分割与分类 点云与影像的配准与融合 地物目标的自动提取 几何目标的三维重建,3.5 地图模型, 无人驾驶地图创建 基于车道的路网拓扑自匹配 基于SLAM的地图拼接,智能驾驶导航地图构建, 基于自适应路网的虚拟车道构建,基于动态序列影像的道路场景实时建模技术 融合地理与视觉信

14、息的车道级定位技术,基于移动智能终端的的高精度实时测图技术,技术总结,第四部分研究成果及展示, 源自于无人驾驶汽车的视觉感知技术，实现快速精确的前撞预警和车道偏离预警 通过算法授权的方式，装有公司ADAS产品的智能行车记录仪已经在2016年上市,智能行车记录仪,行车辅助APP APP产品 基于智能手机终端的行车辅助安全 应用，实现车载导航与行车辅助的有效 结合。,第四部分研究成果及展示,10成0果%,行人碰 撞预警,车道偏 离预警,无人智 能驾驶,前车碰 撞预警,研究,研究进展展示,平行 泊车,垂直 泊车,激光 测图,功能 测试,媒体 报道,基于视觉的技术问题,CCD传感器易受光照环境的影响 路面标线破损、遮挡都会影响系统稳定性 复杂道路环境下目标识别难度加大,第五部分 总结,无人驾驶离我们还有多远？, ADAS 是无人驾驶的基础 感知+地图 无人驾驶的重要途径 是否需要高精度地图？ 无人驾驶面临的科学、技术、规则、伦理问题,谢 谢,！,2016年中国智能车大会暨国家智能车发展论坛,