互联网+智能交通大数据及云应用平台解决方案.pdf
《互联网+智能交通大数据及云应用平台解决方案.pdf》由会员分享,可在线阅读,更多相关《互联网+智能交通大数据及云应用平台解决方案.pdf(26页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、智能交通大数据及云应用平台解决方案什么是交通大数据什么是交通大数据交通概念很大,所涉及的范围很广,如城市道路交通指数、地铁运行数据、一卡通乘客刷卡数据、港口集装箱数据、机场航班数据、轨道交通运营数据、远洋及内河航道船舶数据、物流车辆及货物数据、公交车实时数据、出租车行车数据、空气质量状况、气象数据、道路事故数据、高架匝道运行数据、以及衍生的相关拥堵、事故、违法信息等都属于交通数据。我们通常所提的城市公安交通管理大数据是指在城市智能交通建设和运营的过程中,从视频监控、卡口电警、路况信息、管控信息、营运信息、GPS 定位信息、RFID 识别信息等每天产生的大量数据,并借助信息化手段将这些相互关联的
2、数据整合到一起(比如车辆信息、地图信息、人员信息、违规违章记录信息等等),形成一个有价值数据链,从而知道城市交通信息化建设,为公安交通实战应用服务,为市民出行服务。什么是云分析什么是云分析云分析系统具备超高的计算性能,单机设备每天处理的信息量最大高达 2000 万张图片。云分析具备对卡口、电警以及部分监控设备拍摄的车辆图像信息的结构化智能分析功能,主要包括识别图像中车辆的品牌、型号、年款、车身颜色、类别、异常特征(如遮挡面部、遮挡号牌)、唯一性局部特征(如年检标志、车内饰物)等关键信息。可对提交的图像中的车辆车牌颜色及车牌号进行二次识别,通过大数据进行,时间、地理、轨迹等的对比识别,以得出分析
3、结果。过去几年,智能交通系统建设取得了长足的进步与发展,针对道路交通违法、交通安全等,不断在不同的时间,不同的阶段建立了交通卡口、违法检测、道路智慧监控、交通事件监测等信息化系统,但这些信息化系统所采用的设备、平台均来自于不同的厂家,采用的标准,上下级不能很好的实现级联,与公安系统融合度不高,无法进行集中管理,资源共享,发挥统一的实战作用。不同时期,不同阶段建设的信息化系统,技术路线,功能性能指标各异,在套牌、摘牌、故意遮挡号牌等涉车案件中,不能找到行之有效的手段处理。现阶段,交通违法行为导致的交通安全、道路交通事故问题依然突出,交通违法管理的颗粒度也越来越细,道路交通安全法也不断的修正以满足
4、交通管理工作的需要。其中,不系安全带、开车打电话等违法行为纳入了处罚范围,而过去建设的卡口系统绝大多数不具备这些功能,不能很好的服务公安交通管理需要。云 分析 系 统 的 出现,问题 将 迎 刃 而解。云分 析 系 统 创新 型 引 入GPU+CPU 的设计理念,单台设备每天最高处理性能达到2000 万张图片,提取车牌号、车身颜色、车标、子品牌、车型、车脸等交警实战所需的结构化信息,并能够自动甄别不系安全带、打电话等违法行为,为公安交通管理提供全新的技术手段和业务体验。系统设计系统中采用的设计方法和技术路线在实战应用技术中处于领先地位,软件的设计先进灵活,便于升级以及与其它系统的互联互通。系统
5、涵盖了目前实战应用所涉及的一系列技术,如:图像预处理、信息筛查、电子地图轨迹分析等,在此基础上融合了车型建模、车牌识别、车标识别、运动目标检测和行为分析、图片检索等智能视频图像分析技术,创新性的实现了“车脸识别”、“不系安全带检测”等功能,创造性的使用云分析实现超大数据量的图片二次识别,为用户提供超高性价比的解决方案。系统设计时,对需要实现的功能进行合理的配置,且配置具有良好的兼容性和扩展性;通过提供二次开发接口,支持用户利用本系统自主开发新功能,满足业务需求。系统具有开放性的标准体系,后端基于开放式的TCP/IP 网络系统进行设计,支持多种网络协议,便于和各系统间的互联、互通、互控,遵循规范
6、的通用接口标准,使系统对硬件环境、通信环境、软件环境、操作系统之间的相互制约和影响减至最小。具有良好的人机交互界面,尽可能避免出现繁琐操作实现某项具体业务应用的情形。系统在体系设计及工程实施中应根据用户使用需求充分考虑性能优化,在合理时间范围内,尽可能缩短系统的操作响应时间;系统维护也应在合理范围内尽可能简化,使操作人员能快速地学习和掌握系统操作。系统涵盖了目前交通管理业务应用所涉及的一系列技术,如:图像接入、通用解码、转码、图片索引、车型建模、图像预处理、信息筛查、电子地图轨迹分析、套牌分析等。基于云分析的二次识别方案配合大数据的高效查询、检索、研判方案,构筑了智能交通综合管控平台的数据底层
7、支持优秀架构,为交警实战业务应用提供了极佳的用户体验。1.11.1 系统架构系统架构系统的使用者通常为指挥中心调度人员、指挥中心带班领导、支/总/大队的主管领导、交通秩序管理人员、大队分控中心人员、路面执勤民警等。系统维护的职责则由运维工程师和系统管理员完成。主要的关键业务应用包括交通状况监测、日常组织与管控、应急指挥与协作、信息研判分析等方面,主要是应对城市交通管理的现状实时监视、日常业务处置、突发事件应对、交通数据挖掘研判等业务需求。辅助核心业务的是一系列的支撑应用,包括基础数据管理(路网信息、设备设施信息)、警力资源管理(警员信息、警车信息、装备信息)、电子地图管理、系统配置管理。在应用
8、层下面是支持业务应用的支撑层,在这层完成对信息的采集、汇聚、加工、存储、交换等处理操作,同时支撑层还内包消息服务器、GIS 地图中间件、视频服务、诱导服务等信令及数据的服务或中间件。最下端为数据感知层,包括业务子系统及设备,为各类交通信息的原始数据来源,如 GPS 车辆轨迹信息、视频信息、通行车辆信息、交通流信息、施工占道信息、交通管制信息、气象信息等。视频大数据技术平台视频大数据技术平台视频大数据技术平台负责存储和提取处理视频、图片等非结构化数据,通过视频结构化技术,可挖掘出视频图像中的人、车、物、事件等结构化信息,进一步用于大数据的分析挖掘。同时,视频大数据技术平台可提供视频摘要、视频浓缩
9、、视频质量诊断等智能分析服务,使上层应用提高视频处理的效率。通用大数据技术平台通用大数据技术平台通用大数据技术平台提供基于Hadoop 和 Spark 的分布式存储、分布式计算等能力,负责整合并管理海量的结构化、半结构化、非结构化数据,具备高度的可扩展性,可将数千台的廉价服务器组建成一套庞大的云存储系统、一台超级计算机。基于 Spark 架构的内存运算,速度比传统的 Hadoop快 10100 倍,适合交通行业对时间要求的流式计算需求。行业大数据能力平台行业大数据能力平台能够针对海量数据进行快速检索、快速统计分析,同时能够进行深度的关联分析,挖掘出其中有价值的信息。行业大数据能力平台以接口的方
10、式为上层应用提供服务。大数据运维平台大数据运维平台负责对整个大数据平台进行部署、配置、管理、监控,通过自动化安装的方式,方便用户架设大数据平台。同时,通过可视化界面,可以形象地获知整个平台的运行状况。随着业务的发展,当平台需要升级或扩容时,可方便的通过该工具进行调整。1.1.11.1.1 视频大数据技术平台视频大数据技术平台1 1、视频云存储、视频云存储视频云存储系统解决百PB 级视频基础数据视频数据的低成本、高可靠存储,支持视频流数据的高并发I/O。视频云存储系统架构图2 2、视频云分析、视频云分析视频云分析平台则是通过整合用户现有的数据中心分析设备,对过车视频、过车图片等数据进行进一步分析
11、,其中中心分析设备采用分布式计算节点集群的方式,能够提供基于任务自动负载均衡的数据处理方式,解决从海里视频图像数据中解析出来的视频结构化数据的需求。视频云分析方案架构图具体包括以下模块:特征提取模块特征提取模块特征提取模块负责对实时或历史视频图像中的结构化信息进行提取,包括人、车、物等特征信息。提取出的信息存储于大数据系统中,并作为DataEngine 进一步分析的数据基础。行为分析模块行为分析模块行为分析模块负责对实时或历史视频图像中的行为信息进行分析,分析结果可作为上层应用报警的依据,同时行为信息作为结构化数据,可存储于大数据系统中,并作为DataEngine 进一步分析的数据基础。音频分
12、析模块音频分析模块音频分析模块负责对音频进行分析,识别异常音源,分析结果可作为上层应用报警的依据。以图搜图模块以图搜图模块以图搜图模块负责对大数据系统中的图片数据进行分析比对,并按相似度返回图片列表。以图搜图模块支持对人脸图片的搜索,支持对车辆图片的搜索。隐私保护模块隐私保护模块隐私保护模块负责对实时或历史视频图像中的人体影像进行模糊处理,保护个人隐私。视频摘要模块视频摘要模块视频摘要模块负责对实时或历史视频进行摘要处理,提取出视频中有用的信息,合并到同一个背景中,以此缩短视频播放时间。视频摘要可有效缩短用户观看视频的时间,提高工作效率。视频浓缩模块视频浓缩模块视频浓缩模块负责对实时或历史视频
13、进行浓缩处理,视频中有事件出现时进行慢放,无事件时进行快放,以此缩短视频播放时间。视频浓缩可有效缩短用户观看视频的时间,提高工作效率。视频质量诊断模块视频质量诊断模块视频质量诊断模块负责对实时视频流进行质量诊断,以巡检的方式对前端接入视频流进行分析,实时发现摄像机是否在线、画面是否正常等问题。视频图像增强复原模块视频图像增强复原模块视频图像增强复原模块负责对实时或历史视频图像进行增强复原,对效果较差的视频、图像进行智能修复并增强处理。1.1.21.1.2 通用大数据技术平台通用大数据技术平台通用大数据技术平台是大数据的存储和计算中心,具有分布式、统一存储、统一访问、动态扩容的特点,用于汇集视频
14、、图像、报警、卡口信息、位置信息、案事件等大数据,为数据的综合利用提供支撑。系统技术架构图分布式文件系统 HDFS 2.0:运行在通用硬件上的可扩展高容错的分布式文件系统,已经成为海量数据存储的事实标准。负责海量数据存储,将数据分散存储在多台独立的设备上,系统采用可扩展的体系结构,利用多台存储服务器分担存储负荷,利用元数据服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。o分布式资源管理 YARN:分布式资源管理框架,负责计算、存储资源的管理,用以提高分布式集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。o分布式计算Map/Reduce:分布式计算框架,
15、负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。o分布式数据库 HBase:一个分布式的、按列存储的、多维表结构的实时分布式数据库,用于存储粗粒度的结构化数据,适合构建高并发低延时的在线数据服务系统。o全文检索引擎 Solr:一个基于 Lucene 构建的开源,分布式,RESTful搜索引擎,设计用于云计算中,能够达到稳定、可靠、快速实时搜索。o内存计算 Spark:下一代基于内存的Map/Reduce计算引擎,处理大数据像“光速”一样快,比Hadoop Map/Reduce快 10 x 到 10
16、0 x 倍。o流计算 Stream:流计算,负责对流媒体数据的分析计算。Zookeeper:分布式协作系统,作为一个分布式锁及共o分布式协作享数据管理者,提供集群节点间的事物协调服务,保证HDFS、HBase、Spark、Map/Reduce 等分布式系统的安全可靠运行。oKafka:分布式数据总线,负责数据的采集、整合、交互。oSqoop:SQL to Hadoop,一个数据抽取工具,用于从关系数据导入数据到 Hadoop。1 1、分布式文件系统、分布式文件系统HDFS 是分布式计算中数据存储管理的基础,具有高容错性、高可靠性、高可扩展性、高吞吐率等特点,可以设计部署在低廉的硬件上,为海量数
17、据提供了不怕故障的存储,适合那些有着超大数据集的应用程序。2 2、分布式数据库、分布式数据库HBase 是一种构建在 HDFS 之上的分布式、面向列的存储系统,它具有高可靠、高性能、面向列和可伸缩的特性。HBase 适合于存储大表数据(表的规模可以达到数百亿行以及数百万列),并且对大表数据的读、写访问可以达到实时级别。3 3、分布式计算、分布式计算MapReduce 是一种处理海量数据的并行编程模型和计算框架,用于对大规模数据集(通常大于 1TB)的并行计算。MapReduce 的名字源于该模型中的两项核心操作:Map 和 Reduce。Map 将一个任务分解成为多个任务,Reduce 将分解
18、后多任务处理的结果汇总起来,得出最终的分析结果。4 4、分布式协作系统、分布式协作系统ZooKeeper 是一个针对大型分布式系统的可靠协调系统,主要提供两个功能:帮助系统避免单点故障,建立可靠的应用程序;提供分布式协作服务和维护配置信息。1.1.31.1.3 行业大数据平台行业大数据平台行业大数据平台负责与通用大数据平台进行对接,负责对结构化数据(过车数据、测速数据)进行分析计算,提供快速检索、分析、统计、挖掘等功能,并提供用户最终的操作界面。面向交通行业的大数据业务展示平台,即为 XZX-TMS-9200 智能交通综合管控平台。1.1.41.1.4 大数据管理平台大数据管理平台大数据管理平
19、台负责对整个大数据平台进行部署和管理,结构示意图如下图所示,包括集群部署、集群管理、任务管理、服务管理、状态监控、用户管理、告警、日志等模块。大数据管理平台架构图1.21.2 数据流程设计数据流程设计前端新建及已建能够按照标准协议接入的设备通过智能交通综合管控平台交通接入服务器接入转发至云分析平台进行车辆建模和二次识别。已经部署云存储模块的系统,云分析也能够直接从云存储中读取图片信息进行车辆建模和二次识别。已建的第三方平台,提供符合要求的SDK 协议,智能交通综合管控平台进行数据整合后再转发至云分析平台进行车辆建模和二次识别。云分析通过智能交通综合管控平台提供的图片URL 信息加载图片,进行建
20、模和二次识别,完成建模和二次识别后,将识别结果信息如车牌、车型、车辆品牌等信息提供给大数据平台。大数据平台读取二次识别的结果信息,写入到HDFS 分布式文件存储系统中;基于 HDFS 分布式文件系统部署分布式数据库,用来承载数据的预统计表和二级索引表。在数据搜索层,部署基于Solr 分词的全文检索搜索引擎,并通过 MapReduce分布式计算框架提供高效数据分析速度。Zookeeper 提供分布式文件系统之间的多进程协调服务。数据写入、检索、统计和研判应用,大数据平台提供统一的webservice接口,智能交通管控平台通过调用大数据平台接口进行处理应用。1.2.11.2.1 云分析数据处理流程
21、云分析数据处理流程云分析可以采用的工作模式主要包括主动工作模式和被动工作模式。目前采用的是被动工作模式。主动工作模式的特点是中央强力控制,即由中心管理服务下派任务到指定的计算节点,计算节点没有发起任务申请的权利。被动工作模式则相反,由计算节点主动向中心管理服务发起申请,申请获得批准后获得执行任务,然后开始任务执行,任务执行过程中与中心管理服务保持实时更新,确保任务能够正常完成。被动工作模式相比主动工作模式而言能够突出计算节点的优势,管理单元越小,管理的难度也就越小。如果按照主动工作模式,由中心管理服务全部承担任务分派、任务调度等功能,负载、责任过大,容易造成单点失败。即便采用集群方式或者单点灾
22、备模式,依然没有真正解决负载过重、任务调度节点易失败等情况。被动工作模式把任务申请职责交给了计算节点,各个计算节点按照自己的实际情况决定是否发起任务申请,这样可以有效地避免计算节点出现计算资源使用率频繁切换、异常波动,同时,降低了中心管理服务的压力。任务调度方面,云分析通过接入第三方应用平台,实时获取执行任务信息,然后通过中心服务管理动态调度任务的方式达到高优先级任务优先执行的目的。对于计算节点来说,它申请获得任务没有优先级之分,一旦申请成功,立即转入工作状态。同时,由于云分析节点是分布式部署,系统高并发执行的效果可以有效的提高分析执行效率、优化网络带宽的流量压力,使得整个监控系统的性能得到更
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 互联网 智能 交通 数据 应用 平台 解决方案
限制150内