大数据技术在智能交通领域的应用.docx

大数据技术在智能交通领域的应用李燕妮在新时代背景下，以大数据理念为依据的智能化交通建设成为优化城镇化建设水平，解决城市交通拥堵的有效举措，其不仅能提升获得交通信息的科学性和精确性，而且可以构建多元化的管理系统为智能交通运行供应基础保障。文章以广西为例，基于大数据与智能交通理论概念，介绍了基于大数据技术的处理平台特点与架构，探讨了智能交通领域大数据技术的详细应用。大数据;智能交通;数据迁移;实时性;高度可拓展性;异构环境U491.1+22A4014340 引言日益严峻的城市交通运输难题，既会导致车辆运行缓慢，又会增加运输时间和成本的消耗，并由此释放大量的汽车尾气，严峻污染城市环境和自然生态。同时，拥堵的城市交通必定会增加事故发生的概率，而这一现象也会增加交通拥堵的范围，以此形成恶性循环。除此之外，城市道路建设的功能不完善，交通运输管理的方式过于落后等问题也会造成道路拥堵难题。而大数据技术作为网络技术革新的全新内容，融合了多种类型的数据，可以从中获得更多具有价值的数据信息。所以，在城市建设发展过程中，构建以大数据为核心的智能交通网络系统，不仅能提升道路运输效率，增加获得信息，而且可以为智能交通建设发展奠定基础保障。智能交通可以从基础上变更人们的出行方式，提高他们的生活质量，更可以为社会经济和城市建设供应技术支持。1 背景介绍随着我国经济发展水平的持续上升，科学技术地不断创新，人们生活的质量越来越高，家庭拥有汽车数量也在直线上升，为解决日益严峻的城市道路运输难题，大部分城市都起先引入智能交通建设理念，并在实践发展中获得了肯定成果。现如今，我国每年在这一领域上的投资超过了200亿元，为解决城市交通运输难题供应了有效的资金支持。将来的智能交通技术及其系统运营并不会局限于陆地交通，也可以运用到航空、海运等领域中，这将有助于我国综合交通领域向着现代化和智能化的方向革新。本文探讨以广西为例进行了应用分析：（1）数据中心。选用多种运输方式，整理收集国际运输、海关物流等数据信息，全面推广广西综合交通运输全域大数据资源的管理工作，并在构建数据资源池的基础上实现资源共享与交换，而后利用数据挖掘分析为西部陆海新通道建设系统供应依据。（2）才智高速。以南宁沙井到吴圩高速马路为依托，运用车路协同和自动驾驶技术构建全新的道路交通限制平台，并构建才智高速马路路段，科学动态地管理与调度途中的车辆。（3）才智服务区。利用5G技术、人工智能以及云计算等内容，整理分析以视频图像为主的服务区全态势大数据，在促进商业经营转型的同时，提升实际服务质量和平安防控力度。（4）才智马路监测系统。构建以5G技术为依据的马路专用通信网络，为智能交通运输供应混合云雾计算平台，促使马路网在全面覆盖的基础上，可以从出行服务、运营保养以及基础设施等方面快速利用才智平台进行数据分析与处理。（5）基础设施建设与保养。不管是特长隧道还是高速马路、桥梁等基础设施，都要利用BIM技术在道路施工和养护运营等管理期间进行全生命周期的管控与探讨。2 概念分析2.1 大数据从本质上讲，大数据就是对大规模的數据信息进行整理收集以及分类处理等操作的全新技术理念，其不仅能在分析处理中发觉事物规律，而且可以突破传统计算机技术的限制。尤其是在人工智能和云平台理念的优化下，将这一技术理念运用到城市建设中能全面变更人们的生活和工作形式。2.2 智能交通智能交通系统也叫做智能运输系统，是指利用现代化科学技术如自动限制理论、数据通信技术以及电子限制技术等，全面管控交通运输状况，并强化人车路三者间的协调关系，以此构建一种可以提升效率、削减资源消耗、优化城市环境以及保障生命平安的综合运输系统1。3 基于大数据技术的处理平台3.1 大数据处理特点及框架结合图1分析可知，以大数据为依据的技术平台特征主要分为以下几点：（1）用来储存并抓取大量数据，能快速且精确地了解城市交通运输现状;（2）突破跨区域管理的限制;（3）具有智能性和现代性，能帮助管理人员全方位了解道路运输状况，统筹规划实际管理方案，以此提升道路资源的应用效率;（4）具有预见性和便捷性，可以在快速处理多样化数据信息的基础上，让网络交通信息和道路实际数据彼此融合互补，有助于城市居民依据城市道路运输供应不同类型的数据信息，选择相宜的出行方式和路途。目前随着城镇化建设水平的提升，道路运输量的增长速度远远超过了预期范围，难以刚好应对日益增加的汽车运输需求，此时基于大数据技术构建系统化的道路诱导系统至关重要。3.2 数据仓库系统数据仓库作为数据管理科研项目的核心内容，由其产生的数据需求和数据服务等都发生了天翻地覆的改变，而这些变更须要科研人员依据试验探究进行逐一确认。依据上文概述的广西智能交通领域发呈现状分析可知，用数据仓库系统处理交通信息，必需要具有以下特征：（1）高度的可扩展性。面对持续上升的智能交通运输信息，数据库不能依据一台或少数机器的升级来满意爆炸式增长的数据量，而是要利用横向可拓展技术来完成实际数据的分析与储存。（2）高度容错。由于城市交通信息大部分都须要查询实时数据信息，因此对系统的容错性要求极高。而在集群环境中，节点的失效并不是一件希奇事，计算机系统无法利用硬件来提升自身的容错性，相反要注意优化软件性能，提高其所拥有的容错性。（3）支持异构环境。在实践运行中依据工作需求不断购买大量异构计算资源，不仅能削减资源奢侈，而且可以保障其系统的运行质量。3.3 Hadoop架构Hadoop架构作为运行在大规模集群上的开源的分布式并行编程框架，不仅能运行Google的Map Reduce编程模型，还具备分布式文件系统HDFS，因此在实践运行中可以处理大量数据并进行分布式计算。其详细架构如图2所示。此时，框架处理数据量可以达到海量级别，且须要服务端具有极强的处理实力和负载水平，服务系统也具备肯定的稳定性和可拓展性。大数据平台的应用优势在于储存和计算大规模数据信息，且具备高交互性。HDFS文件系统能有效提升系统服务器的拓展性，由此构建的Map Reduce框架也能更快地进行分布式计算，且能在处理期间增加服务器的负载均衡力。运用Hadoop分布式处理平台，根据城市居民出行调查、当前道路信息以及车辆运行状况等对数据库信息进行整合处理与分析，能在精确评估城市道路车速的基础上，提升公共交通效率。3.4 HBase关系型数据库管理系统更相宜应用在数据更新或查询等工作中，符合小规模数据信息的分析与处理要求。Map Reduce框架能以批处理方式来探讨整体数据集的问题，相宜用来一次写入多次读取的问题，而前者更符合长期更新的数据集。对比两者实际应用状况可知，前者必需要具备精准定义的实体数据，而后者主要用来处理半结构化或非结构化的数据信息。根据实践系统运行需求分析，这一系统对实时性的要求极高，如道路运输的实时路况、出租车实时信息以及用户恳求等，这些内容都要利用MySQL数据库储存模式，刚好反馈查询相关内容，以期在便利居民出行的同时，储存大规模数据信息。上述内容必需要选用HBase数据库。其作为Apache Hadoop的数据库，可以在应用期间进行实时且随机的读写访问，相应的工作目标在于储存并处理大规模的数据信息。以HDFS为依据的HBase数据库具有可伸缩性、牢靠性以及高性能等优势，将其运用到PC集群中构建大规模的结构化储存集群，对当前智能交通系统建设与运行而言至关重要2。3.5 HiveHive作为Hadoop数据仓库所需工具，能让结构化的数据信息映射成为一张数据库表，并为用户供应有效的SQL查询功能，以此将这一语句转变为Map Reduce任务在系统中运行。这一内容在智能交通系统中的优势在于学习成本较低，能利用SQL语句快速统计Map Reduce，并不须要依据Map Reduce需求设计特地的应用，特别符合当前数据仓库统计需求。常见内容涉及说明器、用户接口以及优化器等。3.6 PigPig作为以Hadoop为依据来源的大规模数据分析平台，相应的SQL-LIKE的语言叫做Pig Latin。结合实践工作状况分析，Pig主要用来分析大量的数据集，其可以为系统用户带来多层抽象，这样能在便利并行技术的基础上，为用户带来更为优质的系统服务。此时，抽象化的处理可以自动将用户恳求queries翻译成为有价值的并行评估方案，而后在物理集群中合理处理上述安排3。4 在智能交通领域中的大数据技术分析4.1 系统框架依据当前广西智能交通系统应用状况分析，要想科学处理交通数据，必需要依据上述典型的大数据平台架构设计更为完善的处理平台。详细系统架构如图3所示。这一系统主要分为三大部分：（1）数据的采集层;（2）数据的架构层;（3）数据的服务层。数据的采集层和传统智能交通系统的设计相同，而收集到的数据信息将会被传递到交通云平台，并根据不同的需求储存到数据库当中，接下来会根据实时处理和历史统计等系统需求，选择内部不同类型的处理架构为用户供应便捷服务。4.2 数据迁移目前，许多交通数据都被储存在关系型数据库当中，为了便捷统计和分析，必需要将历史数据转移到构建的大数据平台中。依据系统测试分析可知，最佳的方式就是开放远程oracle数据库数据阅读端口，运用开源数据转移工具Sqoop干脆将数据导入到HDFS中，此时运行速度将会受到网络带宽的限制。这种方案在测试期间，数据传输过程中并没有出现缺失或是中断，因此符合整体平台系统的建设和运行要求。而Sqoop作为用来转移数据信息的工具，可以将关系型数据库当中的数据导入到HDFS中，也可以将HDFS的数据导入到关系型数据库中，属于一个特别重要的基础组成部分。4.3 数据储存储存与计算作为大数据技术应用与发展必不行少的两项内容，在系统架构中必需要从交通运输角度入手设定相应功能。通信客户端能确保系统接收层获得的数据被传递到云平台，而系统的储存功能可以稳定且持续地储存相关信息数据。在系统接收到上传文件的相关恳求后，云平台的Hadoop集群将会启动一个任务，将Job文件块上传到分布式数据库中。如图4所示，其为基于JobTracker启动多个任务的安排框架。本文基于广西目前智能交通运输状况所构建的大数据平台具备数据清洗和噪点过滤等的特征，能有效保障内部数据分析与处理的精确性。而利用智能栅格技术以及压缩策略等也可以进一步削减资源占据的空间4。4.4 数据處理这一模块可以分别处理统计应用和实时应用，以此满意不同类型的用户需求，同时在实践运行中选用了大规模并行计算方式，并设置了空间位置数据实时提取计算模型，有效保障了系统内部数据处理的科学性和精确性。为了达到上述要求，这一模块在处理数据期间所运用的关键技术有：（1）轨迹数据的快速检索技术。利用二进制文件取代传统意义上的数据进行储存，并为系统设计Key-Value储存对，同时运用Key快速检查Value的特征，并将数据子集储存到Value当中。另外，还会利用HDFS分布式文件和Map Reduce分布式计算编程形式取代传统意义上的关系型数据库，有助于在快速检索的同时，降低数据压缩比例，提升整体运行速度。（2）分布式轨迹的聚类技术。运用Map Reduce分布式计算架构规范处理城市交通运输轨迹，并由此获得并行的K-Means聚类算法。通过明确初始位置，对常常出行的路段实施聚类分析，就能快速得到其中的异样数值。（3）分布式停车点的聚类技术。利用Mahout和Hadoop平台所呈现出的协调功能，能充分呈现Map Reduce的可迭代式数据发掘算法，并由此进行分布式计算与分析。（4）地图的匹配技术。地图匹配作为道路交通运输实现智能化的基础内容，主要是利用传感器所供应的观测数据来明确传感器载体在地图上的真实位置。现如今，这一技术和设备被大量引用到交通路段、速度以及密度等方面的检测工作中，其在确定位置信息并进行预处理工作中具有主动作用。只有精确驾驭车辆在城市道路网络中的真实路径，才能确保上述信息具有真实性和有效性5。4.5 数据平安在智能交通大数据平台系统中，数据平安性涉及到以下几点：（1）备份。系统的有效性源自于HDFS文件系统的冗余存储设计，而资源利用效率之间的平衡则会受HDFS系统的复制因子数据所影响。在设计备份的基本策略中须要将某数据节点的本地数据在同一机架的近程远端节点和不同机架的远程远端节点中各备份一次，这种设计能从基础上保障数据信息的有效性。（2）访问限制。不管是位置还是精确服务，两者之间的冲突和用户隐私爱护都将引发系统运行难题，并对系统服务器的处理实力提出了全新要求。基于Hadoop的权限设计必需要依据不同文件夹规范用户权限，并利用HMaster或Namenode等对全部的访问实施监管，并依据实时日志对其数据访问行为进行跟踪调查。5 结语综上所述，随着当前我国智能交通领域的不断创新与发展，大数据技术及其平台建设在取得优异成果的同时，也充分呈现了自身所拥有的独特优势。运用大数据技术优化智能交通，不仅能解决以往居民出行面临的交通难题，而且可以从实践发展角度入手构建更为现代化和智能化的城市环境。因此，在将来的城市建设发展中，要将智能交通和大数据技术看作是科研探究的主要内容。1孙 静.大数据处理技术在智能交通中的应用J.赤峰学院学报（自然科学版），2022，35（5）：52-56.2丁向朝.大数据技术在智能交通平台构建中的应用J.电脑学问与技术，2022，15（16）：178-179.3张 文.大数据技术在智能交通管理中的应用探讨J.信息记录材料，2022，21（4）：161-163.4牛启航.大数据技术在智能交通管理中的运用J.汽车好用技术，2022，307（4）：230-231，247.5李 镆，杨容平，刘亚婷.大数据在智能交通与公共平安领域的详细应用J.中国安防，2022，167（11）：40-44.猜你喜爱储存交通数据库数据库财经(2022年15期)2022-07-03数据库财经(2022年15期)2022-07-03计算机网络存储技术环球市场信息导报(2022年2期)2022-05-18数据库财经(2022年2期)2022-03-10数据库财经(2022年2期)2022-03-10松鼠怎样储存食物小猕猴学习画刊(2022年12期)2022-01-05数据库财经(2022年15期)2022-06-03数据库财经(2022年15期)2022-06-03数据库财经(2022年6期)2022-02-24数据库财经(2022年6期)2022-02-24第14页 共14页第 14 页 共 14 页第 14 页 共 14 页第 14 页 共 14 页第 14 页 共 14 页第 14 页 共 14 页第 14 页 共 14 页第 14 页 共 14 页第 14 页 共 14 页第 14 页 共 14 页第 14 页 共 14 页