应用于智能交通中的大数据技术hkpv.docx

应用于智能交通中的大数据技术毕 业 论 文文（设计计）题 目： 应用于于智能交交通中的的大数据据技术 姓 名：坑选手手系 别： 工学部部 专 业： 交通运运输专业业 指导教师师：Mrr.zhhuanng完成日期期： 20015 年年 44 月 10 日 摘要随着经济济全球化化的发展展和时代代的变迁迁，人们们不知不不觉地走进了了信息化化时代。大量数数据的爆爆棚成为为了这个个时代的的新特征，在这种种特征下下人们依依然追求求生活质质量的提提高。发发展智能能交通使使人们生生活水平平得到提提高是现现实社会会的需要要，然而而在智能能交通的的构建中中，大量量的信息息数据变变化也给给其增添添了难度，如如何在大大数据时时代构建建一个智智能化、安安全化、低低成本、高高效便捷捷化的智智能交通通系统成成为了当当今人们们研究的的课题。本本文从大大数据时代代给智能能交通带带来的变变化及优优缺点、大大数据时代代给智能能交通带带来的问问题与挑挑战、智智能交通通需求与与大数据据的融合合以及智智能交通通海量数数据的平平台搭建建等方面面做了简简单阐述述，可以以给以后后研究该该领域的的人员提提供一些些可行性性建议。关键字：智能交交通；大大数据；应用；平台构构建Absttracct Infformmatiion agee haas bbeenn coome in ourr liife witth tthe devveloopmeent of ecoonommic glooballizaatioon aand thee chhangges of thee tiimess. TTherre aare a llargge aamouunt of datte bbursstinng, whiich beccomee a neww chharaacteerissticc inn thhis neww erra, peooplee sttilll puursuue tthe quaalitty oof llifee. IIt iis oof ggreaat nneedd annd nneceessiity forr peeoplle tto iimprrovee thhe qquallityy off liife in conntemmporraryy soocieety deppendd onn deevellopiing a iinteelliigennt ttrannspoortaatioon. Howweveer, we meeet ssomee diiffiiculltiees iin bbuilldinng iinteelliigennt ttrannspoortaatioon bbecaausee off thhe cchanngess off vaarioous infformmatiion datte. Howw too deevellop a iinteelliigennt ttrannspoortaatioon tthatt saafetty, loww coost,effficiientt andd connvenniennt iis tthe subbjecct ffor thee sttudyy off peeoplle. Thee thhesiis ssimpply disscusssess thhe cchanngess,addvanntagges andd diisaddvanntagges, prrobllemss annd cchalllenngess off thhe iinteelliigennt ttrannspoortaatioon tthatt innforrmattionn agge bbrouughtt. IIn aaddiitioon, thee thhesiis ddisccusss thhe ddemaandss off thhe iinteelliigennt ttrannspoortaatioon, thee ammalggamaatioon oof nnumbberss off daate andd thhe eestaabliishmmentt off daate plaatfoorm in inttellligeent  traanspporttatiion sysstemm. TThe theesiss iss coontrribuutinng tto pputttingg foorwaard somme ppraccticcal sugggesstioons forr peeoplles ffutuure stuudy.Key worrds:Inttellligeent Traanspporttatiion；Bigg Daata；Apppliccatiion；Plaatfoorm目录1绪论11.1引引言11.2国国内研究究概况11.3国国外研究究概况11.4 本文主主要研究究内容和和研究方方法22大数据据时代给给智能交交通带来来的变化化及优缺缺点32.1大大数据时时代改变变传统公公共交通通管理的的路径32.2大大数据下下智能交交通的优优势42.3大大数据下下智能交交通的弊弊端43大数据据时代给给智能交交通带来来的问题题与挑战战53.1数数据关联联复杂53.2数数据迁移移问题53.3数数据接收收实时性性63.4海海量数据据计算63.5城城市交通通的大数数据环境境带来的的挑战74智能交交通需求求与大数数据的融融合94.1智智能交通通需求94.2相相互融合合95智能交交通海量量数据的的平台搭搭建105.1针针对战略略调控的的数据密密集型分分析的技技术路径径105.2系系统架构构115.3迁迁移数据据方案115.4存存储数据据方案125.5数数据仓库库系统135.6处处理数据据方案145.7数数据安全全策略155.8未未来发展展建议156结语15致谢117参考文献献18VI1绪论1.1引引言信息化时时代催生生了大数数据技术术，已经来来临的大大数据时时代对于于城市交交通道路路来说既既是机遇遇也是挑挑战，如如何应对对和利用用，这是是一个很很大的课课题。大大城市在在经济快快速发展展的过程程中面临临着交通通事故频频发、交交通堵塞塞以及交交通环境境污染日日趋严重重的问题题。在传传统交通通中，城城市交通通是中流流砥柱，具具有基础础性的作作用。大大数据时时代的特特征人们们用四个个V字开开头的英英文单词词来表达达即速度度（Veeloccityy）、多多样性（VVariietyy）、体体量（VVoluume）以以及价值值密度（VValuue）。在在大数据据时代，城城市交通通与大数数据必定定会产生生各种联联系，通通过大数数据带来来的技术术突破，推推进城市市交通迈迈向全面面信息化化时代，通通过城市市交通的的快速发发展推进进大数据据更加落落地，产产生实效效城市交交通大数数据的集集成和将将来的开开发利用用对于现现代轨道道的发展展具有重重要作用用。11 对对大数据据的需求求，不论论哪一个个传统行行业，都都要既掌掌握技术术又深谙谙内情。能能够驾驭驭行业大大数据的的人，需需要比互互联网更更懂互联联网，比比建筑更更懂建筑筑，比金金融更懂懂金融，交交通也是是如此。对对于交通通大数据据方案商商来说，需需要充分分了解乘乘客的实实际需求求，需要要对高峰峰期充分分了解。1.2国国内研究究概况20133年122月中国国智能交交通与大大数据技技术峰会会在北京京召开。数数十家领领军企业业，近七七十场主主题演讲讲，对大大数据的的技术方方向进行行了探讨讨和研究究。还对对互联网网、金融融、电信信、交通通、医疗疗等创新新案例，大大数据资资源的法法律法规规、大数数据商业业利用的的政策管管制等进进行了深深入的讨讨论。中国智能能交通协协会理事事长吴忠忠泽为我我们阐述述了大数数据背景景下，智智能交通通的发展展趋势和和发展过过程中所所面临的的机遇与与挑战。他他指出交交通数据据的深层层价值挖挖掘和开开发要突突破技术术和政策策层面上上的问题题，使数数据资源源的安全全性问题题得到保保障。深圳市综综合交通通运行指指挥中心心总工关关志超用用“监测、模模型、仿仿真、评评价”八字概概括了智智能交通通的特点点。为我我们详细细介绍了了大数据据的数据据监测，大大数据下下城市智智能交通通模型体体系的建建设以及及构建基基于城市市交通模模型系统统的智能能仿真平平台。毫无疑问问，中国国智能交交通已经经迎来大大数据时时代。1.3国国外研究究概况早在200世纪880年代代国外就就产生了了“大数据据”这个概概念，国国外对大大数据的的研究早早于中国国。到了了20世世纪900年代开开始，欧欧美和日日本等发发达国家家逐步加加快了对对智能交交通研究究和应用用的速度度。应用用于智能能交通中中的大数数据技术术也逐步步在发展展和成熟熟。20014年年1月，美美国官方方打算将将carr-too-caar智能能通讯系系统搭载载在新汽汽车上，让让汽车与与汽车之之间随时时有个通通讯，这这样就能能确保车车距防止止交通事事故的发发生。据据悉，这这项技术术已经在在多个城城市试点点，美国国将要在在20117年普普及这项项技术。因因此，国国外对智智能交通通大数据据技术的的研究已已经步入入了应用用阶段。图一：美美国caar-tto-ccar智智能通讯讯系统1.4 本文主主要研究究内容和和研究方方法改善城市市道路交交通的关关键所在在就是智智能交通通，建设设智能交交通的前前提需要要及时、准准确地获获取交通通数据并并构建交交通数据据处理模模型，而而大数据据技术可可以解决决这个难难题。2本本文从大大数据时时代给智智能交通通带来的的变化及及优缺点点、大数数据时代代给智能能交通带带来的问问题与挑挑战、智智能交通通需求与与大数据据的融合合以及智智能交通通海量数数据的平平台搭建建等方面面的进行行了简单单的概述述，可以以给相关关的研究究人员提提供一些些有用的的参考。本本文通过过查找文文献和研研究，定定量定性性的分析析，对比比国内外外相关技技术，而而采取文文献法，描描述法，对对比法等等研究方方法。2大数据据时代给给智能交交通带来来的变化化及优缺缺点随着网络络信息技技术以及及相关配配套技术术的快速速发展，使使得当今今时代在在不知不不觉中走走进一个个“大数据据”时代阶阶段。就就目前而而言，国国际上还还没有给给予“大数据据”一个明明确的具具有权威威性的定定义，但但是其在在本质上上的认识识各个国国家基本本相同。一一些研究究人士认认为“大数据据”是数量量极大的的一堆数数据，其其作用性性非常强强，并且且其可以以对其应应用领域域大体上上做出预预测。还还有一些些研究人人士认为为，在大大量信息息数据技技术处理理应用当当中，“大数据据”是一项项大的数数据集合合，并且且该种集集合不仅仅数据量量大，而而且还非非常复杂杂。但是是无论怎怎样大数数据时代代已经走走来，我我们必须须接受并并且要利利用好其其在各个个领域的的应用。因因此在今今天的智智能交通通领域，利利用大数数据技术术已经成成为了时时代发展展的必然然，因为为其可以以给现代代智能交交通带来来诸多大大的变化化。2.1大大数据时时代改变变传统公公共交通通管理的的路径大数据可可以跨越越行政区区域的限限制。行行政区域域的划分分是国家家为了有有效统治治和管理理，而将将一个国国家划分分不同行行政区域域。这个个划分在在促进各各个行政政区域自自治的同同时，也也导致各各个地方方政府追追求各自自辖区利利益的最最大化，而而将用户户可能利利用的各各种交通通数据纳纳入系统统，构建建公共交交通信息息集成利利用模式式，发挥挥整体性性交通功功能，通通过在大大数据中中进行集集成检索索、利用用和分析析来提取取相关信信息，满满足各种种交通需需求，以以解决实实时交通通障碍。9图二：日日本三大大都市圈圈交通模模式的演演变从图一我我们可以以看出从从19770年至至20004年，名名古屋所所处的中中京都市市圈小汽汽车分班班比呈现现上升的的势头，且且轨道与与巴士出出现下降降的趋势势，说明明城市交交通模式式趋于偏偏离公共共交通的的发展。2.2大大数据下下智能交交通的优优势智能交通通数据处处理体系系的构成成一般由由输入交交通数据据（静态态与动态态数据）数据处理（实时数据处理）数据存储（大数据）数据查询，检索，可规划用户等组成。大数据能较好的配置公共交通信息资源。传统的交通管理部门职能重叠，在运营上浪费大量人力、物力。大数据能合理配置各个交通部门之间的交通职能，辅助人们制定出较好的统筹与协调解决方案，能合理配置有关道路的信息资源。4大数据在解决公共交通问题上具有以下优势：1)、在对公共交通的车辆进行配置过程中，配置成本会随着大数据的聚合而减小，这种高效配置能提高车辆的有效路段里程，进而提高交通运输效率；2)、确保交通的连贯性和持续性，一旦某个路段发生问题，能即刻从大数据中调出相关信息；3)、大数据具有很高的预测能力，可降低漏报和误报的概率，可随时实时监控公共交通的动态性。5从经济效益方面来说，大数据的超级计算机的引入和维护需要一定的资金，但是从长远来说，其经济效益更大。1)、应用大数据可以减小交通堵塞。将用户分析之后，转化为一张完整的道路交通状况地图，并在地图上以同颜色标示各个路段的运行现状，以确定造成交通堵塞的地点。2)、应用大数据处理恶劣天气的道路状况。使用来自气象信息站和交通高速数据的信息，以评估对关键路线的道路进行清理所要耗费的时间，从而提高处理道路状况的效率。3）、应用大数据可以评估路况。使用交通的高速数据和分析，以评估出关键路段的行驶可靠性。定位拥挤路段，为拥堵路段的司机指明疏通路段。62.3大大数据下下智能交交通的弊弊端大数据加加快了共共享速度度和信息息传递，扩扩大了信信息范围围，使得得其所含含的私密密信息和和商业信信息存在在着泄露露的风险险。例如如个人的的家庭住住址、个个人出行行路线以以及常使使用的出出行工具具等。一一旦这些些信息泄泄露，则则会在一一定程度度上影响响到个人人的私生生活，用用户产生生的自我我保护意意识就会会抵制大大数据管管理系统统的广泛泛应用。各各地机构构都具有有交通数数据并能能被大数数据管理理系统应应用，但但很多车车辆计数数（计算算交通车车辆数目目）的数数据都以以静态格格式存储储，使得得系统所所具备的的计数特特性无法法被除人人之外的的事物进进行检索索，这种种传统“人对物物”的互联联网连接接方式不不符合物物联网的的“物对物物”特性。交交通数据据的物联联化是通通过智能能手机、传传感器和和机载车车辆等硬硬件,不不间断收收集、通通信和处处理诸如如交通条条件、天天气状况况等移动动数据。63大数据据时代给给智能交交通带来来的问题题与挑战战3.1数数据关联联复杂根据相关关部门统统计，随随着互联联网信息息时代的的到来，在在当今三三年里产产生的信信息数据据相当于于上一个个时代四四万年产产生的数数据量，并并且随着着时代的的发展信信息量要要成上升升趋势。大大量信息息数据产产生的时时代已经经毋庸置置疑的来来了。在在这些大大量数据据的产生生中其来来源来自自于方方方面面，无无论从生生活的互互联网电电子商务务购物，还还是到工工业企业业中各产产线的的的生产制制造，还还是到社社交网站站等媒体体信息的的沟通，还还是到在在线视频频影像资资料的制制作与传传输都是是大量信信息数据据产生的的源头。就就现今时时代发展展而言无无论从工工业企业业的信息息自动化化管理系系统，还还是政府府机关等等服务部部门的电电子窗口口政务以以及居民民所使用用的网络络信息娱娱乐与服服务均会会产生大大量的信信息数据据。同样样在现代代交通领领域也不不例外，就就目前而而言浮动动车数据据、智能能交通卡卡等信息息数据已已经大量量的分布布各地。就就浮动车车的GPPS数据据而言，仅仅按照一一座城市市200000辆辆pcuu作为估估算依据据，那样样车辆轨轨迹产生生的实时时传输记记录就可可以产生生平均为为502000 B数数据长度度的数据据。如果果按照一一辆车11560 s次次的回报报频率。这这样仅该该项数据据就可每每天产生生4775 GGB的数数据量，11755 TBB的年数数据量。如如果再加加上视频频、图像像、音频频等各项项数据流流，那么么整个数数据系统统就会存存在诸多多错综复复杂的关关系，并并且这些些相互关关联的关关系还会会发生动动态的不不可确定定的变化化，因而而导致数数据关联联模式非非常复杂杂，并且且难以处处理。3.2数数据迁移移问题受到各种种信息服服务终端端的影响响，各类类信息系系统均会会产生大大量信息息数据，这这样便使使得各类类信息数数据的存存储规模模呈现迅迅猛爆炸炸式增长长。就目目前发展展阶段而而言，个个人用户户端的信信息数据据存储规规模已经经从过去去的GBB级别逐逐渐上升升到了TTB级别别；在一一些大中中型信息息化企业业当中其其信息数数据存储储规模也也已经上上升到了了PB级级别有的的甚上升升到了EEB级别别。近年年来，随随着互联联网和云云计算等等技术的的迅猛发发展，由由于其有有明显的的技术优优势和服服务优点点，已经经越来越越多个人人和企业业选择将将大量的的信息数数据业务务迁移到到云计算算平台等等大规模模数据中中心中去去，进而而以降低低本地硬硬件的投投入和维维护成本本以及安安全性的的保证。但但是我们们知道超超大海量量的数据据迁移并并非那么么容易其其必须要要以可行行可靠安安全的技技术方案案作为支支撑，一一旦出现现错误将将会给现现实社会会和实体体经济带带来影响响以及增增加安全全隐患。此此外超大大海量数数据迁移移任务需需要较大大带宽作作为传输输技术支支撑，就就目前的的带宽技技术发展展而言，虽虽然其已已经发展展较快，但但随着时时代的发发展其发发展速度度将满足足不了超超大海量量信息传传输的要要求，可可能会成成为数据据迁移的的一项发发展瓶颈颈。3.3数数据接收收实时性性随着现代代智能交交通的发发展，交交通领域域已经呈呈现多样样化的发发展，现现代交通通的发展展已经要要求大量量的数据据需要进进行在线线接受、记记录和处处理。例例如在交交通领域域中出租租车行车车轨迹数数据记录录、长途途客车行行车轨迹迹数据记记录、公公务性用用车行车车车轨迹迹数据记记录以及及出租车车营运交交易信息息数据的的记录，类类似这样样的信息息数据均均需要大大量的实实时接收收、记录录和处理理。除此此之外这这些交通通实际应应用对于于信息数数据的完完整性以以及安全全性均要要求较高高。其中中完整性性的要求求要使得得信息数数据做到到无丢失失并且实实时接收收用户的的信息数数据传输输需求，同同时还要要做好并并将信息息数据的的存储和和备份。对对于安全全性的要要求要使使得数据据的实时时传输通通道始终终保持在在授权的的情况下下运行，不不能够在在无授权权的情况况下被访访问和监监听进而而盗取和和破坏数数据。与与信息数数据迁移移性问题题一样，信信息数据据的实时时性接受受也会受受到带宽宽的制约约，一般般实时数数据的接接受功能能需要在在至少独独享100 Mbbps带带宽上运运行，同同时在信信息数据据需要人人机互动动时还存存在着IIO设设备接口口的瓶颈颈。3.4海海量数据据计算由于大数数据的计计算和处处理特性性，对于于传统的的数据分分析、挖挖掘、处处理方式式已经无无法满足足大数据据的要求求。这样样计算和和处理大大数据就就需要打打破传统统思维模模式，进进而利用用密集型型计算和和新型计计算的模模式，该该模式需需要有数数据计算算效率的的评估方方法加上上数据计计算复杂杂性的研研究基础础理论作作为技术术支撑，而而这些数数据计算算均要针针对交通通行业的的特性以以及现阶阶段存的的问题组组建成相相应的数数学模型型才能够够解决实实际问题题。因此此大数据据时代，数数据量不不仅庞大大，更重重要的是是大部分分数据长长时期按按照分布布式的形形式存在在，使得得数据很很难得到到集中处处理，这这样便会会给移动动数据带带来巨大大的消耗耗。所以以大数据据时代的的数据计计算需要要将自顶顶向下的的中心化化模式转转换为以以自底向向上的以以数据为为核心的的计算模模式。3.5城城市交通通的大数数据环境境带来的的挑战城市交通通的大数数据环境境带来以以下变化化：数量量大但信信息密度度相对较较低，且且有一定定程度的的不确定定性；单单一数据据源只能能从某角角度描述述研究对对象，但但不能给给出完整整的描述述图像；不同的的数据源源具有不不同的参参照系，并并且服从从不同的的误差分分布；更更加需要要关注数数据关联联分析，以以求发现现新的知知识和规规律。为为此以上上海为例例城市扩扩展对交交通带来来新的挑挑战如下下上海海社会经经济发展展趋势及及对交通通的影响响研究220300年GDDP总量量达67719亿亿元，为为20110年的的4倍；20220年岗岗位总规规模达到到14330-114500万，较较现状增增26%；常住住人口：20220年228000万，220300年超过过30000万；流动人人口从现现状的2224万万人，增增长到220200年的2250万万人。中中心城规规模仍在在扩大：十一五五期间中中心城建建筑量年年均增加加20000万平平方米，建建筑开发发量接近近4.55亿平方方方米，据据规划院院分析，220200年中心心城建筑筑量将达达到6.5亿平平方米。常常住人口口呈现向向中心区区以外蔓蔓延扩展展的态势势，20009年年起，22批388个大型型居住社社区发展展规划，用用地700平方公公里，估估计可容容纳3000万人人。图三：上上海第三三产业从从业人口口比例逐逐步增加加趋势图图表一：上上海城市市发展变变化趋势势表（表一：上海城城市发展展变化趋趋势，其其中情景景一为当当前模式式，核心心集聚中心心城整体体处于饱饱和状态态，进出出中心城城的潮汐汐特征突突出。情情景二为为多核发发展中心城城路网整整体处于于可接受受的服务务水平，郊郊区交通通量比重重明显增增加。）从以上分分析我们们不难得得出以上上海为例例城市发发展的变变化将带带来以下下挑战：1）、如如何适应应融入入城市群群发展的的上海，自自身结构构扩展调调整的上上海，产产业结构构转型的的上海，提提升国际际航运中中心能级级的上海海；2）、如如何引导导城市市交通模模式的可可持续发发展，城城市交通通的理性性消费，现现代交通通意识的的建立；3）、如如何应对对城市市空间资资源的紧紧缺，城城市环境境容量的的制约，交交通建设设资金的的紧缺，交交通安全全形势的的严峻。因因此我们们必须要要使智能能交通需需求与大大数据的的融合并并且构建建智能交交通海量量数据的的平台。4智能交交通需求求与大数数据的融融合4.1智智能交通通需求所谓智能能交通其其整体框框架主要要应该包包括物理理感知层层面、数数字软件件应用平平台、数数字分析析预测以以及优化化应用管管理系统统，在这这其中物物理感知知层面主主要包括括对交通通状况、交交通环境境以及交交通数据据的物理理感知采采集；而而数字软软件应用用平台包包括对各各个感知知系统终终端的信信息数据据进行整整合并通通过载体体进行转转换处理理进而支支撑和分分析各项项应用系系统的建建设；对对于分析析预测以以及优化化应用管管理系统统主要包包括交通通规划、交交通疏导导、交通通监控、智智能指挥挥、智能能停车、智智能管理理等应用用系统。对对于智能能交通的的系统应应用其可可以利用用视频监监控系统统配合智智能识别别系统以以及信息息技术手手段的融融合，使使得其管管理空间间、时间间和范围围得到不不断加大大，使得得其管理理手段在在广度、深深度以及及精细度度上均得得到提高高。对于于现代智智能交通通系统整整个应用用平台而而言，其其平台的的构成主主要是由由视频监监控系统统、信号号控制系系统、电电子报警警识别系系统、智智能卡口口系统、信信息采集集和传输输系统以以及信号号和信息息处理发发布系统统等基本本单元组组成，这这些结构构单元组组成的系系统平台台主要实实现的目目的和目目标应包包含以下下四个方方面：11）、该该系统平平台致力力于提高高交通通通行能力力，2）、该该系统平平台的重重要目标标之一是是为了减减少和降降低交通通事故危危险，33）、该该系统的的核心手手段是打打击道路路违章违违法事件件，4）、该该系统平平台要经经过不断断的优化化和提升升。为此此现代智智能交通通的功能能需要就就使得大大数据技技术与其其必须进进行融合合。4.2相相互融合合在智能交交通信息息数据需需求的的的基础上上，现代代智能交交通与大大数据技技术的相相互融合合具备以以下基本本条件：1）、成成熟度的的融合，无无论是现现代智能能交通还还是大数数据技术术其在现现代技术术应用领领域已经经愈发成成熟，在在当今现现代化城城市社会会无论是是智能卡卡口还是是电子警警察再到到智能视视频监控控系统其其都已经经对视频频和影像像数据处处理技术术进行了了语意化化的应用用，并且且已经成成熟应用用，而且且完整度度和深度度正在逐逐步加深深。为此此对于大大数据时时代智能能交通极极为可能能成为在在大数据据新兴技技术领域域应用中中最先推推广和成成熟应用用的领域域。2）、技技术融合合，就目目前大数数据技术术以及基基础云计计算技术术的发展展，其技技术的应应用构架架与智能能交通的的系统平平台构架架融合度度较高，而而对于大大数据技技术在智智能交通通领域率率先的融融合和应应用，因因其能够够带来巨巨大的社社会效应应，因此此其必将将引领该该项技术术在整个个智能城城市的建建设中带带领各子子模块快快速发展展。3）、群群众基础础，对于于智能交交通而言言其面向向的服务务群体依依然是广广大群众众，从智智能交通通面向的的使用者者角度来来看，智智能化交交通可以以影响到到各类群群体出行行的信息息服务。智智能交通通的全面面应用不不仅能够够使得广广大群众众生活更更加方便便，同时时也降低低了城市市运营成成本，特特别是能能够让广广大群众众更加秩秩序化使使得公安安、交警警的执法法执勤频频率降低低。因其其智能交交通的发发展有一一个极强强的群众众基础作作为支撑撑。因此此这样一一来，智智能交通通的信息息数据的的采集、存存储与计计算就会会与广大大群众个个体相结结合，使使得对数数据的采采集、计计算、甄甄别和处处理上均均需要大大数据技技术作为为支撑。 5智能交交通海量量数据的的平台搭搭建5.1针针对战略略调控的的数据密密集型分分析的技技术路径径从本质上上来说，大大数据环环境下交交通分析析技术的的完成是是一种将将数据组组织成为为信息，从从信息提提炼特征征，从特特征变化化中发现现规律，就就对策进进行追踪踪评估的的信息处处理过程程。而模模型所处处理的问问题领域域可以划划分为系系统状态态分析和和交通行行为分析析两个基基本板块块。图四：战战略调控控的技术术应用架架构5.2系系统架构构针对现代代智能交交通的海海量数据据特点，结结合与其其融合的的大数据据典型平平台架构构，搭建建一种智智能交通通海量数数据平台台其基本本架构应应包含以以下三个个部分，即即数据采采集层、数数据架构构层以及及数据服服务层。其其中数据据采集层层采集的的数据就就是智能能交通系系统的所所有所需需处理信信息数据据，采集集后得到到的数据据通过数数据传输输到交通通云平台台，交通通云平台台会根据据不同的的应用需需求进行行分类存存储到相相应的内内存数据据库中，此此后便按按照处理理的不同同需求选选用不同同的数据据架构层层进行处处理，最最终实现现数据服服务层对对其提供供实时快快速高效效的服务务。图五：智智能交通通海量数数据共享享分析平平台5.3迁迁移数据据方案由于现有有智能交交通数据据一般均均存储在在关系型型数据库库当中，我我们为了了能够让让数据统统计分析析更为精精准，所所以必须须要让历历史数据据迁移到到大数据据平台当当中，而而Haddoopp大数据据平台则则是首选选。经过过多次反反复测试试，其中中以开放放oraaclee数据库库数据浏浏览端口口为最佳佳方案，因因为其可可以使用用开源数数据转移移工具SSqooop直接接将数据据导入HHDFSS当中去去，但其其传输速速度却要要受限于于网络带带宽的限限制。此此方案在在实际的的测试过过程当中中，有着着较高的的安全性性，试验验中始终终保持着着0次传传输间断断和O数据传传输丢失失。112SSqooop是一一个能够够将Haadooop与关关系型数数据库中中的数据据实现相相互转移移的工具具，其不不仅可以以将一个个关系型型数据库库中的数数据导入入Haddoopp的HDDFS中中去，其其还可以以将HDDFS中中的数据据导入到到关系型型数据库库当中去去 。图六：HHadooop与与关系型型数据库库的相互互转移5.4存存储数据据方案对于任何何信息数数据计算算系统数数据的存存储与数数据计算算是不可可分割的的，因此此在系统统的架构构之初其其就包含含海量数数据存储储功能以以及海量量数据计计算功能能。为了了保证该该项功能能的实现现，这就就要求通通信客户户端可以以在接收收数据源源层中所所采集的的数据这这一过程程当中保保证无丢丢失，并并且能够够无丢失失的发送送到云平平台当中中去。就就在这一一过程当当中，系系统的存存储功能能就需要要保持所所有数据据无丢失失并且持持久性储储存。一一般情况况下系统统平台接接收到需需要上传传文件的的请求信信号之后后，这样样在云平平台上的的Haddoopp集群将将会按照照预定启启动一项项Jobb任务进进而将需需要上传传的数据据文件块块上传到到HDFFS当中中的HBBasee当中进进行持久久性的储储存，进进而实现现存储功功能。HHbasse是一一个高可可靠性、高高性能、面面向列、可可伸缩的的分布式式存储系系统，并并且利用用HBaase技技术可在在廉价PPC SServver上上搭建起起大规模模结构化存储集群群。为了了保证储储存不丢丢失，一一旦遇到到多项任任务上传传时，这这样拥有有整个集集群的作作业控制制和资源源管理的的功能的的JobbTraackeer就会会对任务务进行调调配并在在架构层层中提前前配置多多种工具具进而实实现多种种数据的的快速分分析、甄甄别和处处理。于于此同时时，存储储模块也也会相应应的启动动Jobb任务对对数据进进行处理理和分析析。从而而实现了了海量数数据存储储功能和和计算功功能。图七：数数据存储储过程5.5数数据仓库库系统在构建智智能交通通大数据据系统平平台少不不了数据据仓库系系统。近近些年来来，数据据仓库系系统已经经成为数数据管理理研究领领域的热热点，而而其中的的主要因因为数据据仓库系系统在当当前所面面临在数数据源的的需求以以及所处处的硬件件环境加加上需提提供的数数据服务务等都发发生了诸诸多本质质性的变变化，这这些本质质性的变变化就必必须让我我们重新新改进和和利用数数据仓库库系统。而而对于智智能交通通海量大大数据，其其应该在在现有数数据仓库库系统的的基础上上完成对对方案的的重新审审视，并并需要具具备以下下几个重重要的特特性：11）、高高度的可可扩展性性：面对对现代交交通的发发展其数数据呈现现几何增增长的趋趋势，数数据库已已经不能能仅依靠靠l台或或几台机机器进行行纵向扩扩展（ scaale up）的的升级来来满足爆爆炸式的的数据量量增长。我我们必须须要能够够在横向向可扩展展(sccalee ouut)等等方面方方便地实实现高度度的可扩扩展性目目标；22）、高高度容错错性：对对于现代代智能交交通大数数据系统统其数据据来源较较为复杂杂，应当当具备高高度的容容错性，其其容错性性的要求求要在系系统的查查询执行行过程中中一旦发发生某个个节点失失效的情情况时，不不需要重重新进行行整个查查询并满满足于现现代智能能交通数数据的实实时交通通信息查查询。为为此要在在大规模模机群环环境下，重重点考虑虑利用软软件完成成容错而而不是依依赖系统统硬件来来完成；3）、支支持异构构环境，在在以上基基础之上上由于计计算机硬硬件更新新较快，建建设大规规模机群群同构系系统难度度较大，并并且一次次性购置置大量同同构计算算机也是是不合理理的。为为此，解解决这一一问题异异构环境境便可以以有效对对一些闲闲置计算算基资源源进行利利用，进进而降低低系统硬硬件的投投入成本本。5.6处处理数据据方案系统的数数据处理理是大数数据系统统平台在在现代智智能交通通领域内内的核心心模块，一一般系统统的数据据处理要要实时与与统计应应用相互互分离，进进而适用用不同应应用的需需求。该该模块运运用大规规模并行行计算以以及增量量式计算算方法保保证了能能够全面面性、准准确性和和实时性性处理系系统数据据。在这这一过程程当中所所应用的的关键技技术包括括：1）轨迹迹数据快快速检索索技术：该技术术是以二二进制文文件取代代原始数数据的转转存，设设计Keey-VValuue储存存作为记记录。其其能够利利用Keey进行行快速检检索Vaaluee的特性性，并再再将数据据子集存存储在VValuue之中中。此外外还可以以用HDDFS分分布式文文件系统统以及MMapRReduuce分分布式计计算编程程取代过过去的关关系数据据库查找找进而实实现快速速统计功功能。该该项技术术的数据据压缩比比可以达达到400，运运算速度度可以提提升500倍以上上，因此此可实现现对固化化后的数数据实现现快速检检索与统统计分析析功能。2）分布布式轨迹迹聚类技技术：该该技术是是利用MMapRReduuce分分布式计计算架构构对分布布式轨迹迹进行一一定的规规则化处处理，从从而实现现KMMeanns聚类类算法。一一般其都都会指定定起始点点位置，然然后对常常跑路径径聚类分分析进而而快速探探测异常常值实现现对分布布式轨迹迹进行一一定的规规则化处处理。该该项技术术一般提提供对常常规路线线或指定定路线的的快速提提取以及及处理异异常分析析的比照照等。3）分布布式停车车点聚类类技术：该技术术是一种种在Maahouut与HHadooop分分布式机机器学习习库平台台的一项项协作功功能，其其主要是是分布式式实现MMaprreduuce的的可迭代代式数据据。以此此来快速速检索和和统计分分析所需需轨迹停停车点后后的数据据提取，在在利用MMahoout中中的Cllustteriing（聚聚类）数数据中的的挖掘模模块实现现多维空空间下的的快速聚聚类分析析功能。4）地图图匹配技技术：该该技术是是一项通通过对传传感器功功能带来来的观测测数据进进行分析析进而确确定传感感器载体体的地理理空间位位置。在在智能交交通领域域当中一一般的传传感器指指的均是是GPSS接收器器，这是是因为GGPS接接收器能能够提供供经纬度度坐标等等地理信信息，并并且其已已经在诸诸多领域域得到应应用。大大部分车车载GPPS