大数据处理与挖掘在智能交通系统中的应用.docx

《大数据处理与挖掘在智能交通系统中的应用.docx》由会员分享，可在线阅读，更多相关《大数据处理与挖掘在智能交通系统中的应用.docx（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据处理与挖掘在智能交通系统中的应用刘勇良回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方 法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照自变 量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关 系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括 一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分 析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且 自变量之间存在线性相关，那么称为多重线性回归分析。时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段 时间内该事件

2、的特征。时间序列数据具有自然的时间顺序，这与典型的数据挖 掘/机器学习应用程序不同，其中每个数据点是要擘习的概念的独立实现，并且 数据集内的数据点的排序无关紧要。聚类分析是一组用于对对象进行分类的统计方法，这些对象将不同的组分成较 小的相似对象组，其相似性的特征事先是未知的。由于不使用训练数据，这是 一种无监督学习。分类分析是基于包含其类别成员资格的观察（或实例）的训练数据集来识 别新观察所属的一组类别（子群体）中的哪一个的问题。3.2 云计算基础设施和大数据挖掘及处理云计算架构的特点是用户与系统紧密集成，并根据物联网创立虚拟代理。由于 数据与每一个用户紧密相连且数据在云上存储，因此，云计算系

3、统会将数据自 动进行分配。虚拟用户完全接入系统且对每一条数据都有访问权限。 云系统的用户通常具有有限的计算能力，因为其经常使用移动设备连接到云。因此，大数据的处理及挖掘局部在本地执行，局部由其他代理执行，其收集用 户信息并将信息存储在云中。大数据挖掘及处理的主要问题是工作量和通讯费 用。由于数据代理/中心的高连接性，云计算的实施处理了大量此类工作负载。 大数据挖掘与处理技术在云计算基础架构中应用时仍保持分布状态。然而，信 息可用性的问题被信息本钱问题所取代，信息本钱问题将以下因素考虑在内， 如信息位置、提取速度、质量、可靠性等。对云计算系统有大量的类似但不完 全相同的需求用户有很多。为此，应建

4、立不同级别的数据处理以及预先计算的 特征，然后有效地与实际用户数据相结合。在云环境中使用大数据挖掘及处理技术有以下优点：在没有物理集成的情况 下将数据源虚拟集成到系统中；促进基于本钱的选择性大数据挖掘及处理技 术;基于多目标大数据挖掘及处理技术的刺激;支持多阶段大数据挖掘与处 理技术和不同级别的数据处理。3.3 大数据挖掘及处理技术的未来开展趋势：计算统计云计算平台有助于数据收集和为计算统计运作提供必要的资源。计算统计是统 计学与计算机科学之间的接口，其是统计学数学科学特有的计算科学领域，旨 在设计用于计算机实现统计方法的算法，包括在计算机时代之前不可想象的算 法（例如，引导，模拟），以及应对

5、分析上棘手的问题。计算统计假设通过使 用不同组合的可用数据来应用迭代计算而不是便杂的分析模型。由此产生的问 题的解决方案是近似的，然而，在许多实际情况下（大量可用信息，分析系统 的复杂和层次结构及数据的依赖性），其可能会比经典方法提供更稳健和精确 的结果，甚至可以在经典方法不可行的情况下工作。此外，计算统计应用很简 单，不需要复杂的分析或符号程序。在大数据挖掘及处理方法中，广泛应用计算统计方法，如重采样、引导程序和 内核密度，以便在分散式架构中进行回归分析和聚类。4交通运输中的大数据处理及挖掘参考架构在前面章节中，笔者讨论了大数据处理及挖掘在基于云计算的智能交通系统中 的应用。接下来，主要分析

6、基于云计算的智能交通系统架构，并对其主要数据 流进行解释。此外，笔者还还展示了如何使用大数据处理及挖掘技术处理数据 流，并提供足够的信息来满足用户请求。在云中执行的应用程序是数据密集型的。通过云提供的服务需要处理、汇总和 分析大量数据。综上所述，计算是云计算的瓶颈。因此，大数据处理及挖掘的一个非常重要的 挑战是本地数据源（客户端）和云之间数据处理的合理平衡。如果客户端拥有 足够的计算能力，那么可将数据进行本地预处理，并将已处理的数据提供给云 端，以减少云计算压力、节省网络资源。然而，如果客户端的计算能力不允许 进行信息处理，那么原始数据被提供给云端处理。数据流互联如图3所示。接下来，笔者考虑用

7、大数据处理及挖掘的参考架构和智能交通系统中的决策阶 段。在这个架构中，笔者专注于说明数据流及其处理，以及使用结果来优化参 与者策略并满足其要求。图4显示了大数据处理及挖掘的主要架构和智能交通 系统中的决策阶段。 需要注意的是，可以使用来自不同提供商的多种云。一些问题对他们来说可能 是相似的，他们之间的合作是可能的。智能交通系统的使用者（交通参与者， 例如，车辆或行人，商业用户如物流提供商、公共交通工具或出租车，数据提 供者如摄像机或探测器，以及交通管理员如交通管理中心或交通管制元件）， 使用稳定和永久的互联网通讯与云端连接。这创立了一个虚拟用户网络，实际 上其是云中现实的镜像。该虚拟现实包含分

8、布式用户数据（局部存储在用户设 备中，局部存储在由云提供的虚拟存储中，但仍与用户相关联）。需要注意的 是，断开用户与云的连接并不意味着消除其虚拟表示，这仅表示本地存储的数 据在云中不可用。在第一阶段，应对数据进行预处理。原始传感器数据需要非常大的存储空间， 并且不能长时间存储。此数据可以在本地处理或上传到云端并在那里进行预处 理。预处理的结果存储在用户配置文件中，并且可以在此阶段上载到云。第二阶段是组织虚拟云信息存储。云数据挖掘是由代理商进行的，云数据挖掘 代理收集信息，将其局部复制到云存储中，局部地引用用户配置文件（假设其在 云中可用）。这些代理商特别关注信息的本钱，包括其可用性、可靠性和精

9、确 性。基于云的系统拥有大量用户，应该快速响应其请求。由此，创立人工点对点网 络，其面向具体的问题，由云系统解决。例如，可以创立面向最短路径计算、 交通灯调节或乘客过境。在人工网络中解决了两个重要问题：估计其参数和预 先计算用户策略。对点对点网络参数的预估是大数据挖掘及处理过程中的主要阶段。其包括估计 网络参数以获得网络的实际状态。基于虚拟存储器中的信息，执行参数估计, 考虑数据本钱并在必要时从物理存储器接收数据。这些参数可以是网络节点上 的行程时间，交叉口上的队列或公共交通站点之间的行程时间。一个非常重要 的方面是将信息的动态变化考虑在内，这是由数据挖掘客户端提供的。5智能交通系统中的决策支

10、持笔者考虑三种智能交通系统应用场景：第一，合作交叉路口控制，通过调节交 叉路口控制器来优化交通网络中的车辆流量；其次，个人旅行伴侣，为旅行者、 水面驾驶员和运输操作员提供多式联运的动态规划和监控；最后，物流服务伙 伴，为受城市环境影响或依赖于货物运输的客户和利益相关者提供福利。5. 1交叉路口虚拟化控制此方案使用托管在云中的自适应，半分布式流量管理策略来监控交叉路口控制 器，并在车辆集群和流量管理基础架构之间的云中创立点对点网络。其建议驾 驶员使用保持交通流量平稳的最正确速度，并根据实时交通情况协助调整交通信 号灯、标志。该服务使用实时交通信息和路线数据收集服务来制定优化网络运 营策略。第一步

11、，处理数据流（历史和实时）。第二步：创立点对点网络，其是用于解决特定问题的虚拟抽象网络（交叉口和 区域流量模型、绿波模型、公共交通优先级、阻塞防止等）、估算网络参数（流量通量、密度和速度、行程时间估算等）。第三步：制定交叉路口控制的静态策略（如增加流量、天气条件的改变、群体 活动等）。 第四步：将动态实时信息与静态策略相结合，以便做出最新的控制决策（根据 当前条件校正信号周期，协调信号控制器以解决诸如堵塞、事故等）。5.2 动态多模式行程规划此方案可帮助旅行者实时规划和调整多模式、门到门的行程。其通过识别最正确 运输工具和强大的实时定位，为日常通勤者和其他旅行者提供改进的（即更 快、更舒适、更

12、廉价和更环保）的移动性。这种多模式旅程的规划考虑了当前 的交通方式、旅行者的背景和偏好、城市交通规那么及当前的要求和约束。旅程 计划需要获得旅行持续时间的总体指示及适应资源的早期预订（火车或机 票）。第一步：处理数据流（历史和动态）。第二步：创立点对点网络（中转站、公共交通协调、乘客运输选择等）和网络 参数评估（不同运输方式的旅行时间取决于各种因素，如等待时间、乘客到达 站点、价格模型等）。第三步：基于历史数据和预期条件的多模式路线预先规划（热门路线的预先规 划、预订路线的预先规划、预期事件的预先规划）第四步：实际多模式旅程的预先计划路线的动态更新（实际旅行时间估计，在 多模式链中先前行程延迟

13、的情况下重新计划，重新规划其他旅行可能性或取消 多模式旅程的一局部），以及公共交通时间表的动态更新（按需变更，不同交 通方式的协调）。5.3 行程预订和实时优化路线导航 这种情况有助于物流提供商基于最新信息以低本钱保证快速（特别是按时）交 付，实现每个车辆和车队效率最大化。优化物流车辆的运动，防止交通堵塞， 并尽可能采用最短路线。第一步：处理数据流（历史和动态）。第二步：创立点对点网络（交付模型，物流提供商-客户交互模型等），根据网 络参数估计（不同路段的行程时间、延迟概率，下降过程时间分布、概率）事 故。第三步：预计划（车辆的初步良好分配，每个车辆的客户的初步订单，每个车 辆的初步路线，每个

14、客户的初步时间窗口等）。第四步：根据最新信息动态更新预先计划的路线（根据当前交通状况重新规划 路线，在发生事故或交通拥堵时重新规划，剩余时间的预估等）；物流车辆之间 的合作；与客户的动态协议（关于下车地点的协商取决于车辆和客户的当前位 置）。6未来的工作和结论本文主要对基于云架构和智能交通系统的场景进行分析，并探讨用于实施相应 数据挖掘与处理技术的架构和用于运输操作的决策策略，讨论三种智能交通系 统情景采用适当的数学方法，以反映智能交通系统对企业和社会的需求和潜在 影响。Reference： 1何晓群,刘文卿,应用回归分析M.北京:中国人民大学出版社,2015.2张春阳，周继恩，刘贵全，等.基

15、于数据仓库的决策支持系统的构建j.计算机工程，2002 (4) ： 249-252.3刘智勇.智能交通控制理论及其应用M.北京：科学出版社，2003.一全文完一服务层前后联系一;基于通讯技术的;客制化的服务通讯层乍辆内部；车与车之间；车辆与设施之间设备层fS0传感器T动作执行1智能交通系统中的云架构摘要：当前，互联网及通信技术的广泛应用为智能交通系统提供了大量的实时 数据，亟需对其进行管理、交换、译制、汇聚和分析研判。互联网及通信技术 大大提高了智能交通系统的用户友好度及有效性，提供了可观的经济和社会影 响。在物联网和云技术的大背景下，软件架构的需求和智能交通系统新特性需 要真实的应用场景来推

16、导。本文主要阐述大数据处理与挖掘技术的应用对智能 交通系统所产生的有利影响，并指出智能交通系统下大数据挖掘和处理领域新 的工作方向。Key：智能交通；云计算；数据挖掘；计算统计：U495；TP311. 13 ： A ： 1003-5168 (2019) 04-0138-06Big Data Processing and Mining Techmology which appliedin Modern Intelligent Transportation SystemLIU Yongliang(Henan Traffic and Communication Center, Zhengzhou H

17、enan 450000)Abstract： At present, the wide application of Internet and communication technology provides a large amount of real-time data for ITS, which needs to be managed, exchanged, translated, aggregated, analyzed and judged urgently. Internet and communication technology have greatly improved t

18、he user friendliness and effectiveness of ITS, and provided considerable economic and social impact. Under the background of Internet of Things and cloud technology, the requirement of software architecture and the new features of ITS need real application scenarios to derive. This paper mainly expo

19、unded the beneficial influence of the application of big data processing and mining technology on ITS, and pointed out the new direction of work in the field of big data mining and processing under ITS.Keywords： intelligent transportation system；cloud computing；data mining；computational statistics 1

20、研究背景 近年来，日益增加的交通量和规律性的拥堵要求从基础设施和交通管理方面提 出解决方案。随着交通系统的组件变得更加自主和智能（例如，车辆和基础设 施的新通信能力），对运输管理和环境监测的智能运输系统之间的合作的需求 日益增加，以便改进交通管理策略。此外，智能交通管理系统方面的投资量日 益增加。在新一代的商业管理系统中，交通系统的管理与运输企业的商业战略 紧密结合，使得企业在业务规划、服务质量和适应客户需求等方面的影响力不 段增强。所有智能交通系统的参与者作为数据的来源，会在短时间内产生大量可利用 的、更新频繁的数据。数据的增长主要来自人们对社交媒体及网络的使用，如 车辆和交通系统中新型传感

21、器的使用，云计算和物联网等现代信息和通信技术 的应用等。随着移动设备、航空感应技术（遥感）、照相机、麦克风、射频识 别读取器和无线传感器网络等信息设备被越来越多地用于收集数据，数据集的 规模越来越大。机器生成的和非东吉构化的数据如照片、视频、社交媒体提要等 的比例也在不断增加。在该背景下，智能交通系统中出现了大数据问题。大数 据通常包括数据集，其大小超出了常用软件工具在可容忍的时间内捕获、策 划、管理和处理数据的能力。大数据能提供相关客户及其行为的详细信息，但 应以分散（多代理）方式进行适当分析，同时防止传输大量信息。而云和网格 计算基础架构非常适合存储、管理和处理大数据。从本质上讲，大数据在

22、物理和逻辑上是分散的，但实际上是集中的。所有信息 源/存储都是互连的，原那么上，任何信息都可以由系统的任一组件访问。大数据 量通常在物理层上以分散的方式创立和管理。这会增加访问信息时的信息成 本。 为了在分散的信息处理决策和数据传输决策协调之间寻找有效的平衡点，运用 大数据处理和挖掘技术并提出相应的应用决策是必须的。这就需要采用创新的 大数据处理及挖掘技术，并开发相应的决策算法，以支持智能交通系统应用程 序查找、收集、聚合、处理和分析最正确决策制定所需的信息以及有效的用户行 为策略1。基于高度可扩展的分布式计算资源的云计算技术为大数据处理及挖掘提供了大 容量存储和快速计算的能力。但是，实施交通

23、云并非易事。从用户的观点来 看，数据和算法的复杂性隐藏在云中。用户（交通管理机构、司乘人员）期望 通过移动或嵌入式设备在互联网上使用相对简单的应用程序和界面。这些设备 是连接的，并且（理论上）可以使用其他用户和系统元件提供的所有信息。本文将从以下五个方面进行探讨：第一，分析以云为基础的结构和智能交通系 统的应用场景；第二，考虑用于实施相应数据挖掘与处理技术的架构和用于运输 操作的决策策略；第三，讨论三种情况下合适的算法；第四，对基于计算统计的 分散式协同大数据处理与挖掘方法进行讨论，并在真实的交通数据中对其效率 进行评估；第五，指出并讨论未来在智能交通系统中的大数据挖掘与处理领域的 工作方向。

24、2现状分析需求与应用目前，大数据已成为世界范围内信息与通讯技术领域主要的科研课题。智能交 通系统研究与开展也与大数据处理技术紧密相连，因此智能交通系统也是大数 据挖掘与处理的重要领域之一。从应用方面来看，智能城市物流运营对智能交 通系统来讲是较为重要的，其对城市货物运输有很大的影响。2.1 未来信息和通讯技术在智能交通系统中的应用未来的信息和通讯技术可以满足用户需求，增强智能交通系统并为高性能计算 提供大规模的基础架构，这些基础架构具有“弹性”性质2。无线传输、移动互联网、移动传感器等现代移动和通讯技术为智能交通系统提 供了良好的技术支持。目前，车辆大多都配备了具有强大通信和数据处理能力 的移

25、动设备、传感器等，以期为司乘人员提供环境信息。快捷、高质量的3G或 者4G移动互联网连接时刻提供廉价方便的服务，这意味着大多数交通参与者已 经实现实时的互联互通。而如何利用这些连接为交通参与者提供可靠有效的需 求服务是当前亟待解决的问题。环境智能这个术语是建立在普适计算、泛在计算分析、情境感知及以人为中心 的计算交互设计。在计算机领域，环境智能(Ambient Intelligence, Ami)是 指对一个人有感应和反应的电子环境。2.2 智能交通系统结构云计算是个经常被提及的问题，在智能交通系统中，主要从设备、通信和服务 层的角度考虑云计算。在车辆驾驶员和外部车辆之的交互，同时考虑车辆到车

26、 辆(V2V)和车辆到基础设施(V2I)的交互，以更有效的方式共享和利用外部 资源。智能交通系统中的云架构如图1所示。结构层包括云中可用的所有计算、存储、数据和网络资源。资源可通过资源服 务访问，用于云计算、管理和测试平台。基于云计算的智能交通系统分层结构 如图2所示。统一来源层通过使用虚拟机定义对结构层的原始计算资源的统一访问来提供基 础架构即服务。平台层提供平台即服务，包括在统一资源之上的专用工具、中间件和服务的集 合，以创立部署平台（例如，调度创立服务和人工测试床）。应用程序层包含在云中运行的所有应用程序。云中的应用程序执行是分布式 的：应用程序可以局部在客户端上执行，局部在云中执行3。

27、3智能交通系统中的大数据挖掘和处理技术3.1大数据挖掘和处理方法经典的数据处理和挖掘方法是集中式的。为了应用这些技术，数据必须立即就 地可用。但是，大数据不断更新并收集在物理分布式存储中，并且数据集中化 是不可能的。使用集中式的处理方法，系统无法实时快速地进行情景适配，并且通过网络传 输和存储大数据，在统一位置管理和处理大数据将会非常困难或者不可能实 现。因此，开发一种有效的、考虑数据时间和空间分布的分散式结构大数据挖 掘及处理算法成为急需解决的问题。现今，从技术和本钱的角度来看，分析和处理大数据已经变得可行。很多大数 据框架围绕着商业交易、商业策略分析、识别价值且与结构的或非结构的数据 息息相关。大数据处理和挖掘技术有助于将大数据以压缩（集群）的方式进行 存储，并查找数据行为准那么。接下来简要介绍几种主要的大数据挖掘及处理方 法。