物联网应用技术导论第4章物联网服务与管理技术.ppt

物联网应用技术导论 第4章 物联网服务与管理技术物联网应用技术导论第4章物联网服务与管理技术 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望物联网应用技术导论 第4章 物联网服务与管理技术第4章 物联网服务与管理技术4.1 4.1 物物联联网服网服务务与管理技与管理技术术概述概述 4.2 4.2 物物联联网云网云计计算技算技术术 4.2.1 云计算基本概念 4.2.2 物联网与云计算4.3 4.3 物物联联网中网中间间件技件技术术 4.3.1 中间件技术 4.3.2 物联网中间件 4.3.3 RFID中间件技术 4.4 4.4 物物联联网智能信息网智能信息处处理技理技术术 4.4.1 数据库与数据库存储技术 4.4.2 数据融合与数据挖掘 4.4.3 物联网的其他智能化技术4.5 4.5 物物联联网信息安全与网信息安全与隐隐私保私保护护 4.5.1 物联网安全的特点 4.5.2 物联网各层的安全问题4.6 4.6 本章小结本章小结物联网应用技术导论 第4章 物联网服务与管理技术4.1 物联网服务与管理概述物联网的服务与管理主要解决数据的管理与运用问题，包括数据的流动管理（如中间件技术）、数据如何存储（数据库与海量存储技术）、如何检索数据（搜索引擎）、如何使用数据（数据挖掘与机器学习等）、如何保护数据（数据安全与隐私保护等）等等。物联网产业是软硬结合的产业，涵盖数据的产生、收集、托管、发现、分析和交易整个生命周期的数据处理和分析，以及由此产生的信息智能是驱动未来信息世界和物理世界的基本燃料。本节主要介绍物联网的信息处理与服务管理技术中的如云计算技术、中间件技术、数据库与存储技术、数据融合与数据挖掘、智能信息处理技术、信息安全与隐私保护技术等。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.1 云计算基本概念1、云计算的定义、云计算的定义云计算（CloudComputing）是一种基于互联网的商业计算模式，将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。云计算是网格计算（Grid Computing）、（分布式计算）（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算和网络技术发展融合的产物。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.1 云计算基本概念2、云计算的特点、云计算的特点（1）超大规模。“云”具有相当的规模，Google云计算已经拥有100多万台服务器，（2）虚拟化。云计算支持用户在任意位置、使用各种终端获取服务。（3）高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。（4）通用性。云计算不针对特定的应用，同一片“云”可以同时支撑不同的应用运行。（5）高可扩展性。“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。（6）按需服务。“云”是一个庞大的资源池，用户按需购买，像自来水、电和煤气那样计费。（7）极其廉价。“云”的特殊容错措施使得可以采用极其廉价的节点来构成云；“云”的自动化管理使数据中心管理成本大幅降低。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.1 云计算基本概念3、云计算的基本服务类型、云计算的基本服务类型云计算的服务类型大致可以分为：基础设施即服务IaaS、平台即服务PaaS和软件即服务SaaS三类。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.1 云计算基本概念基础设施即服务IaaS：将硬件设备等基础资源封装成服务供用户使用。在IaaS环境中，用户相当于在使用裸机和磁盘，既可以让它运行Windows，也可以让它运行Linux，因而几乎可以做任何想做的事情，但用户必须考虑如何才能让多台机器协同工作起来。IaaS最大的优势在于它允许用户动态申请或释放节点，按使用量计费。运行IaaS的服务器规模可以达到几十万台之多，用户因而可以认为能够申请的资源几乎是无限的。同时IaaS可以认为是由公众共享的，因而具有更高的资源使用效率。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.1 云计算基本概念平台即服务PaaS：对资源的抽象层次更进一步，提供用户应用程序的运行环境。PaaS自身负责资源的动态扩展和容错管理，用户应用程序不必过多考虑节点间的配合问题。用户的自主权降低，并且必须使用特定的编程环境并遵照特定的编程模型。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.1 云计算基本概念软件即服务SaaS：它将某些特定应用软件功能封装成服务，如Salesforce公司提供的在线客户关系管理CRM（ClientRelationshipManagement）服务。SaaS既不像PaaS一样提供计算或存储资源类型的服务，也不像IaaS一样提供运行用户自定义应用程序的环境，它只提供某些专门用途的服务供应用调用。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.2 物联网与云计算 物联网被认为是人类社会对物理世界实现“感、知、控”的一种手段，因此各类信息感应、探测、识别、定位、跟踪和监控看做是物联网的“前端”，而基于互联网对物理世界的智能化管理和控制是认为是物联网的“后端”。物联网应用带来了海量大数据，这些数据具有实时感应、高度并发、自主协同和涌现效应等特征，迫切需要云计算提供数据处理并提供应用服务。虽然云计算不是单纯为物联网的应用服务，但随着物联网应用的大规模推广，大量的智能物体会连接到互联网上，给云计算带来很好的发展机遇。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.2 物联网与云计算 1、IaaS模式在物联网中的应用横向通用支撑平台和纵向特定的物联网应用平台，在IaaS技术虚拟化的基础上可实现物理资源的共享和业务处理能力的动态扩展。IaaS技术在对主机、存储和网络资源的集成与抽象的基础上，具有可扩展性和统计复用能力，允许用户按需使用。除网络资源外，其他资源均可通过虚拟化提供成熟的技术实现，为解决物联网应用的海量终端接入和数据处理提供有效途径。同时，IaaS对各类内部异构的物理资源环境提供统一的服务界面，为资源定制、出让和高效利用提供统一界面，也有利于实现物联网应用的软系统与硬系统之间某种程度的松耦合关系。目前国内建设的一些和物联网相关的云计算中心、云计算平台，主要是IaaS模式在物联网领域的应用。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.2 物联网与云计算 2、SaaS模式在物联网中的应用通过SaaS模式为物联网应用提供的服务可以被多个客户共享使用。SaaS应用在感知延伸层进行了拓展，依赖感知延伸层的各种信息采集设备采集大量数据，并以这些数据为基础进行关联分析和处理，向最终用户提供最终的业务功能和服务。比如传感网服务提供商可以在不同地域布放传感器节点，提供各个地域的气象环境基础信息。其他提供综合服务的公司可以将多个这样提供的信息聚合起来，开放给公众，为公众提供出行指南。同时，这些信息也被送到政府的监控中心，一旦有突发的气象事件，政府的公共服务机构就可以迅速展开行动。物联网应用技术导论 第4章 物联网服务与管理技术4.2 物联网云技术技术4.2.2 物联网与云计算 3、PaaS模式在物联网中的应用Gartner把PaaS分成两类，APaaS和IPaaS。APaaS主要为应用提供运行环境和数据存储；IPaaS主要用于集成和构建复合应用。人们常说的PaaS平台大都指APaaS，如F和GoogleAppEngine。在物联网范畴内，由于构建者本身价值取向和实现目标的不同，PaaS模式的具体应用存在不同的应用模式和应用方向。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.1 中间件技术中间件（Middleware）：是一种可以批量生产、高度可复用的软件。在网络环境下，它位于平台(硬件和操作系统)和应用软件之间，起连接作用。它通过提供标准的程序接口、协议等，屏蔽实现细节，提高应用系统的易移植性，主要解决异构网络下分布式软件的互联和互操作问题。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.1 中间件技术中间件一般具有如下特点：中间件一般具有如下特点：（1）具有标准的协议和接口，可实现不同硬件和操作系统平台上的数据共享和应用互操作问题。（2）支持分布式计算，提供跨网络、硬件和操作系统的透明性应用或服务的交互功能。（3）能满足大量应用的需求。（4）能运行于多种硬件和操作系统平台上。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.1 中间件技术中间件的分类：中间件的分类：中间件所包括的范围十分广泛，在不同的角度或不同的层次上，对中间件的分类也会有所不同。由于中间件需要屏蔽分布环境中异构的操作系统和网络协议，从各种不同平台的角度可以将中间件分为：（1）数据访问中间件（2）远程过程调用中间件（3）面向消息中间件（4）基于对象请求代理中间件（5）事务处理中间件（6）工作流中间件等。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.2 物联网中间件物联网的中间件是中间件技术在物联网中的应用，可以涉及到物联网的各个层面，一般处于物联网集成服务器、感知层和传输层的嵌入式设备中。下图是一种物联网中间件示意图，它位于物联网感知层和应用层之间，主要屏蔽感知层硬件及网络平台的差异，实现互操作和信息的预处理，支持物联网应用开发、运行时数据共享和开放互联互通，保障物联网相关系统的可靠部署与管理等任务。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.2 物联网中间件物联网中间件的必要性：1、屏蔽异构性：物联网的各种传感器、RFID标签、二维码、摄像头等不同的信息采集设备及网关拥有不同的硬件结构、驱动程序和操作系统等。此外，这些设备采集的数据格式也不相同，需要对这些不同的数据格式进行转化统一，以方便应用系统的处理。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.2 物联网中间件物联网中间件的必要性：2、实现互操作：在物联网应用中，一个采集设备采集的信息往往供多个应用系统使用。另外，不同的系统之间也需要数据互通与共享。物联网本身涉及技术种类繁多，为解决各种异构性，使不同应用系统的处理结果不依赖于各自的计算环境，使不同系统能够根据应用需要有效地相互集成，需要使用中间件作为一种通用的交互平台。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.2 物联网中间件物联网中间件的必要性：3、数据预处理：物联网感知层往往要采集海量的信息，这些原始信息本身也有一定错误率，如果直接将这些信息传输给应用系统，不仅仅会导致应用系统处理困难而濒临崩溃边缘，还有可能得到错误结果，因此需要中间件对原始数据进行各种过滤、融合、纠错等处理，然后再传送给应用系统。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.2 物联网中间件物联网中间件是快速构建大规模物联网应用的架构支撑与工具手段，有利于物联网应用的规范化和标准化，可大幅降低物联网应用建设成本。利用感知事件高效处理技术、海量数据挖掘与综合智能分析技术等核心技术的中间件，能够提高物联网应用的效益。发展物联网应用中间件有利于支撑大规模物联网应用，加快物联网应用的发展。物联网中间件有很多种类，主要有RFID中间件、嵌入式中间件、通用中间件和M2M物联网中间件等。下面主要介绍RFID中间件。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术RFID中间件位于RFID硬件设备与RFID应用系统之间，可以实现数据传输、数据过滤、数据格式转换等功能的一种中间程序软件。RFID中间件将RFID读写器读取的各种数据信息，经过中间件提取、解密、过滤、格式转换后导入企业的管理信息系统，并通过应用系统反应在程序界面上，供操作者浏览、选择、修改、查询等操作。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术RFID中间件的特点中间件的特点：1、独立性。RFID中间件位于RFID读写器与后端应用程序之间，不依赖于具体的RFID系统和应用系统。2、数据流。RFID中间件可以将实体的对象格式转换为信息环境下的虚拟对象，因此可以完成数据的采集、过滤、整合与传递等任务，使正确的对象信息传到用户使用的应用系统。3、处理流。RFID中间件能够提供顺序的信息流，能够设计和管理数据流，包括维护数据的传输路径、数据路由和数据分发规则。还可以在数据传输中对数据的安全性进行管理，保证数据的安全传输。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术以全球电子产品编码EPC为例，介绍EPC系统的中间件。EPC体系主要由EPC电子产品编码、射频识别系统（RFID标签和读写器）和信息网络系统三个部分组成。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术射频识别系统包括射频标签和读写器。当EPC标签贴在物品上或内嵌在物品中时，该物品与标签中的电子产品代码就建立起了一对一的映射关系，通过读写器可以对EPC标签内的信息进行读写，并将读取到的信息传递给EPC中间件系统，经处理后存储在本地或远程数据库中。用户可以在任何地方，通过终端或浏览器查询到物品的状况。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术EPCSavant系统中间件：是连接RFID读写器和信息网络系统的通用平台和接口，主要实现RFID读写器与后端应用系统之间的信息交互。EPCSavant系统中间件用于捕获实时信息和事件，并将信息和事件向上传递给后端应用系统或向下传递给RFID读写器。EPCSavant采用分布式的结构，以层次化进行组织、管理数据流，主要具有数据过滤、数据聚合和信息传递功能。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术1、数据过滤Savant接收来自读写器的海量EPC数据，这些数据里存在大量冗余信息和错读的信息。比如一台读写器对同一个货物进行重复上报，或者多台位置临近的读写器对同一货物进行上报等。Savant采用各种过滤器解决这个问题，比如产品过滤器、时间过滤器、EPC码过滤器和平滑过滤器等。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术2、数据聚合数据聚合可以解决临时错误读取的问题而实现数据平滑。采用诸如复杂事件处理技术（ComplexEventProcessing）对RFID数据进行处理，可以通过读写器接收的原始简单零散的单一信息，转换为更有意义的复杂事件，比如通过通过一个标签的首次出现和随后的消失，可以判断标签的进入事件和离开事件。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术3、信息传递Savant中间件将经过数据过滤和聚合处理后的数据通过消息传递的方式传递给那些需要它们的应用程序、EPC信息服务系统或者其它中间件。这些消息可以以异步的方式传递，即传递者不必等待回应。物联网应用技术导论 第4章 物联网服务与管理技术4.3 物联网中间件4.3.3 RFID中间件技术Savant还能完成诸如解释数据、保证安全性、数据广播、错误恢复、定位网络资源等服务。利用J2EE平台中Java的消息服务JMS可以实现这种消息传递。JMS采用发布/订阅模式，对于消息感兴趣的应用程序可以订阅该主题信息。消息采用物理标记语言PML格式，这样即使增加读写器种类或者更改RFID标签数据库软件，应用端不需要任何修改就能对数据进行处理，降低了多对多连接的维护复杂性。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术智能信息处理指信息的储存、检索、智能化分析利用，比如利用人工智能、专家系统对感知的信息作出决策和处理等。物联网的智能信息处理主要针对感知的数据，而物联网的数据具有独特的特点：1、异构性在物联网中，不仅不同的感知对象有不同类型的表征数据，即使是同一个感知对象也会有各种不同格式的表征数据。比如在物联网中为了实现对一栋写字楼的智能感知，需要处理各种不同类型的数据，如探测器传来的各种高维观测数据，专业管理机构提供的关系数据库中的关系记录，互联网上提供的相关超文本链接标记语言(HTML)、可扩展标记语言(XML)、文本数据等。为了实现完整准确的感知，必须综合利用不同类型的数据获得全面准确信息。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术2、海量性物联网是网络和数据的海洋。在物联网中海量对象连接在一起，每个对象每时每刻都在变化，表达其特征的数据也会不断地积累。如何有效地改进已有的技术和方法，或者提出新的技术和方法，从而高效地管理和处理这些海量数据，将是从这些原始数据中提取信息并进一步融合、推理和决策的关键。3、不确定性物联网中的数据具有明显的不确定性特征，主要包括数据本身的不确定性、语义匹配的不确定性和查询分析的不确定性等。为了获得客观对象的准确信息，需要去粗取精、去伪存真，以便更全面地进行表达和推理。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.1 数据库与数据存储技术在物联网应用中数据库起着记忆（数据存储）和分析（数据挖掘）的作用，因此没有数据库的物联网是不完整的。物联网应用存储在数据库中的数据具有海量性、多态性、关联性和语义性等特点。目前常用数据库技术一般有关系型数据库和非关系型数据库（比如实时数据库和NoSQL数据库）。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.1 数据库与数据存储技术关系数据库关系数据库关系数据库是指采用关系模型来组织数据的数据库。简单地说，关系模型就是二维表格模型，一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。关系型数据库具有如下特点：1、容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其它模型来说更容易理解。2、使用方便：通用的SQL语言使得操作关系型数据库非常方便，程序员和数据管理员可以方便地在逻辑层面操作数据库，而完全不必理解其底层实现。3、易于维护：丰富的完整性（实体完整性、参照完整性和用户定义的完整性）大大降低了数据冗余和数据不一致的概率。目前，关系数据库广泛应用于各个行业，是构建管理信息系统，存储及处理关系数据不可缺少的基础软件。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.1 数据库与数据存储技术实时数据库实时数据库实时数据库（RTDBRealTimeDataBase）是数据库系统发展的一个分支，是实时系统和数据库技术相结合的产物。实时数据库最初是基于先进控制和优化控制而出现的，对数据的实时性要求比较高，因而实时、高效、稳定是实时数据库最关键的指标。目前，实时数据库已广泛应用于电力、石油石化、交通、冶金、军工、环保等行业，是构建工业生产调度监控系统、指挥系统、生产实时历史数据中心的不可缺少的基础软件。物联网的数据采集之后必须要有一个可靠的数据仓库，而实时数据库可以作为支撑海量数据的数据平台。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.1 数据库与数据存储技术实时数据库的一个重要特性是其实时性，包括数据实时性和事务实时性。数据实时性表现在现场IO数据的更新周期短。一般数据的实时性主要受现场设备的制约，特别是对于一些比较老的系统而言，情况更加突出。事务实时性是指数据库对其事务处理的速度。它可以是事件触发方式或定时触发方式。事件触发是该事件一旦发生可以立刻获得调度，这类事件可以得到立即处理，但是消耗系统资源大；而定时触发是在一定时间范围内获得调度权。作为一个完整的实时数据库，从系统的稳定性和实时性考虑，必须能同时提供这两种调度方式。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.1 数据库与数据存储技术关系数据库和实时数据库的选择关系数据库和实时数据库的选择 实时数据库比关系型数据库更能胜任海量并发数据的采集、存储。面对越来越多的数据，关系型数据库的处理响应速度会出现延迟甚至假死，而实时数据库不会出现这样的情况。对于仓储管理、标签管理、身份管理等数据量相对比较小，实时性要求低的应用领域，关系型数据库更加适合。智能电网、水域监测、智能交通、智能医疗等将来面临海量并发，对实时性要求极高的应用领域，实时数据库具有更多的优势。试点型工程阶段时，需要采集点较少，关系型数据库可以替代实时数据库。应用范围越来越广泛，采集点就会相应的增多，实时数据库是最好的选择。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.1 数据库与数据存储技术NoSQL数据库数据库NoSQL也被认为是NotOnlySQL的简写，是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL不使用SQL作为查询语言，而是使用如key-value存储、文档型的、列存储、图型数据库、xml等方式存储数据的模型。目前使用最多的是key-value存储方式。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.1 数据库与数据存储技术与传统的关系型数据库相比，NoSQL数据库的存储数据方式发生了变化：例如，当需要存储发票的数据时，在传统的关系数据模型中，需要设计表的结构，然后使用服务器端语言将其转化为实体对象，再传递到用户端(这就是所谓的ORM对象关系映射)，而在NoSQL中，只需要保存发票数据。NoSQL不需要预先设计表和结构就可存储新的数值。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.1 数据库与数据存储技术NoSQL数据库拥有三“高”特征：（1）Highperformance（满足对数据库高并发读写的需求）（2）HugeStorage（满足对海量数据的高效率存储和访问的需求）（3）HighScalability&HighAvailability（满足对数据库的高可扩展性和高可用性的需求）。NoSQL数据库能够满足物联网应用的大数据的需求，将会随着物联网应用的发展展现新的应用和发展空间。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘 1、数据融合及目标、数据融合及目标 数据融合是一种数据处理技术，指将多种数据或信息进行处理得出高效且符合用户需求的数据的过程。它是利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的一种信息处理技术。数据融合类似人类和其他动物对复杂问题的综合处理，比如在辨别一个事物的时候，通常会综合各种感官信息，包括视觉、触觉、嗅觉和听觉等。单独依赖一个感官获得的信息往往不足以对事物做出准确的判断，而综合各种感官数据，对事物的描述会更准确。数据融合也是一个多级、多层面的数据处理过程，能完成对来自多个信息源的数据的自动检测、关联、估计及组合等的处理，并基于多信息源数据进行综合、分析、判断和决策。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘数据融合一般有数据级融合、特征级融合、决策级融合等层次的融合。（1）数据级融合）数据级融合：直接在采集到的原始数据上进行融合，是最低层次的融合，它直接融合现场数据，失真度小，提供的信息比较全面。（2）特征级融合：）特征级融合：先对来自传感器的原始信息进行特征提取，然后对特征信息进行综合分析和处理，这一级的融合可实现信息压缩，有利于实时处理，属于中间层次的融合。（3）决策级融合：）决策级融合：在高层次上进行，根据一定的准则和决策的可信度做最优决策，以达到良好的实时性和容错性。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘2、数据挖掘概念、过程和任务（1）基本概念）基本概念数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取潜在的、事先未知的、有用的、能被人理解的有用的信息和知识的数据处理过程。与数据挖掘相近的同义词有数据融合、数据分析和决策支持等。数据挖掘的数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用。被挖掘的数据可以是结构化的关系数据库中的数据，半结构化的文本、图形和图像数据，或者是分布式的异构数据。数据挖掘是决策支持和过程控制的重要技术支撑手段之一。物联网应用技术导论 第4章 物联网服务与管理技术4.4物联网智能信息处理技术4.4.2数据融合与数据挖掘（2）数据挖掘过程）数据挖掘过程数据挖掘过程一个反复迭代的人机交互和处理过程，主要包括数据预处理、数据挖掘和对数据挖掘结果的评估与表示。数据预处理阶段数据准备：了解领域特点，确定用户需求。数据选取：从原始数据库中选取相关数据或样本。数据预处理：检查数据的完整性及一致性，消除噪声等。数据变换：通过投影或利用其他操作减少数据量。数据挖掘阶段确定挖掘目标：确定要发现的知识类型。选择算法：根据确定的目标选择合适的数据挖掘算法。数据挖掘：运用所选算法，提取相关知识并以一定的方式表示。知识评估与表示阶段模式评估：对在数据挖掘步骤中发现的模式（知识)进行评估。知识表示：使用可视化和知识表示相关技术，呈现所挖掘的知识。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘（3）数据挖掘的主要任务）数据挖掘的主要任务数据挖掘的任务有关联分析、聚类分析、分类、预测、时序模式和偏差分析等，以下分别进行介绍。关联分析(associationanalysis)两个或两个以上变量的取值之间存在某种规律性，称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性，还可引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。聚类分析(clustering)聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘分类(classification)分类是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，用这种描述构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。预测(predication)预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。时序模式(time-seriespattern)时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用己知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。偏差分析(deviation)在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘3、物联网的数据挖掘、物联网的数据挖掘数据挖掘时决策支持和过程控制的重要技术手段，是物联网中重要的一环。针对物联网具有行业应用的特征，对各行各业的、数据格式各不相同的海量数据进行整合、管理、存储，并在整个物联网中提供数据挖掘服务，实现预测、决策，进而反向控制这些传感网络，达到控制物联网中客观事物运动和发展进程的目的。在物联网中进行数据挖掘已经从传统意义上的数据统计分析、潜在模式发现与挖掘，转向成为物联网中不可缺少的工具和环节。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘（1）物联网的计算模式物联网一般有两种基本计算模式，即物计算模式和云计算模式。物计算模式基于嵌入式系统，强调实时控制，对终端设备的性能要求较高，系统的智能主要表现在终端设备上。物计算模式建立在对智能信息结果的利用上，对集中处理能力和系统带宽要求较低。云计算以互联网为基础，目的是实现资源共享和资源整合，其计算资源是动态、可伸缩、虚拟化的。云计算模式通过分布式的构架采集物联网中的数据，系统的智能主要体现在数据挖掘和处理上，需要较强的集中计算能力和高带宽，但终端设备比较简单。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘（2）两种模式的选择物联网数据挖掘的结果主要用于决策控制，挖掘出的模式、规则、特征指标用于预测、决策和控制。在不同的情况下，可以选用不同的计算模式。物计算模式：对于要求实时高效的数据挖掘，物联网任何一个控制端均需要对瞬息万变的环境实时分析、反应和处理，需要物计算模式和利用数据挖掘结果。基于云计算模式：以海量数据挖掘为特征的应用要处理海量的数据，需要进行数据质量控制，如多源、多模态、多媒体、多格式数据的存储与管理保证数据质量。此外，物联网计算设备和数据具有天然分布的特征。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘（3）数据挖掘算法的选择一般而言，数据挖掘算法可以分为分布式数据挖掘算法和并行数据挖掘算法等。分布式数据挖掘算法适合数据垂直划分的算法、重视数据挖掘多任务调度算法。而并行数据挖掘算法适合数据水平划分、基于任务内并行的挖掘算法。云计算技术可以认为是物联网应用的一块基石，能够保证分布式并行数据挖掘，高效实时挖掘，云服务模式是数据挖掘的普适模式，可以保证挖掘技术的共享，降低数据挖掘的应用门槛，满足海量挖掘的要求。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘（4）数据挖掘的应用物联网数据挖掘分析应用通常都可以归纳为预测和寻证分析两大类。预测（Forecasting）：主要用在（完全或部分）了解现状的情况下，推测系统在近期或者中远期的状态。例如：在智能电网中，预测近期扰动的可能性和发生的地点；在智能交通系统中，预测拥阻和事故在特定时间和地点可能发生的概率；在环保体系中，根据不同地点的废物排放，预测将来发生生物化学反应产生污染的可能性。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘寻证分析（ProvenanceAnalysis）：当系统出现问题或者达不到预期效果时，分析它在运行过程中哪个环节出现了问题。例如：（1）在食品安全应用中，一旦发生质量问题，需要在食品供应链中寻找相应证据，明确原因和责任；（2）在环境监控中，当污染物水平超标时，需要在记录中寻找分析原因。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.2 数据融合与数据挖掘数据挖掘在精准农业中的应用示例：通过植入土壤或暴露在空气中的传感器监控土壤性状和环境状况；数据通过物联网传输到远程控制中心，可及时查询当前农作物的生长环境现状和变化趋势，确定农作物的生产目标；通过数据挖掘的方法还可以知道环境温度湿度和土壤各项参数等因素是如何影响农作物产量的，如何调节它们才能够最大限度地提高农作物产量等。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.3 物联网的其它智能化技术针对物联网数据的智能处理，需要研究以下内容：（1）以融合和决策为目的海量数据的实时挖掘基于物联网服务的需求，物联网中的数据挖掘应分为两个方面：辅助常规决策的数据挖掘和辅助数据融合的数据挖掘。（2）以情境感知为目的的不确定性建模和推理针对数据本身的不确定性；针对语义映射的不确定性；针对查询分析的不确定性。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.3 物联网的其它智能化技术1、物联网的智能化技术、物联网的智能化技术物联网的智能化技术是将智能技术的研究成果应用到物联网中，实现物联网的智能化。比如物联网可以结合智能化技术如人工智能等，应用到物联网中。物联网的目标是实现一个智慧化的世界，它不仅仅感知世界，关键在于影响世界，智能化的控制世界。物联网根据具体应用结合人工智能，可以实现智能控制和决策。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.3 物联网的其它智能化技术人工智能一般有两种不同的方式：一种采用传统的编程技术，使系统呈现智能的效果，而不考虑所用方法是否与人或动物机体所用的方法相同，这种方法叫工程学方法（Engineeringapproach）。另一种是模拟法（Modelingapproach），不仅要看效果，还要求实现方法也和人类或生物机体所用的方法相同或相类似。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.3 物联网的其它智能化技术采用工程学方法，需要人工详细规定程序逻辑，在已有的实践中被多次采用。从不同的数据源（就包含物联网的感知信息）收集的数据中提取有用的数据，对数据进行滤除以保证数据的质量，将数据经转换、重构后存入数据仓库或数据集市，然后寻找合适的查询、报告和分析工具和数据挖掘工具对信息进行处理，最后转变为决策。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.3 物联网的其它智能化技术模拟法应用于物联网的一个方向是专家系统：是一种模拟人类专家解决领域问题的计算机程序系统，不但采用基于规则的推理方法，而且采用诸如人工神经网络的方法与技术。根据专家系统处理的问题的类型，把专家系统分为解释型、诊断型、调试型、维修型、教育型、预测型、规划型、设计型和控制型等类型。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.3 物联网的其它智能化技术另外一个方向为模式识别，通过计算机用数学技术方法来研究模式的自动处理和判读，如用计算机实现模式（文字、声音、人物、物体等）的自动识别。计算机识别的显著特点是速度快、准确性和效率高，识别过程与人类的学习过程相似，可使物联网在“识别端”信息处理过程的起点就具有智能性，保证物联网上的每个非人类的智能物体有类似人类的“自觉行为”。物联网应用技术导论 第4章 物联网服务与管理技术4.4 物联网智能信息处理技术4.4.3 物联网的其它智能化技术2、物联网专家系统、物联网专家系统物联网专家系统是指在物联网上的一类具有专门知识和经验的计算机智能程序系统或智能机器设备，通过网络化部署专家系统来实现物联网数据的基本智能处理，对用户提供智能化的专家服务功能。物联网应用技术导论 第4