2022年大数据技术在物联网服务平台中的应用 .pdf

《2022年大数据技术在物联网服务平台中的应用 .pdf》由会员分享，可在线阅读，更多相关《2022年大数据技术在物联网服务平台中的应用 .pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、82016 年2月 第 2 期（第29卷 总第221 期）月刊2016 年 第2期电信工程技术与标准化大数据与物联网专题大数据技术在物联网服务平台中的应用段为（中国移动通信集团广东有限公司，广州 510000）摘要 物联网的出现及发展标志着大数据时代已经来临，大数据已渗透到我们生活的各个领域，引领并且改变着我们现有的生活方式。大数据不断地从多样化的物联网传感设备和应用系统中产生，并且将会以更多、更复杂、更多样化的方式持续增长。大数据的复杂化和格式多样化，决定了物联网服务平台中针对大数据的服务场景和类型的多样化，从而要求物联网服务平台必须融合大数据技术来应对。关键词 物联网；大数据； Hadoo

2、p ；Spark中图分类号TN915 文献标识码A 文章编号1008-5599（2016）02-0008-06收稿日期： 2015-10-281 研究背景1.1 物联网催生了大数据随着物联网的蓬勃发展，各种跨行业、领域的感知设备、终端能够快速接入网络并汇聚在一起。物联网世界中大量的传感器将物质世界中形形色色的信息转换成电信号后通过各类网络传送到上层应用系统，可以预见一种趋势已经形成，那就是海量的非结构化数据将急速增长。这些数据量的增长并非是线性的，而是随着越来越多的传感器的研发、制造、投产，数据量会呈现指数性的增长，这种趋势是不可阻挡的。1.2 大数据丰富了物联网应用大数据时代下的物联网, 使

3、得大数据价值得以体现。在物联网技术的应用中, 通过构建智能建筑、数字化医疗、遥感勘测、智能运输、环境监测保护等手段 , 可以通过大数据的收集, 通过云计算技术分析数据 , 把有用的数据挖掘出来形成有用的信息, 从而创造价值。 世界顶级汽车公司 , 正在使用的一项遥感技术 , 有效识别车主身份, 避免豪车的被盗 , 有效记忆识别开车人的驾姿 , 判断驾驶员是否在集中精神开车, 有效避免交通事故的发生。该技术通过对汽车座椅安装一个传感器 , 记忆车主的重量、 正常驾驶的受力点以及相关的关键指标 , 识别车主身份 , 一旦驾驶员跟原有的数据不吻合 , 汽车防盗系统会自动识别出危险, 并且自动通过无线

4、技术把信息反馈到车主, 使得车主可以及时作出相应的处理方式。大数据分析技术的发展和运用 , 使得各类物联网应用更加丰富多彩。2 大数据技术在物联网服务平台应用的必要性2.1 广东移动物联网服务平台的数据特点笔者负责建设的广东移动物联网服务平台是一个基名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 6 页 - - - - - - - - - 9大数据与物联网专题 电信工程技术与标准化2016 年2月 第 2 期（第29卷 总第221 期）月刊2016 年 第2期于 GPRS

5、 企业接 入网络的网元、接口信令数据以及 BOSS中的计费数据等，设计开发出行业客户需要的服务组件，以开放、灵活的 API 接口方式向行业客户提供物联网服务的平台。目前平台每天接入数据量为1TB左右，数据量庞大，接口种类繁多，主要包括如下。（1） 信令监测平台接口 ：通过 FTP 获取专用 APN卡、CMNet通道卡的网络信令数据，包括 2G/3G 卡信令数据 (GN-CDR 、用户行为CDR 及TCP 建链 CDR 等 ) 、4G卡信令数据 (MME_CDR、HTTP_CDR、RTSP_CDR、VOIP_CDR 等 ) 。（2）ESB系统接口 ：通过 FTP 、Webservice方式与接入

6、 ESB的话音网管、数据网管及资源管理系统对接，接入网元的网络性能数据， 包括 2G/3G 网元 (BSC 、SGSN 、GGSN) 、4G网 元 (eNode B、 MME 、 SGW 、 PGW) ，用户在 HLR 中的 APN 配置信息、用户实时的开关机信息以及 2G/3G/4G基站的位置信息。（3）BOSS接口 ：通过 FTP 获取物联网卡的业务订购数据，包括集团信息、产品信息及成员订购信息。（4）BI 系统接口 ：通过 FTP 获取 2G/3G/4G物联卡日流量信息。（5）专网专号接口：通过 WebService 获取专网专号的网络数据以及业务状态数据。 2.2 平台引入大数据技术的

7、必要性平台中数据的复杂性使得加快引入大数据技术已经刻不容缓。针对海量数据的特点，虽然数据资源非常重要，但其中的数据信息很大程度上是冗余的，需要对数据进行清洗压缩 ； 再者，颗粒化、非结构化也是物联网中大数据的特点，尽管这种特性的数据处理起来非常复杂，然而它们对数据的使用者来说至关重要，因此，解析非结构数据也是不可忽视的重要环节。鉴于这些因素， 非常有必要引入大数据技术， 通过统一的架构设计，将非结构化的数据变得结构化，将不同系统之间不同结构的数据尽可能地统一，从而使数据信息发挥更大的价值。2.3 大数据技术的选型物联网服务平台数据处理的流程包括采集，导入预处理，数据清洗与计算( 提取、转换和加

8、载) ，存储和管理数据，数据统计分析，利用数据等阶段。通过FTP接口聚集的信令数据、行业数据等更多的是非结构化文档，需要引入的大数据平台和技术，如分布式文件系统、分布式计算框架、非SQL 数据、流计算技术等，通过这些技术可以加强非结构数据的处理和集聚。技术选型如图 1 所示。3 物联网服务平台大数据处理3.1 总体架构通常认为物联网包含信息感知、传递和处理这3 个基本要素，相应地，物联网架构也包含感知层、网络层和应用层3 个基本层次。感知层利用传感器（网）、RFID 等手段来实现信息采集和标识；网络层利用现有的移动网、互联网或其它专用网，对采集来的信息进行传输和基础处理，并提供公共管理服务；应

9、用层对所感知的信息进行智能处理和决策后，实现各类应用服务。物联网服务平台属于应用层，其内外部数据的集成统一需要两种数据（结构化、非结构化）和两种技术平台（关系型数据库、大数据平台）的巧妙融合，从而向上层应用提供物联网服务，达到可运营、可管理的效果，使各种资源相互配合，实现效能最大化。整体架构设计如图图1 物联网平台大数据技术选型名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 6 页 - - - - - - - - - 102016 年2月 第 2 期（第29卷 总第221

10、 期）月刊2016 年 第2期电信工程技术与标准化大数据与物联网专题2 所示。3.2 数据流组成物联网服务平台数据分析基础框架自数据源从下往上分为数据集成层、文件存储层、编程模型层、数据存储层以及数据分析层 5 层。数据流组成如下。（1）数据采集与导入 ： 。（2）数据清洗与计算 ：实时分析、离线分析。（3） 数 据 分 析 与 统 计 ：列 存 储数 据 分析 3.3 数据技术应用说明（1）采用 Hadoop 分布式文件系统 HDFS 对非结构化数据进行存储。 （2）采用 Hbase/Hive对半结构化数据进行存储。 （3）采用 Oracle/Redis 对结构化数据分析结果进行存储 / 缓

11、存。 （4）采用 Zookeeper 作为分布式协调系统。（5） 采 用 Apache Flume-NG导入 离 线数 据 到Hadoop 分布式文件系统 HDFS 。 （6）采用 Storm/Apache Kafka 进行实时数据处理。 （7）采用 Apache Spark进行离线数据处理。 （8）采用 SparkSQL/HiveOnSpark进行大数据统计分析。4 大数据技术应用场景4.1 数据导入预处理由于采集数据的速度和数据处理的速度不一定同步，故不同方式接入的数据应利用不同的技术导入。对于实时的数据流数据，现有的消息（队列）系统能够很好的导入，但存在未及时处理的数据不会写到磁盘上，需

12、要缓存在内存的问题。Kafka 正是为了解决以上问题而设计，它能够很好地支持在线应用。采集完成后，由集成子系统预处理导入到消息中间件， Kafka 利用可靠高效的消息递送机制帮助分布式系统进行平台数据交换。对于离线处理的文件则由Apache Flume-NG将需要离线分析的文件数据写入Hadoop 的分布式文件系统 (HDFS)。Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。Flume-NG中的 Hdfs Sink的路径名（对应参数hdfs.path，不允许为空）以及文件前缀（对应参数hdfs.file

13、Prefix）支持正则解析，时间戳自动按时间创建目录及文件前缀。采集到Hdfs 中后，能有对应的文件名，方便后续分析。4.2 数据清洗与计算由于数据源是由不同的系统定义，存在于不同的使用环境，来源于这些数据源的数据存在许多不一致的情形，所以在物联网服务平台数据集市构建的过程中，需要对这些不一致或错误的数据进行转换和清洗，以提高数据的质量。数据清洗的过程是从大量原始数据中使用一系列逻辑判断，检查数据是否是符合数据集市的数据，从而选择做进一步保留或过滤的动作。物联网服务平台根据数据的时效性，分两种清洗与计算模型：实时分析与离线分析。图2 物联网平台大数据处理总体架构名师资料总结 - - -精品资料

14、欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 6 页 - - - - - - - - - 11大数据与物联网专题 电信工程技术与标准化2016 年2月 第 2 期（第29卷 总第221 期）月刊2016 年 第2期实时分析主要处理同步频率比较小的数据，比如同步信令系统的网络数据，每5min 同步一个数据文件，需要用流计算框架进行持续处理。Storm 是 Twitter的开源分布式流计算平台。 Storm通过简单的 API 可以可靠地处理无界持续的流数据，进行实时分析、持续计算、ETL 处理等。 Sto

15、rm 集群有两种节点 ：主节点 (Master)和工作节点 (Worker) 。主节点运行一个称之为Nimbus的后台程序， Nimbus 负责在集群范围内分发代码、为Worker 分配任务和监测故障。每个工作者节点运行一个称为 Supervisor 的后台程序，监听分配给它所在机器的工作，基于 Nimbus 分配给它的事情来决定启动或停止工作者进程。 Nimbus和 Supervisor 之间所有的协调工作是通过Zookeeper 集群来进行的。物联网服务平台使用 Storm 实时分析信令文件数据，抽取出用户快照数据存储到 Redis 内存数据库，同时把网络轨迹数据保存到 Hbase 。相应

16、的处理程序会一直执行，直至手动停止。离线分析主要处理批量同步的数据以及较长时间间隔才清洗计算的大数据。 Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算框架，它是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大。物联网服务平台通过采用 Spark 计算框架迭代统计物联卡的日流量，并累计得出物联卡的月流量，然后将结果保存到Hbase 。4.3 数据存储与管理物联网服务平台数据存储分文件存储、半结构化数据存储、分析结果以及业务订购数据存储。文件存储采用 Had

17、oop 分布式文件系统 (HDFS)，其运行于普通PC构建的大规模集群之上，它隐藏了下层的负载均衡、冗余复制等实现细节，对上层应用程序提供一个统一的文件系统应用程序接口。Apache HBase 是 运 行 于 HDFS 顶 层 的 NoSQL（Not Only SQL ， 泛指非关系型的数据库 ) 数据库系统，是一个架构在 Apache Hadoop上的开源的、分布式的、可横向扩充的、一致的、低时延的、随机访问的非关系型数据库。区别于Hive，HBase 具备随即读写功能，是一种面向列的数据库。 HBase 以表的形式存储数据，表由行和列组成，列划分为若干个列簇(Row Family) 。H

18、base 按列存储数据，方便做数据压缩，对某一列或者某几列的查询有非常大的 I/O 优势，查找速度快、可扩展性强、更容易进行分布式扩展。Hbase低时延随机访问特性如下。（1）Hbase 写 操 作 ： 1 3 ms ， 每 个 节 点 每 秒1 000 10 000个写操作。（2）Hbase 读操作 ：内存读 0 3 ms ，硬盘读10 30 ms ，从内存读每个节点每秒10 000 40 000个读操作。（3）在表的任何位置都可以读、写或者插入数据。（4）没有顺序写的限制。Apache Hive是 一 个 构 建 于 Hadoop （分 布 式系 统基础架构 ) 顶层的数据仓 库。Hive

19、 可 以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop 分布式文件系统 ) 和 MapReduce （一种 编程模型，映射与化简 ；用于大数据并行运算 ) 。Hive 最初的计算引擎为 MapReduce ，受限于其自身的Map+Reduce 计算模式，以及不够充分的大内存利用，MapReduce 的性能难以得到提升。于是Hive 社区推出了 Hive on Spark项目，将 Spark 作为继 MapReduce和 Tez 之后 Hive 的第 3 个计算引擎。把 Spark 作为Hive 的一个计算引擎，将 Hive 的查询作为 Spark 的任务提交到 Sp

20、ark 集群上进行计算。Redis 是一个开源的、支持网络、可基于内存亦可持久化的日志型、 Key-Value数据库。 Redis 在部分场合可以对关系数据库起到很好的补充作用。Redis 支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其它从服务器的主服务器。Redis 的 3 个主要特点。（1）Redis 数据库完全在内存中，使用磁盘仅用于名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 6 页 - - - - - - - - - 1220

21、16 年2月 第 2 期（第29卷 总第221 期）月刊2016 年 第2期电信工程技术与标准化大数据与物联网专题持久性。（2）相比许多键值数据存储，Redis 拥有一套较为丰富的数据类型。（3）Redis 可以将数据复制到任意数量的从服务器。物联网服务平台采用 Hbase 保存信令数据的网络轨迹，该表的行键设计为：MD5( 手机号码 )+ 时间戳 +4位序号，对插入的数据设置好过期时间，由Hbase 的数据过期功能自动删除过期数据。其中，表的行键也保存到 Redis 中，业务分析需要访问Hbase 时，先通过Redis 的行键快照来判断是否有业务相关数据，判断有再根据行键访问 Hbase 。

22、从 Hbase 或者 Hive 访问到的半结构化数据，通过分析框架分析出结果后，也会保存到 Redis 和 Oracle 中，对于重复的查询可以直接从内存数据库或关系数据库中找到结果返回给用户，提高查询效率。4.4 数据分析与统计由于目前的大数据存储Hbase/Hive都不是基于关系型数据库的，所以传统的通过SQL语言来操作数据的方式无法直接使用，如对于HDFS 的数据是无法直接通过 SQL 来查询的。大数据查询和分析需要SQL on Hadoop技 术。SQL on Hadoop是 直 接 建 立 在Hadoop 上的 SQL 查询，既保证 Hadoop 性能，又利用 SQL 的灵活性。 H

23、adoop 解决方案对于SQL 语言支持的深度与广度各不相同，技术实践方式也很多样。最基本的工作是把传统的SQL语言进行中间转换后进行操作，如 Hadoop 中的 Hive，就是把SQL （HiveQL，Hive 的类 SQL 语句）编译成 MapReduce ，从而读取和操作 HDFS 上的数据。因为 Hive 会把 SQL转换为运行得较慢的 MapReduce 任务，所以 Hive 的查询性能通常很低。物联网服务平台采用的是高效的分布式计算系统 Spark 来实现数据分析与统计。 Spark 是使用 Scala语言开发的一个开源SQL 查询引擎，它的设计目标是作为 Hive 的一个补充，同

24、时在它自己的工作节点集合上执行查询而不是使用 MapReduce 。SparkSQL构建在 Apache Spark 数据处理引擎之上，当内存还足够大的时候 SparkSQL 性能是最好的，如果内存不够装下所有的数据时性能会下降，但还是会比 Hive 好很多。 Spark SQL 是支持在 Spark 中使用 SQL的关系型查询表达式。它的核心组件是一个新增的RDD 类型 SchemaRDD，它用一个 Schema来描述行里面的所有列的数据类型，它就像是关系型数据库里面的一张表。它可以从原有的RDD 创建，也可以是Parquet 文件，最重要的是它可以支持用 HiveQL 从 Hive 里面读

25、取数据。对于物联网服务平台，数据量发展到数据仓库阶段， 用 Hive 来构建 数据仓库时，Hive on Spark可以用来支持 数据挖掘。 这里说的 Hive on Spark是Hive 跑在 Spark 上，用的是 Spark 执行引擎，而不是MapReduce 和 Hive on Tez的道理一样。从 Hive 1.1版本开始， Hive on Spark已经成为 Hive 代码的一部分了。5 物联网服务平台的大数据环境搭建物联网服务平台搭建在广东移动网管网的OSS云上，共采用 10 台服务器组建，除了安装Oracle 的服务器采用 AIX 系统，其它服务器均是Redhat 系统。其中，

26、数据采集服务器2 台 ；导入处理服务器2 台 ；数据清洗与计算服务器2台 ；数据存储以及分布式协调服务器 4 台。其中，Hadoop 分布式集群、 Storm 分布式集群、Kafka 分布式集群采用 Zookeeper 作为分布式协调系统。Zookeeper 分布式服务框架是Apache Hadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。Zookeeper是分布式系统的高可靠的协调系统，客户端每次请求服务端都可以找到服务端集群中某一台服务器，这样服务端就可以向客户端提供客户端所需的服务。物联网服务

27、平台每天处理大约1 TB 左右的原始数据，含 15 亿条记录。清洗后的数据，通过数据分析统名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 6 页 - - - - - - - - - 13大数据与物联网专题 电信工程技术与标准化2016 年2月 第 2 期（第29卷 总第221 期）月刊2016 年 第2期图3 数据轨迹图4 号码打捞The application of big data technology in Internet of things service pl

28、atformDUAN Wei(China Mobile Group Guangdong Co., Ltd., Guangzhou 510000, China)AbstractThe appearance and development of the Internet of things marks the arrival of the era of big data. Big data has penetrated into all areas of our lives, and is leading and changing our existing way of life. Big dat

29、a are constantly generated from various sensing equipments of the Internet of things and applications system, and will sustainably grow in more complex and more diverse ways. The complexity and diversity of big data, which determines the variety of service situations and types of big data in Interne

30、t of things service platform, also demands that Internet of things service platform must integrate big data technologies to deal with.Keywords Internet of things; big data; Hadoop; Spark计对客户提供物联网卡的公共管理服务，如在数据轨迹（图 3）功能中，通过对信令话单数据的处理分析，实现对物联网卡在某一时段上下行数据交互的查询 ；在号码打捞（图 4）功能中，也是通过对信令话单数据的处理分析，实现对某一APN 在某一时段所有掉线号码的快速查询。6 结束语在未来 10 20年 中，物联网面临着大数据时代战略性的发展机遇及挑战。物联网与大数据的握手，不仅会使物联网产生更为广泛的应用，更会 在大数据基础上延伸出长长的价值产业链，所以，将大数据发展理念灌输到物联网发展的全过程中，能够促进物联网带动大数据发展，而大数据的应用又会加快物联网的发展步伐。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 6 页 - - - - - - - - -