面向大数据的计量数据采集与应用研究.pdf

《面向大数据的计量数据采集与应用研究.pdf》由会员分享，可在线阅读，更多相关《面向大数据的计量数据采集与应用研究.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 面向大数据的计量数据采集与应用研究 摘要：能源计量和物资计量是企业管理的数据基础，在信息技术不断发展、企业信息化应用不断深入的大背景下，计量信息系统项目不仅要满足计量管理的基本要求，还必须考虑如何更好的发挥计量数据资源的作用，不断拓展和提升计量信息服务水平，因此基于大数据的计量数据采集与应用就成为新一代信息技术条件下企业信息化的重要课题。关键词：大数据；计量；数据采集；数据挖掘；应用实例 1 面向大数据的计量数据采集与存储架构设计 开展大数据应用，既是对多年来企业信息化项目建设所形成的信息资源的发掘利用，又是对企业信息化项目的持续改进与完善。通常企业在计量信息化方面会建设有流体能源计量、电力

2、能源计量和物资计量等一系列围绕着计量管理业务的计量信息系统。这些计量信息系统项目都是以满足不同计量类型或不同业务领域的计量工作为目标而开发建设的，为了适应企业管理的综合分析与决策需要，就必须按照一定的主题对这些不同业务系统的数据进行挖掘处理，建设计量数据仓库，从而形成如图 1 所示的面向大数据的计量数据采集架构体系。建设面向大数据的计量数据采集架构体系，主要有以下工作内容：（1）现有计量信息系统改造与完善。对现有的计量信息系统改造与完善的主要任务是为数据挖掘准备好“采集接口”，接口的核心内容是各计量信息系统为计量数据挖掘提供计量数据基础模型与访问方法。（2）计量数据仓库建设。首先要确定系统所包

3、含的计量管理及相关的主题域，然后对每个主题域的内容进行描述，描述的内容包括主题域的公共码键、主题域之间的联系和充分代表主题的属性组。（3）计量数据提取工具设计。将各计量信息系统所分散采集的计量数据提取到计量数据仓库需要通过设计一个在数据挖掘领域称为“ETL”的数据提取工具来完成。ETL 它是用来实现将数据从各计量信息系统的采集接口经过提取（Extract）、转换（Transform）和加载（Load）至数据仓库的三个基本过程。（4）共享接口设计。为了能够更加充分的利用计量数据，还需要提取 EP、MES 等各类企业信息化系统的数据，通常可以建设一个共享接口来从企业数据仓库提取计量管理所需数据，同

4、时也通过其为企业管理的其他领域提供计量数据。2 计量大数据应用的挖掘处理流程设计 对计量大数据进行应用就是用户从一个特定的主题出发，经过定义主题、浏览数据、准备数据、生成模式、验证模式、应用模式等过程，最后形成分析结果提交给用户。（1）用户与定义主题。大数据应用中的定义主题，就是用户从计量大数据应用的需求出发，利用各方面专家的经验和知识库中所积累的相关知识，再结合对数据仓库和模式库的了解来初步确定出解决具体问题的主题。（2）浏览数据与准备数据。根据主题的需要，对数据仓库中的相关数据进行检索浏览与准备处理，在这个过程中还可能需要结合所掌握数据的情况返回到主题的定义。（3）生成模式和验证模式。在明

5、确了主题并准备了数据之后，还需要构建完成主题所需要的一整套数据存储模式（下面简称为“模式”），模式中包含了对某一类数据的结构、属性、联系和约束的描述。（4）应用模式形成分析结果。利用经过验证的模式对数据进行组织和处理，最后得出综合统计分析的结果提交给用户。在应用模式的过程中如果存在问题也是要返回到定义主题阶段重新进行主题的调整。3 利用大数据的计量数据应用 3.1 利用计量数据的综合平衡分析结果，指导生产现场的能源管理工作 某公司下属的一个生产厂生活水有 5 条入口主管和 75 条消耗支管，这些水管都安装了计量表，其中除 4 条小口径间歇用水管的机械表外，76 条管路的水表都实现了自动实时的计

6、量数据采集入网。在进行对生产作业区的能源指标考核时，入口主管的供应量（二级计量）与用水支管的消耗量（三级计量）总是出现超过 40%的损失量，造成了厂部与作业区在管理上的矛盾，这类能源供应量与消耗使用量的不平衡问题是大中型制造企业常见的现象。为了解决这类问题，首先确定了“能源二三级量平衡分析”的业务主题，结合计量数据仓库中的数据存储构建了如下的模式：计量管理计量仪表代码、能源品种代码、计量级别、使用单位代码、计量数据计量仪表代码、数据采集时间、结算数据，其中“计量管理”模式中存储着每个计量仪表的管理属性内容，而根据数据分析的不同要求，“计量数据”模式中对每个仪表数据的时间粒度可以为小时量、班量或

7、日量。应用“计量管理”和“计量数据”两个模式，以“计量仪表代码”为关联条件，以“能源品种代码”、“使用单位代码”和“数据采集时间”为数据检索条件，以“计量级别”和“数据采集时间”为分类汇总条件，对该厂连续 30 天的生活水计量实时数据进行挖掘处理，可以得到如下的一组分析结果：平衡分析结果计量级别、数据采集时间、小时量结算数据“平衡分析结果”中的计量级别“二级量”对应实际入口量、“三级量”对应实际消耗量，数据采集时间为“年月日时”。3.2 为企业管理服务的其它数据应用 利用企业数据仓库与计量数据仓库还可以开展更多的综合统计分析工作。例如：（1）对于炼钢和轧钢等重点生产工序，可以通过生产数据与计量

8、数据的结合，实现按冶炼炉次和轧制批次的重点设备成本核算。（2）通过提取分析一条生产线上主要用电设备的实时用电量数据，可以形成该生产线的停机时间记录，并利用它进行生产线的停机能源损耗统计分析。（3）利用长期积累的生产数据和能源计量数据，编制从公司、生产厂、作业区到重点工序的能源计划和能源考核指标。4 结束语 本文采用了计量数据仓库与企业数据仓库相对独立又相互配合的方式展开了面向大数据的计量数据采集与应用研究，通过集成各个计量信息系统建设了计量数据仓库，构建了与企业数据仓库的共享接口，在计量数据的挖掘与应用中积累了初具规模的知识体系和数据模式。通过这样的研究与应用不但促进了计量工作本身的不断改进和完善，更是通过计量信息资源的挖掘利用为企业管理的多个领域提供了有效的计量数据服务。Reference：1刘智慧，张泉灵.大数据技术研究综述J浙江大学学报：工学版，2014，59（6）：957972.2张锁.基于计量管理的信息化技术应用J工业计量，2016，26（6）：1821.-全文完-