计量数据采集与应用研究（精品）.docx

计量数据采集与应用研究摘要:随着计量信息化应用的持续开展，对计量数据的挖掘利用已经成为企业信息化建设的重要课题，而大数据方法为这一课题提供了有效的技术基础。从大数据的计量数据应用出发，进行了计量数据仓库相对独立建设的计量数据采集与应用研究，并且通过与企业数据仓库建立分享接口的方法实现了企业内部数据的有效分享，并以此为基础开展了一系列计量信息服务的应用实践，在获得预期效果的同时还积累了计量数据挖掘的知识体系和数据形式。关键词:大数据;计量;数据采集;数据挖掘;应用实例能源计量和物资计量是企业管理的数据基础，在信息技术不断发展、企业信息化应用不断深化的大背景下，计量信息系统项目不仅要知足计量管理的基本要求，还必须考虑怎样更好的发挥计量数据资源的作用，不断拓展和提升计量信息服务水平，因而基于大数据的计量数据采集与应用就成为新一代信息技术条件下企业信息化的重要课题。开掘利用计量信息系统的应用成果，建设计量数据仓库，实现与企业信息化其它领域的资源分享，为计量管理和企业管理提供适应大数据应用的信息化服务，已经成为计量信息化的重要发展方向。1面向大数据的计量数据采集与存储架构设计开展大数据应用，既是对多年来企业信息化项目建设所构成的信息资源的开掘利用，又是对企业信息化项目的持续改良与完善。通常企业在计量信息化方面会建设有流体能源计量、电力能源计量和物资计量等一系列围绕着计量管理业务的计量信息系统。这些计量信息系统项目都是以知足不同计量类型或不同业务领域的计量工作为目的而开发建设的，为了适应企业管理的综合分析与决策需要，就必须根据一定的主题对这些不同业务系统的数据进行挖掘处理，建设计量数据仓库。建设面向大数据的计量数据采集架构体系，主要有下面工作内容:(1)现有计量信息系统改造与完善。对现有的计量信息系统改造与完善的主要任务是为数据挖掘准备好“采集接口，接口的核心内容是各计量信息系统为计量数据挖掘提供计量数据基础模型与访问方法。(2)计量数据仓库建设。在计量数据仓库建设这一步，要确定系统所包含的计量管理及相关的主题域，然后对每个主题域的内容进行描绘，描绘的内容包括主题域的公共码键、主题域之间的联络和充分代表主题的属性组。例如为能源成本管理主题服务的计量数据采集模型能够是“计量仪表编码、计量数据采集时间、结算量等属性，而与之相配合的计量仪表管理模型应该有“计量仪表编码、计量仪表名称、量程、采集计量单位、品种代码、供给单位代码、使用单位代码等属性。(3)计量数据提取工具设计。将各计量信息系统所分散采集的计量数据提取到计量数据仓库需要通过设计一个在数据挖掘领域称为“ETL的数据提取工具来完成。ETL是英文Extract-Trans-form-Load的缩写，它是用来实现将数据从各计量信息系统的采集接口经过提取(Extract)、转换(Transform)和加载(Load)至数据仓库的三个基本经过。(4)分享接口设计。为了能够愈加充分的利用计量数据，还需要提取EP、MES等各类企业信息化系统的数据，通常能够建设一个分享接口来从企业数据仓库提取计量管理所需数据，同时也通过这个分享接口为企业管理的其他领域提供计量数据。2计量大数据应用的挖掘处理流程设计对计量大数据进行应用就是用户从一个特定的主题出发，经过定义主题、阅读数据、准备数据、生成形式、验证形式、应用形式等经过，最后构成分析结果提交给用户。(1)用户与定义主题。大数据应用中的定义主题，就是用户从计量大数据应用的需求出发，利用各方面专家的经历和知识库中所积累的相关知识，再结合对数据仓库和形式库的了解来初步确定出解决详细问题的主题。(2)阅读数据与准备数据。根据主题的需要，对数据仓库中的相关数据进行检索阅读与准备处理，在这个经过中还可能需要结合所把握数据的情况返回到主题的定义。(3)生成形式和验证形式。在明确了主题并准备了数据之后，还需要构建完成主题所需要的一整套数据存储形式(下面简称为“形式)，形式中包含了对某一类数据的构造、属性、联络和约束的描绘。形式的生成经过能够是从形式库中挑选后再进行调整修改来实现，可以以结合应用需求来定义新的形式。对于生成的形式要进行验证，假如验证中发现问题也需要返回到定义主题阶段。(4)应用形式构成分析结果。利用经过验证的形式对数据进行组织和处理，最后得出综合统计分析的结果提交给用户。在应用形式的经过中假如存在问题也是要返回到定义主题阶段重新进行主题的调整。3利用大数据的计量数据应用3.1利用计量数据的综合平衡分析结果，指导生产现场的能源管理工作某公司下属的一个生产厂生活水有5条入口主管和75条消耗支管，这些水管都安装了计量表，其中除4条小口径间歇用水管的机械表外，76条管路的水表都实现了自动实时的计量数据采集入网。在进行对生产作业区的能源指标考核时，入口主管的供给量(二级计量)与用水支管的消耗量(三级计量)总是出现超过40%的损失量，造成了厂部与作业区在管理上的矛盾，这类能源供给量与消耗使用量的不平衡问题是大中型制造企业常见的现象。为了利用计量信息系统中已经采集到的数据解决这类问题，首先确定了“能源二三级量平衡分析的业务主题，结合计量数据仓库中的数据存储构建了如下的形式:计量管理计量仪表代码、能源品种代码、计量级别、使用单位代码计量数据计量仪表代码、数据采集时间、结算数据其中“计量管理形式中存储着每个计量仪表的管理属性内容，而根据数据分析的不同要求，“计量数据形式中对每个仪表数据的时间粒度能够为小时量、班量或日量。应用“计量管理和“计量数据两个形式，以“计量仪表代码为关联条件，以“能源品种代码、“使用单位代码和“数据采集时间为数据检索条件，以“计量级别和“数据采集时间为分类汇总条件，对该厂连续30天的生活水计量实时数据进行挖掘处理，能够得到如下的一组分析结果:平衡分析结果计量级别、数据采集时间、小时量结算数据“平衡分析结果中的计量级别“二级量对应实际入口量、“三级量对应实际消耗量，数据采集时间为“年月日时。然后能够利用EXCEL的图表分析工具进行生活水供给与消耗的平衡分析。3.2知足成本核算的计量设施建设情况分析为了更好的适应成本核算的要求，某公司计划对现有的能源计量设施进行全面的扩大改造，项目施行前需要对现有的计量设施与成本核算要求的知足情况进行调查。(1)首先从企业数据仓库中提取了下列形式:能源成本数据数据月份，能源品种代码，核算单位代码，核算成本中心代码，能源使用量(2)然后利用“能源成本数据形式对12个月的实际数据进行分类统计挖掘，得知该公司目前有24个成本核算能源品种、29家内部二级能源成本核算单位，共设有197个三级成本核算的成本中心，还有45家外部能源转供单位。通过对“能源成本数据的处理生成了下列数据分析结果:能源核算单位与能源品种统计使用单位代码，能源品种代码能源核算成本中心与能源品种统计成本中心代码，能源品种代码(3)再从计量数据仓库中生成下列形式:计量仪表管理计量仪表代码，能源品种代码，计量级别，使用单位代码，成本中心代码然后利用“计量仪表管理形式提取出:使用单位与能源品种仪表统计使用单位代码，能源品种代码，仪表计数成本中心与能源品种仪表统计成本中心代码，能源品种代码，仪表计数(4)最后，按每个能源核算点至少需要有一块计量仪表来考虑，分别对“能源核算单位与能源品种统计和“使用单位与能源品种仪表统计、“能源核算成本中心与能源品种统计和“成本中心与能源品种仪表统计进行比照分析，就能够得出该公司各能源品种知足能源成本核算所需要的二级计量仪表和三级计量仪表的配备情况。在进行知足成本核算的计量设施建设情况分析时需要考虑下面两个因素:(1)根据工艺条件的不同，企业内部的一些二级计量仪表能够同时又是三级计量仪表。(2)对于有些临时使用或用量较小的能源使用场所，考虑到设备安装及运行维护成本的因素，采用估量或人工抄量的方法也是合理的。3.3为企业管理服务的其它数据应用利用企业数据仓库与计量数据仓库还能够开展更多的综合统计分析工作。(1)对于炼钢和轧钢等重点生产工序，能够通过生产数据与计量数据的结合，实现按冶炼炉次和轧制批次的重点设备成本核算。(2)通过提取分析一条生产线上主要用电设备的实时用电量数据，能够构成该生产线的停机时间记录，并利用它进行生产线的停机能源损耗统计分析。(3)利用长期积累的生产数据和能源计量数据，编制从公司、生产厂、作业区到重点工序的能源计划和能源考核指标。4结束语采用了计量数据仓库与企业数据仓库相对独立又互相配合的方式开展了面向大数据的计量数据采集与应用研究，通过集成各个计量信息系统建设了计量数据仓库，构建了与企业数据仓库的分享接口，在计量数据的挖掘与应用中积累了初具规模的知识体系和数据形式。通过这样的研究与应用不但促进了计量工作本身的不断改良和完善，更是通过计量信息资源的挖掘利用为企业管理的多个领域提供了有效的计量数据服务。