EMS 能源管理平台数据加工服务概要设计说明书.doc

EMS V1.31能源管理系统数据加工服务概要设计说明书V1.00目 录1 引言11.1 编写目的11.2 项目背景11.3 定义11.4 参考资料22 任务概述32.1 目标32.1.1 服务模式32.1.2 总体目标32.2运行环境42.2.1 硬件环境42.2.2 软件环境42.2.3 开发环境42.3 需求描述52.3.1 统计需求52.3.1.1 能耗统计52.3.1.2非能耗统计52.3.1.3 费用统计52.3.2数据异常加工处理52.3.3 断点续传统计服务52.3.3 非功能需求62.4 条件与限制73 总体设计83.1 总体结构83.2 业务方案94 模块设计104.1统计服务104.1.1区域设备映射配置104.1.1.1功能描述104.1.1.2业务处理流程104.1.2能耗/非能耗统计114.1.2.1功能描述114.1.3 费用统计144.2 数据异常判断与修复174.2.1 实现方案174.2.2 数据流程184.2.3 数据库表结构204.3 断点续传功能214.3.1 实现方案214.3.2 数据流程234.3.3 数据库表结构235 数据库说明255.1.平台表255.2应用表266 系统安全设计316.1 应用系统安全性设计316.2 数据存储安全性设计31 WXF-9000V1.31数据加工服务概要设计说明书V1.001 引言1.1 编写目的本文档是对WXFWXF-9000V1.31强弱电一体化平台系统软件（以下简称WXF-9000系统或本系统）中的平台功能进行详细分析和讨论后得出的分析说明书，旨在明确本软件模块的功能需求。通过本说明书，可以了解到本软件的开发背景、建设要求、功能需求等。各个模块的开发人员阅读此文档后，以各个模块的功能为基础，兼顾配合服务器模块，完成各自模块的功能。本文档面向的读者是： WXF-9000V1.31项目组各成员。1.2 项目背景1.3 定义下表列出本报告中专门术语的定义、英文缩写词的原词组和意义、项目组内达成一致意见的专用词汇，同时继承全部的先前过程中定义过的词汇。词汇名称词汇含义备注TSTable Sample，采样表，用来存储历史采样数据TS_M5_存储五分钟数据的采样表TS_M5_XXX存储五分钟采样数据的表，目前XXX代表000999TSServerU.exe后台服务器软件WXFDllU.dll后台公共接口库文件Mmi_jk.dll后台规约文件TS_M5_EXT_XXX五分钟数据的采样表的对应关系表，存储内容包括数据有效时间、标志TS_DEVICEORIGVALUE_20XXXX断点续传原始数据表，XXXX代表年月，如TS_DEVICEORIGVALUE_201409Web Service能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件， 就可相互交换数据或集成。Web Service是自描述、 自包含的可用网络模块， 可以执行具体的业务功能，业务功能主要是与后台服务器进行通讯，获取需要的实时数据。1.4 参考资料编号资料名称说明1EMSV1.31 系统需求梳理 整合 4.xls2C+编程规范.doc3WXF-9000能源管理系统平台软件V1.1 数据库设计说明书V1.00.doc第 29 页 2 任务概述2.1 目标2.1.1 服务模式 公司基于“平台战略”提出的新一代能效管理+机电运维软件平台，目标是建立一个高度开放的，可扩展的，面向能源和数字机电大数据的运营支持平台，即建筑能源与设备运维平台EMS1.3平台。在WXF整体战略的驱动下，EMS1.3系统研发的目标定位是运用物联网（Internet of iThing, IoT）、大数据分析，依靠能源与机电设备管理两大核心体系为支撑，以强弱电一体化监控和大数据挖掘分析为基础，以运维为核心理念，构建新一代数字机电智慧运维平台系统。2.1.2 总体目标 EMS1.3项目总体研制的功能模型如图所示。系统向下遵循国家标准、行业标准和企业内部标准规定，接入计量仪表、环境传感、暖通空调、智能照明和楼宇自控等多种类型的底层设备，并通过这些底层设备实现对物理世界的感知和控制操作。对于应用客户，由客户建设硬件基础设施并安装部署企业级系统，接入数据进行处理，并提供能效管理和设备运维应用服务。客户较少投资额度而且以动态灵活配置的方式使用EMS软件服务，平台数据服务提供开放接口，可供第三方应用开发者调用和研发新型应用，并纳入WXF整体的能效管理和设备运维生态圈。2.2运行环境2.2.1 硬件环境服务器端-硬件环境类别要求备注CPU主频2.4 GHz或以上CPU内核2核或以上内存8.0 GB或以上主机硬盘500GB或以上UPS2KVA及以上网卡100M或1000M客户端-硬件环境类别要求备注CPU主频2.0 GHz或以上CPU内核2核及以上内存2.0 GB或以上主机硬盘250GB或以上网卡100M或1000M2.2.2 软件环境软件环境类别要求备注操作系统Windows 2003/2008 R2 32位企业版/Windows XP SP3/Win7 32bit旗舰版数据库MS SQL Server 2008企业版（32bit）2.2.3 开发环境软件环境类别要求备注操作系统Windows 2003/2008 R2 32位企业版/Windows XP SP3/Win7 32bit旗舰版数据库MS SQL Server 2008企业版（32bit）软件开发平台Microsoft Visual Studio 20082.3 需求描述2.3.1 统计需求2.3.1.1 能耗统计l 设备、区域各类型能耗统计设备能耗统计（包括分类：电、水、气；分项：照明、空调、动力、特殊及自定义类型，具体由现场确定）；区域时能耗统计（包括分类：电、水、气；分项：照明、空调、动力、特殊及自定义类型，具体由现场确定）；l 能适应灵活的统计时间颗粒。统计颗粒度包括（10、15、20、30、60、日、月）。l 统计对象包括设备能耗、区域能耗（区域是广义的，包括业态、位置区域及扩展的区域）；2.3.1.2非能耗统计l 支持对电压、电流、功率、温度等非能耗数据的统计入库。l 设备非能耗数据（1-Ua，2-Ub，3-Uc，4-Uab，5-Ubc，6-Uca，7-有功功率，8-无功功率，9-频率，10-MIa，11-MIb，12-MIc，13-功率因素，15-正向无功电度，16-温度，17-湿度，根据平台配置需求而定）；l 适应灵活的非能耗数据统计时间颗粒。2.3.1.3 费用统计l 分时计费支持区域、设备尖峰平谷费用统计；l 平价计费支持区域、设备电平价费用统计；支持区域、设备水平价费用统计；l 阶梯计费支持区域、设备电阶梯费用统计；支持区域、设备水阶梯费用统计；2.3.2数据异常加工处理包括：l 异常数据的判断及入库；l 异常数据的修复；l 缺点数据的补录。2.3.3 断点续传统计服务 现场通讯管理机与后台系统断链后，数据保存于管理机中。当重新建链后，后台接收断点数据并存储。断点继传统计服务将断点相关的设备、区域重新统计入库。对于数据异常修复的点，统计服务重新统计入库。2.3.3 非功能需求本节记录对概要设计具有重要影响的软件需求和约束，描述相关的重要决策和决策的原因。这些决策一般对设计有很大影响,它们的改变很难通过设计技巧来屏蔽，例如所选用的开发语言,所选用的平台、组件和框架，对关键业务，类和方法的处理等。2.3.3.1 性能需求1、监测和分析1、监测性能1开关量变位传送时间（采集器到系统页面）3 s2模拟量数据刷新时间（采集器到系统页面）3 s3告警刷新时间（采集器到系统页面）3 s4历史数据库采样数据点间隔10分钟1天，可调2、分析性能1页面切换、调用响应时间3 s2统计性数据查询响应时间10 s3分析性数据查询响应时间10 s4诊断性数据查询响应时间10 s2、控制类N/A1定时控制组100个2定时控制组中的项100个3联动控制组100个4联动控制项100个5联动条件检查周期3 s6控制执行时间3 s7控制操作正确率99.93、负荷率N/A1服务器CPU平均负荷率（正常运行任意30min内）302服务器CPU平均负荷率（系统故障10s内）503网络负荷率（正常运行任意30min内）204网络负荷率（系统故障10s内）302.3.3.2 可扩展性需求2.3.3.3 可测试性需求测试用例1测试用例22.3.3.4 可维护性需求2.3.3.5 容量需求1、系统容量N/A1实时数据库支持的数据点总数（单套服务器）150,000点2实时数据库支持的遥控5,000点3实时数据库支持的计算量2,000点4历史数据库采样数据点个数50,000点5存储时间10年6数据采集器数量100个1、历史采样数据存储容量为128000点，应用服务程序做好兼容大于128000点数据的功能，平台预留接口，以备以后扩展；2、前置、后台断点续传的数据以15分钟间隔存储离线数据，可存储至少一个月的数据；3、实时数据库支持的遥控 <=5000个；4、历史数据存储时间>=3年；5、接入后台的前置数据<=30个。2.4 条件与限制对系统其它的一些条件和限制：1、对于一些公共的、经常使用的代码或函数，避免频繁复制，可封装成公共类或库；2、代码中做好注释，避免无用注释的出现，以增加可维护性；3、尽量减少人工配置，增加默认属性，以增强易用性；4、代码中尽量使用标准STL的内容，以增加系统可移植性；5、做系统设计时，尽量考虑以前老版本的功能，以增加系统的兼容性。6、经过Web Service服务程序到后台服务器读取10000个配置点以内的数据时间<=5秒；7、B/S组态图形软件获取<500个实时数据值时，从发出请求到数据返回时间<=3秒；8、128000个采样数据点在保存到数据库表的时间<=120秒（此时间有点长，需要进一步优化）；9、模拟量、脉冲量、开关量总数在<=150000时，主备服务器切换的时间<=30秒；10、从Web Service下发控制命令到前端设备动作的时间 <=3秒。3 总体设计3.1 总体结构系统采用三层C/S或B/S架构，其中数据采集层的功能是通过各个数据采集器、OPC服务器、其它系统将底层各种物理设备、传感器、其它系统数据接入，通过企业内部传输协议将数据统一上传给平台处理层。平台处理层的功能为，收到采集设备数据，经过规约转换，数据进入实时库，提供告警、数据修复、二次采样入库、数据基础分析功能，并将分析、处理之后的数据录入历史数据库。业务展现层的功能为，从平台侧实时库和历史库获取相关信息，支持配电、能管、照明、计费、环境监控、设备运维等业务功能，为用户提供专业服务。3.2 业务方案整个系统由前置机、主备模式、数据库服务器、WEB只读数据库、防火墙（如果有的话）组成。对于前置上送的实时数据、断点数据，后台服务器保存到历史采样表中，历史服务程序定时对数据进行异常判断、对数据进行修复，由MS SQL自带的同步功能（SQL2008或以上版本）把历史采样数据同步到WEB数据库（只读）中，以便在中间加入防火墙进行隔离。当B/S客户端有数据修改时，通过Web Service服务把数据写入后台数据库中。数据库服务器中的数据采用配置数据、历史采样数据分文件的方式，减少对某个磁盘I/O的频繁访问；由于历史采样数据、加工后的数据量较大，采用分区表的方式，提高查询效率。4 模块设计4.1统计服务4.1.1区域设备映射配置4.1.1.1功能描述 区域映射配置是为了建立区域与设备关联关系。在EMSV1.3版本中采用的是在在WEB端配置，并将配置信息存入区域设备映射表中。此方式在区域底下挂有很多设备时，设备集合字符串过长，由于平台缓存做限定，就会导致解析错误，并且当映射表条数很多时，读取也会耗时很多。因此在V1.3版本中将统计映射配置信息生成放在C/S端，通过建立一线程，专门进行配置信息的生成。4.1.1.2业务处理流程5.1.2.3配置文件说明WXF-9000安装文件夹下parameter/BaseAreaDevConfig.ini参数配置文件名：BaseAreaDevConfig.ini路径：<当前程序工作路径>parameter内容：EnableCfgDataCfg=1DataUnionCfg1=01000:1,2,3,41=02000:5,6,7说明：DataCfg=1 1表示配置信息有效1=01000:1,2,3,4;设置1代表区域id，01000是分类分项代码，1,2,3,4是设备集合。4.1.2能耗/非能耗统计统计服务首先加载统计配置信息，包括统计颗粒度、统计类型、采样配置、设备信息、区域信息，建立统计信息生产队列和消费信息队列。统计信息生产队列包括能耗（电度、流量等）、非能耗（电压、电流、温度等）；消费队列包括能耗处理、非能耗处理。4.1.2.1功能描述能耗统计包括区域、设备的能耗统计，具体如下：l 区域（业态功能区、位置区域等）各分类分项统计颗粒度统计；l 设备各分类分项统计颗粒度统计；l 统计颗粒根据现场配置，统计颗粒度包括（10、15、20、30、60、日、月）。l 统计对象包括设备能耗、区域能耗（区域是广义的，包括业态、位置区域及扩展的区域，通过区域类型字段区分）、设备非能耗数据（1-Ua，2-Ub，3-Uc，4-Uab，5-Ubc，6-Uca，7-有功功率，8-无功功率，9-频率，10-MIa，11-MIb，12-MIc，13-功率因素，15-正向无功电度，16-温度，17-湿度，18-变压器视在电度，19-冷冻站制冷量，20-锅炉蒸汽量，21-制氧站的氧气产出量，22-冷却水等）4.1.2.2业务处理流程程序启动后，初始化统计信息，根据统计对象信息，建立统计队列，以颗粒度类型建立一个处理线程，通过建立多线程并行处理数据，当统计颗粒时间到时，从生产队列获取相应时段的生产记录进行统计处理。区域统计在设备统计后进行。 能耗统计处理流程4.1.2.3 相关信息表及字段获取说明l 分类分项信息分类分项是从TB_BECM_COUNTTYPE表DESCRIPTION字段获取，关联与设备分类分项统计、区域分类分项统计；分类分项父节点通过PARENTID字段获取，0表示最高级；l 设备信息设备索引对应TB_DEVICE中的ID；设备所属父设备通过TB_DEVICE中的PARENTDEV字段获取，0是最高级父节点；设备是否是所属区域总表标志通过TB_DEVICE_PROPERTY中的DEVICE_HEAD_NUM；设备所属区域通过TB_EMS_DEVICE_RELATION中CLASSID、AREAID；l 区域信息区域ID是从TB_AREA中ID是区域索引获取；区域父节点通过PARENTID字段，0是最高级父区域；4.1.2.4统计步骤说明l 加载统计颗粒表（TD_EMS_CountConfig）获取统计颗粒；l 加载采样类型表TD_EMS_CouWXFampleConfig；l 加载采样配置对应表TB_SAMPLE5MIN_EXT，获取设备与采样对应表；l 加载区域（tb_area）及其区域关联表(TB_EMS_DEVICE_RELATION)，获取区域相关信息；l 加载区域/设备映射关系临时表BaseAreaDevConfig.ini，获取区域所挂设备；l 通过记录所在的设备ID到TB_SAMPLE5MIN_EXT找到对应的5分钟采样表，获取数据，再找到颗粒度所需的另外5分钟脉冲量值，进行差值处理，同时到TS_M5_EXT_XXX找到这两个数据点的数据有效性标志，当运算完毕，组语句批量插入TS_EMS_TempData；l 其他设备颗粒度的步骤如上所述；l 当设备同一时间所有的颗粒统计完后，触发区域统计；l 区域颗粒统计预先缓存相同颗粒的设备能耗；l 在缓存中处理统计区域数据，存入历史表。l 设其他区域颗粒度的步骤如上所述；l 当批次处理完后，等待间隔时间，进行下一轮批次处理。4.1.2.5统计区域对象关联说明区域统计采用直接与设备关联方式；最底层区域，当该区域有总表时直接用总表加，如无直接用子表累加；非底层区域：当该区域有总表时直接用总表加，如无直接用子区域的表（注：子区域有总表就用总表，如无用子表）累加；5.1.2.6配置文件说明WXF-9000安装文件夹下parameter/emscfg.ini参数配置文件名：emscfg.ini路径：<当前程序工作路径>parameter内容：COUNTCONFIGDelayTime=70 DayMonthTime=0,27MaxValue=99999999Max10MinValue=100000MaxHourValue=1000000说明：DelayTime：延时统计时间，70表示70秒1) DayMonthTime：设置天、月统计时间，0,27表示天统计在零点27统计，月统计在1点 27统计。2) MaxValue设置最大原始值。3) Max10MinValue设置10分钟统计数据最大值；4) Max10MinValue设置小时统计数据最大值。4.1.3 费用统计4.1.3.1功能描述费用计量包括三种算法：分时计费、平价计费、阶梯计费。 统计包括设备费用统计、区域费用统计（区域是广义的，包括业态、位置区域及扩展的区域）。 （1）分时计费 分时计费包括尖/峰/平/谷4种时段，每种时段都有各自的费率，所有时段加起来是24小时。当日分时计费总费用=峰电价*峰电量（峰时时段电量一天内的累加和）+平电价*平电量（平时时段一天内电量的累加和+谷电价*谷电量（谷时时段一天内电量的累加和）+尖电价*尖电量（尖时时段一天内电量的累加和）；当月总费用：当日分时总费用累加。 （2）平价计费 只有一种费率，当日计费总费用 = 平价费用*当日总能耗； 当月总费用：当月日累加； （3）阶梯计费 阶梯一般有三级,目前支持以按月来结算。第一阶梯为基数电量，此阶梯内电量较少，电价也较低，电价乘电量即电费。第二阶梯电量较高，电价也较高一些，在第一级电价基础上加点价；第三阶梯电量更多，电价更高，在原电价基础上加更多。举例：假设第一档是0100，费率0.5；第二档是101300,费率0.55；第三档是3011000，费率是0.7；某用户4月耗电600度。第一档费用 100*0.5 =50；第二档是200*0.55=110；第三档是剩余电耗600-300 = 300，费用为300*0.7= 210；该月总费用为： 50+110+210 = 370；4.1.3.2业务处理流程Ø 程序启动后，初始化设备链表和区域链表，建立生产线程和计费线程进行费用统计。费用统计包括维度包括：设备和区域（位置区域、业态、自定义区域）；Ø 设备链表中设备包括设备ID、设备分类分项、设备所属费率，当设备入库时间点到时，从历史库中读取所有设备能耗数据，放入缓存，同时通过设备所属费率，算出该设备统计时间点的数据；Ø 同一费率类型设备加入相同链表；Ø 区域费用通过之前配置的采集设备累加。4.1.3.3设备费用统计从设备链表中取出对象，通过该对象所属的计费类型（从TB_EMS_DEVICE_PROPERTY中的DEVICE_ITEMCODE分类分项、PAYTYPE费率类型），获取费率配置信息。l 当计费类型是分时计费，获取到尖、峰、平、谷各时段的费率及时间范围(从TB_EMS_TIME_PERIOD_SET获取)，并从该设备的时表（TS_EMS_DataCenter_Device_Hour_xxxx）里获取各时间段内的能耗，算出该天的总费用，存入天费用历史表（TS_EMS_FEE_DAY_XXXX）。 当是结算日，将该月各天分时阶段费用累计存入月历史表（注：TS_EMS_FEE_MOUTH_XXXX为费用月表，一年一张表）l 当是平价计费时，从配置表中获取对应的费率（TB_EMS_PAR_VALUE_SET），并从设备的天表（TS_EMS_DataCenter_Device_Day_XXXX，一年一张表）中获取所查询天的能耗，算出该天的总费用。存入天费用历史表（TS_EMS_FEE_DAY_XXXX）。当是结算日时，从天的费用历史表中累加获取该月的总费用存入费用月表（TS_EMS_FEE_MOUTH_XXXX为费用月表，一年一张表）l 当是阶梯计费时，从配置表获取对应的费率和阶梯能耗范围（TB_EMS_MULTI_STEP），另从设备能耗天表（TS_EMS_DATACENTER_DEVICE_DAY_XXXX）中获取该月总能耗，通过总能耗在不同级别的阶梯，算出该月的总费用，并存入费用月表（TS_EMS_FEE_MOUTH_XXXX为费用月表，一年一张表）（注：阶梯不需要存天的历史费用数据）。4.1.3.4区域费用统计l 当计费类型是分时计费，从配置表获取对应的费率，从区域能耗表（TS_EMS_DataCenter_Area_Hour_XXXX）累加该区域各时段费用算出该天的总费用，存入天历史表(TS_EMS_FEE_DAY_XXXX）。 当是结算日，将该月所有天费用累计存入月费用历史表（TS_EMS_FEE_MOUTH为费用月表）l 当是平价计费时，从配置表中获取对应的费率，并从区域的天表（TS_EMS_DataCenter_Area_DAY_XXXX）中获取所查询天的能耗，算出该天的总费用, 存入天历史表(TS_EMS_FEE_DAY_XXXX）。当是结算日时，从天的费用历史表中累加获取该月的总费用存入月表（TS_EMS_FEE_MOUTH为费用月表）l 当是阶梯计费时，从配置表获取对应的费率和阶梯能耗范围，另从区域能耗天表（TS_EMS_DATACENTER_Area_DAY_XXXX）获取该月总能耗，通过总能耗在不同级别的阶梯，算出该月的总费用，并存入费用月表（TS_EMS_FEE_MOUTH_XXXX为费用月表，一年一张表）（注：阶梯不需要存天的历史费用数据）。4.1.3.5配置文件说明WXF-9000安装文件夹下parameter/emscfg.ini参数配置文件名：emscfg.ini路径：<当前程序工作路径>parameter内容：PAYCONFIG Timedaycfg = 1,38； Timemouthcfg = 3,38；说明：Timedaycfg = 1,38 ;设置天入库的时间，1,38是指凌晨的1点38分钟天的费用入库Timemouthcfg = 3,38 ;设置月费用入库时间，3,38指凌晨3点38分月的费用入库,月的入库时间要稍晚于天的入库时间注意：月的入库时间要稍晚于天的入库时间。4.2 数据异常判断与修复4.2.1 实现方案所有采样数据保存在历史采样数据表之前后台都会对其进行异常数据的判断，并且更新其标志位，把异常数据备份到另外一张表中待修复。修复线程针对标志为异常的数据进行修复，修复完成的数据，直接在历史采样表（TS_M5_XXX）中更新；修复完成后，调用存储过程，把数据保存一份到应用开发部的临时表中，以便做数据加工。修复算法1：其中负荷值为表头读数，如X(d, ti)左侧时刻的值找不到或X(dj, t)前一天的数据找不到，则一直往左时刻查找，如查找10天的数据都没有，则此次不再修复，待下一次继续；如X(d, ti)右侧时刻的值找不到或X(dj, t)后一天的数据，如查找1天的数据没有，则此次不再修复，待下一次再进行修复。修复过程中，如修复出的数据有异常，如下一时刻的表头值比上一次的小，则取出该异常点两侧时刻的值进行平均。异常数据修复算法：修复当前时间N天前开始的异常数据，N可配置。修复顺序为按照设备id正序以及采样时间由远及近。找到与待修复数据时刻点前后距离最近时刻的两个正常表头值（没有进行修复过的表头值），设前一正常时刻点为T1，当前时刻点为T2，后一时间点为T3，若T3-T1小于等于一小时，则该时刻点数据为X1+(X3-X1)*(T2-T1)/(T3-T1)；否则在前一时刻的表头值基础上加上历史平均值，作为当前时刻的表头值。历史平均值获取：该时段某个时间段内平均值（时间段通过读取配置文件获取）。断点数据修复算法：取相邻两个断点数据X1，X2，这两个点是由文件解析得到的正确值，依次修复该两点之间的中断数据，具体算法是：X1+（X2-X1）*N/T，其中N为该两点之间任意满足五分钟颗粒度的时间点序号，T为该两点之间总共满足五分钟颗粒度的个数。例如：2015-04-14 09:00:00和2015-04-14 10:00:00两个断点的正常值分别 为9000和9012，则2015-04-14 09:15:00修复的能耗值为9000+12*3/12 = 9003。 注：因通讯管理机存储断点数据频率是15分钟，对于后台采样来说，会有某些5分钟采样无法入库。历史补点数据算法：因某些原因，比如前置死机，后台宕机（无断点数据情况）导致5分钟采样入库缺失（或5分钟采样无变化），这会导致数据缺失或异常。 历史补点数据起始时间通过读取配置文件方式获取，通过查询采样时间获取缺失采样的时间，并加入缓存队列，进行数据补点。 补点算法说明： 假设当前要修复的时刻为T1，下一个5分钟为T3，找到上一个有效的时间节点T2（T2-T1小于一个小时，如果大于一个小时，则要补点的时刻移至T2-5），获取T3-T2历史平均值（默认一个星期，可配置），则T1原始值=T2基准值+历史平均值。注意：补点数据的前提是系统调试完毕，系统运行正常一段时间，不然作为基准点及历史值都失去意义。对于4.2.2 数据流程数据异常判断异常数据判断是在后台服务器保存至采样表之前，进行的，如为负值、比上次值小或极大值（本次值是上次值的10倍+1000），则初步修正为上次值，对异常的采样数据会备份到异常采样数据备份表（如TS_M5_ERROR_BAK）中，判断的对象包括电度量、水表、气表等读数递增的数据，异常数据包括0值、负值、极大值、比上次值小，如判断为异常，置标志为1，并去除标志2；如判断数据为断点续传、且为正确的数据，则调用存储过程，把数据加入到应用开发临时表中。数据修复采用单独线程进行，只进行数据的修复。修复过程中，只修复标志含有1（异常数据）的数据；如遇到1小时不变化的数据，则跳过数据不修复，等到下一个循环再修复。修复完成后，调用存储过程把修复的数据加入到应用开发临时表中。 数据补点4.2.3 数据库表结构异常采样数据备份表（TS_M5_ERROR_BAK）字段名描述数据类型是否为空备注ID自增的索引号IntNOT NULL增量为1TIMEID时间（年、月、日、时、分、秒）SMALLDATETIMENULL与TS采样表里的TIMEID一致SAMPLENO采样号INTNullTb采样表里的IDDEVICEID设备IDINTNULLTb_sample_ext_xxx表里的DEVICEIDSAMPLEVALUE采样值FLOATNullTS采样表里的数据值SAMPLETABLE所在的采样表名称，如TS_M5_003VARCHAR(50)NULLTb_sample_ext_xxx表里的SAMPLETABLENAMESAMPLECOLUMN所在的采样表的列，如V012Varchar(32)NULLTb_sample_ext_xxx表里的SAMPLECOLUMNDATA_DT数据值FLOATNullTb_sample_ext_xxx表里的VXXX_DTDATA_FLAG时间（年、月、日、时、分、秒）DATETIMENULLTb_sample_ext_xxx表里的VXXX_FLAGSAMPLETYPE采样类型INTNULLTb采样配置表里的标志字ISDEAL是否已修复过TINYTINTNOT NULL0-未修复，1-已修复DESCRIPTION错误描述VARCHAR(64)NULL如：极大值或突变值(上次值的10倍+1000),本次值=1500,上次值=10其它表（小时、日、月、年采样数据备份表）的表结构和此表结构一样，在此不再赘述。该表用来备份待修复的数据，包括数据值、数据有效时间等信息，防止在数据修复完成后，无法追溯之前的异常数据。4.3 断点续传功能我们系统中既存的统计功能，是定时将前置采集到的设备用能的原始数据进行分析、统计，并把统计好的数据插入到新的数据表中。但是服务器如果遇到断电、宕机等不可预知的因素。会导致采集到的原始数据未能够被统计到，从而出现数据不对的情况。为了使这些被统计遗漏的数据能被统计到，我们就需要一个独立的应用服务来补充当前既存统计服务的不足。另外前置机上送的数据有时候因受到外界干扰导致数据异常，这时需要需求平台对其进行修复，当平台修复完后，应用需对数据进行重新修补，保持数据的完整及准确性。4.3.1 实现方案在程序启动时，进行初始化配置信息，包括：l 加载统计颗粒表（TD_EMS_CountConfig）获取统计颗粒l 加载采样类型表TD_EMS_CouWXFampleConfigl 加载采样配置对应表TB_SAMPLE5MIN_EXT，获取设备与采样对应表l 加载区域/设备映射关系临时表BaseAreaDevConfig.ini，获取区域所挂设备l 在加载虚拟设备相关信息TB_EMS_DEVICE_PROPERTY，获取虚拟设备操作流程：通过记录所在的设备ID到TB_SAMPLE5MIN_EXT找到对应的颗粒度采样表，获取数据，再找到颗粒度所需的另外相邻脉冲量值，进行差值处理，并置标志位，组语句批量插入TS_EMS_TempData数据获取从（通过设备ID从TB_SAMPLE5MIN_EXT中对应的SAMPLETABLENAME字段，COLUMNNAME字段获取采样信息，通过采样信息从采样表获取对应时间点的值），将能耗值存入TS_EMS_TempDatal其他设备颗粒度的步骤如上所述； 更新数据的过程为：依次判断该设备当前时刻是否满足各个颗粒度（程序启动时初始化），若小于时颗粒度，则更新该设备的当前颗粒度的能耗值，并且更新对应区域的当前颗粒度的能耗值；若满足小时颗粒度，则更新该设备小时能耗值，天能耗值以及月能耗值，再对其关联区域计算小时能耗值、天能耗值以及月能耗。4.3.2 数据流程4.3.3 数据库表结构TS_EMS_DEVICEORIGVALUE字段名描述数据类型是否为空备注SysNo自增IDBigIntNOT NULLPKF_DEVICEID设备IDintNOT NULLF_ORIGVALUE能耗值floatNOT NULLF_PointNumber点号intNOT NULLF_COLLECTTIME统计的时间datetimeNOT NULLF_ITEMCODE分类分项的代码Varchar(5)NOT NULLF_STATE数据修复、断点续传处理的状态intNOT NULLSampleType采样类型intNOT NULL5 数据库说明5.1.平台表所列仅供参考，具体依据平台最终版本来确定。5.1.1 分钟采样表和标识时间戳表TS_M5_EXT_XXX字段名描述数据类型是否为空备注ID自增IDIntNOT NULLPKDATETIME统计的时间datetimeNOT NULLV001V001最后一次正确数据的时间datetimeNOT NULLV001_FLAGV001变量是否有效tinyintNOT NULL.V128V128最后一次正确数据的时间datetimeNOT NULLV128_FLAGV128变量是否有效tinyintNOT NULL5.1.2 TB_SAMPLETYPE采样