2023智能配用电大数据应用业务接口技术标准.docx

智能配用电大数据应用业务接口技术标准目次目次I前言III智能配用电大数据应用业务接口11 范围12 规范性引用文件13 术语和定义13.1 Hive 数据仓库工具13.2 HBase 分布式，面向列的数据库13.3 Strom实时计算系统13.4 ETL 数据仓库技术 Extract-Transform-Load 的缩写13.5 MapReduce Hadoop编程模型13.6 Spark 通用并行框架13.7 HDFS 分布式文件系统 Hadoop Distributed File System的缩写23.8 HDW 并行数据仓库架构24 符号、代号和缩略语25 配用电应用系统概述（待补充）26 数据接入26.1 接口列表26.1.1 数据接入26.1.2 数据发送36.1.3 数据接收37 数据存储47.1 分布式文件系统47.1.1 接口列表47.1.2 文件写入47.1.3 文件读取57.1.4 文件删除57.2 分布式数据仓库57.2.1 接口列表57.2.2 连接初始化接口67.2.3 连接关闭接口67.2.4 HQL执行接口78 数据计算78.1 实时计算78.1.1 接口列表78.1.2 任务包发布88.1.3 任务包删除98.1.4 任务启动98.1.5 任务停止108.2 批量计算108.2.1 接口列表108.2.2 任务包发布118.2.3 任务包删除128.2.4 任务启动128.2.5 任务停止139 非结构化数据访问服务接口149.1 文档管理149.1.1 添加文档149.1.2 修改文档159.1.3 删除文档169.2 文件夹管理179.2.1 判断文件夹是否存在179.2.2 获取文件夹下的子文件夹1810 GIS访问服务接口1810.1 基础服务1810.1.1 建立连接1810.1.2 获取图层信息1910.1.3 获取服务描述信息2110.2 图形浏览服务2210.2.1 基于范围获取电网图形2210.2.2 基于中心点和比例尺获取电网图形2410.2.3 获取矢量地图2610.3 专题图服务2810.3.1 获取站内一次接线图2810.3.2 查询单线图描述信息2910.3.3 获取系统图3110.4 电网拓扑分析服务3210.4.1 连通性分析3210.4.2 供电范围分析3310.4.3 供电半径分析3510.4.4 电源追溯36III智能配用电大数据应用业务接口1 范围本标准规定了配用电大数据平台数据内部交互方式及大数据应用平台的对外服务及接口方式。 本标准适用于配电及用电领域大数据平台内外部接口以及对外服务接口的设计、开发、实施。本标准不适用于综合业务大数据平台的内外部接口部分，相关要求可参照其他已发布标准执行。本标准适用于除电力调度业务系统以外的智能配用电应用业务系统接口。2 规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。 凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 5271.17-2010 信息技术 词汇 第17部分：数据库GB/Z 25320.7-2015电力系统管理及其信息交换 数据和通讯安全 第7部分:网络和系统管理（NSM）的数据对象模型DL/T 1080.1-2008电力企业应用集成 配电管理的系统接口 第1部分：接口体系与总体要求DL/T 1080.3-2010电力企业应用集成 配电管理的系统接口 第3部分：电网运行接口3 术语和定义GB/T 5271.17-2010界定的以及下列术语和定义适用于本文件。3.1 Hive 数据仓库工具将结构化数据文件映射为一张数据表，并提供简单的SQL查询功能的数据仓库工具。3.2 HBase 分布式，面向列的数据库基于列而不是基于行的适合于非结构化数据存储的数据库。3.3 Strom实时计算系统一种方便在计算机集群中编写与扩展复杂的实时计算的分布式实时计算系统。3.4 ETL 数据仓库技术 Extract-Transform-Load 的缩写一种用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程数据仓库技术。3.5 MapReduce Hadoop编程模型一种大规模数据集（大于1TB）的并行计算编程模型。3.6 Spark 通用并行框架一种类Hadoop MapReduce的通用并行框架，通过内存分布数据集，更好的适用于数据挖据与机器学习等需要迭代的MapReduce算法。3.7 HDFS 分布式文件系统 Hadoop Distributed File System的缩写一种高容错性的适合运行在通用硬件上的分布式文件系统。3.8 HDW 并行数据仓库架构一种构建在PC集群上的并行数据仓库架构。4 符号、代号和缩略语下列符号、代号和缩略语适用于本文件。无5 配用电应用系统概述由于电力调度生产数据安全性要求较高，实际操作中一般不以接口方式进行数据交换，本标准中不涉及电力调度业务系统及其接口技术标准。智能配用电业务系统主要情况如下：序号系统名称数据库类型数据类型实时性1计量资产全寿命周期管理平台Oracle结构化非实时2资产全寿命评估决策平台Oracle结构化非实时3设备（资产）精益化管理平台Oracle结构化非结构化（图片）非实时4营销辅助决策与分析平台Oracle结构化非实时5营销业务应用系统Oracle结构化非实时6营销GIS应用Oracle结构化非结构化（GIS）非实时7营销基础数据平台Oracle结构化非实时8营销业务管理平台Oracle结构化非实时9营销稽查应用系统Oracle结构化非实时10农电管理系统Oracle结构化非实时11乡镇供电所及班组一体化平台Oracle结构化非实时12ERP生产系统Oracle结构化非实时13生产作业信息管控平台Oracle结构化非实时14用电信息采集系统Oracle结构化实时15输变电状态监测系统Oracle结构化实时16供电电压采集系统Oracle结构化实时17电网GIS地理信息系统Oracle结构化非结构化（GIS）非实时18应急指挥管理平台Oracle结构化非结构化（GIS）非实时19应急抢修平台Oracle结构化非实时20电能服务管理平台Oracle结构化非实时21运营监测（控）信息支撑系统Oracle结构化非实时22电网统一视频监控平台应用系统Oracle结构化非结构化（视频）非实时23统一数据交换应用系统Oracle结构化非实时24全国统一电力市场技术支撑平台Oracle结构化非实时25移动互联支撑平台Oracle结构化非实时6 数据接入6.1 接口列表接口名称分布式消息队列接口包名com.sgcc.bigdata.api类名GdmqOperator方法名中文名称英文名称描述身份验证validate验证用户是否合法。发送数据send用户发送数据。接收数据fetch用户接收数据6.1.1 数据接入接口名称接入认证类路径com.sgcc.bigdata.api.GdmqOperator接口方法名validate接口说明数据接入前的用户名、密码校验，提供会话机制输入参数参数代码类型是否可为空备注usernameString否用户信息passwordString否用户密码topicString否操作主题typeint否操作类型返回结果结果代码类型备注flagboolean如果结果为true，表示有该权限，false就没有该权限结果格式实例示例代码public static void main(String args) throws Exception/用户名String username = "00001" String password = "00001"/操作的主题String topic = "sgcc-topic"/定义操作类型(0-发送数数据 ，1-接收数据)int type = 0;GdmqOperator gdmq =new GdmqOperator();boolean result=gdmq.validate(username, password ,topic, type);if(result)System.out.println("用户有该操作权限");elseSystem.out.println("用户没有该操作权限");6.1.2 数据发送接口名称数据发送类路径com.sgcc.bigdata.api.GdmqOperator接口方法名send接口说明消息队列数据发送输入参数参数代码类型是否可为空备注topicString否主题名msgString否消息内容isSensitiveboolean否是否加密返回结果结果代码类型备注flagboolean如果结果为true，表示发送成功，false就表示发送失败结果格式实例示例代码public static void main(String args) throws Exception/操作的主题String topic = "sgcc-topic"/发送的消息体String msg = "hello word!"/是否加密boolean isSensitive = false;GdmqOperator gdmq = new GdmqOperator();boolean result = gdmq.send(topic, msg, isSensitive);if(result)System.out.println("发送成功");elseSystem.out.println("发送失败");6.1.3 数据接收接口名称数据接收类路径com.sgcc.bigdata.api.GdmqOperator接口方法名fetch接口说明消息队列数据接收接口输入参数参数代码类型是否必填备注topicString是主题名handlerMessageEventHandle是数据返回处理类返回结果结果代码类型备注无结果格式实例返回结果送给MessageEventHandle类进行处理示例代码public static void main(String args) throws Exception/操作的主题String topic = "sgcc-topic"/创建数据的处理类（对发送过来的数据根据具体的业务逻辑进行处理）MessageEventHandle handler = new MessageEventHandle();GdmqOperator gdmq = new GdmqOperator();gdmq.fetch(topic, handler);7 数据存储7.1 分布式文件系统7.1.1 接口列表接口名称分布式文件系统接口包名com.sgcc.bigdata.api类名GdfsOperation方法名中文名称英文名称描述文件写入create将本地文件的内容写到hadoop集群的文件里 文件读取read将hadoop集群上文件的内容写到本地文件文件删除deleteFile删除hadoop集群上的文件文件追加append将本地文件的内容追加到hadoop集群的相应文件里目录创建mkdirs在hadoop集群上创建目录文件夹名称修改rename修改文件夹名称 目录删除delete删除hadoop集群上的文件夹查看文件信息listStatus查看文件及文件夹里文件的信息7.1.2 文件写入接口名称文件写入类路径com.sgcc.bigdata.api. GdfsOperation接口方法名create接口说明提供分布式系统文件写入的功能输入参数参数代码类型是否可为空备注gdfsFileString否Hadoop集群文件inInputStream否本地文件输入流overrideboolean否是否覆盖文件内容unameString否hdfs文件目录操作用户名返回结果结果代码类型备注无void结果格式实例示例代码 public class CreateFileDemo public static void main(String args) throws Exception String gdfsFile = "/test/1.txt"/Hadoop集群文件String localFile = "D:/test/a.txt"/本地文件InputStream in = new BufferedInputStream(new FileInputStream(localFile);boolean override = true;/是否覆盖文件内容String uname = "root"/hdfs文件目录操作用户名GdfsOperation.create(gdfsFile, in, override, uname);7.1.3 文件读取接口名称文件读取类路径com.sgcc.bigdata.api. GdfsOperation接口方法名read接口说明提供分布式系统文件读取的功能输入参数参数代码类型是否可为空备注outOutputStream否本地文件输出流gdfsFileString否Hadoop集群文件unameString否hdfs文件目录操作用户名返回结果结果代码类型备注无void结果格式实例示例代码public class ReadFileDemo public static void main(String args) throws Exception String localFile = "D:/test/a.txt"/本地文件OutputStream out = new BufferedOutputStream(new FileOutputStream(localFile);String gdfsFile = "/test/1.txt"/Hadoop集群文件String uname = "root"/hdfs文件目录操作用户名GdfsOperation.read(out, gdfsFile, uname);7.1.4 文件删除接口名称文件删除类路径com.sgcc.bigdata.api. GdfsOperation接口方法名deleteFile接口说明提供分布式系统文件删除的功能输入参数参数代码类型是否可为空备注gdfsFileString否Hadoop集群文件返回结果结果代码类型备注无void结果格式实例示例代码 public class DelFileDemo public static void main(String args) throws Exception / 删除文件String gdfsFile = "/test/1.txt"GdfsOperation.deleteFile(gdfsFile);7.2 分布式数据仓库7.2.1 接口列表接口名称查询计算接口包名com.sgcc.bigdata.api类名GddwUtil方法名中文名称英文名称描述初始化连接getConn通过jdbc连接Hive连接关闭close关闭Hivejdbc连接HQL执行exec执行HQL语句查询参数设置setParameter设置查询参数7.2.2 连接初始化接口接口名称连接初始化类路径com.sgcc.bigdata.api. GddwUtil方法名getConn接口说明初始化数据库连接输入参数参数代码类型是否可为空备注urlString否连接数据库的urluserString否数据库用户名passwordString否数据库密码返回结果结果代码类型备注connConnectionHive jdbc连接结果格式实例org.apache.hive.jdbc.HiveConnection7a187814示例代码public class JdbcConnDemo public static String url = "jdbc:hive2:/ip:port/default"public static String name= "hdfs"public static String password ="" ;public static void main(String args) throws Exception / Gddw JDBC连接，调用Jdbc的getConnect()方法Connection conn;/ 建立连接conn = GddwUtil.getConn(url, name, password);if(conn != null)System.out.println("连接成功！");elseSystem.out.println("连接失败！");/ 关闭连接GddwUtil.close(conn);7.2.3 连接关闭接口接口名称关闭连接类路径com.sgcc.bigdata.api. GddwUtil方法名close接口说明关闭数据库连接输入参数参数代码类型是否可为空备注urlString否连接数据库的urluserString否数据库用户名passwordString否数据库密码返回结果结果代码类型备注无无无结果格式实例无示例代码public class CloseConnDemo public static String url = "jdbc:hive2:/ip:port/default"public static String name = "hdfs"public static String password = ""public static void main(String args) throws Exception / Gddw JDBC连接，调用Jdbc的getConnect()方法Connection conn;/ 建立连接conn = GddwUtil.getConn(url, name, password);/ 关闭连接GddwUtil.close(conn);System.out.println("关闭成功！");7.2.4 HQL执行接口接口名称执行HQL类路径com.sgcc.bigdata.api. GddwUtil方法名exec接口说明执行HQL语句输入参数参数代码类型是否可为空备注urlString否连接数据库的urluserString否数据库用户名passwordString否数据库密码sqlString否sql语句返回结果结果代码类型备注resultbooleantrue : 执行成功 false: 执行失败结果格式实例true示例代码public class HQLExecDemo public static String url = "jdbc:hive2:/ip:port/default"public static String username= "hdfs"public static String password ="" ;public static String sql = "select * from wyp"public static void main(String args) throws Exception /执行HQLboolean result = GddwUtil.exec(url, username, password, sql);if(result)System.out.println("HQL执行成功！");elseSystem.out.println("HQL执行失败！");8 数据计算8.1 实时计算8.1.1 接口列表接口名称任务计算接口包名com.sgcc.bigdata.api类名CalcTaskManager方法名中文名称英文名称描述发布任务publishTask将本地实时计算任务jar包上传到Hadoop集群，并将相关配置存入mysql数据库。启动任务startTask执行实时计算任务jar包停止任务stopTask停止实时计算任务jar包删除任务deleteTask删除Hadoop集群上的实时计算任务jar包，并将mysql数据库中的相关配置删除8.1.2 任务包发布接口名称发布任务类路径com.sgcc.bigdata.api.GstreamingManagerImpl接口方法名publishTask接口说明发布实时计算任务输入参数参数代码类型是否可为空备注taskNameString否任务名称localFilePathString否jar包的本地路径localConfigPathString是配置文件的本地路径driverClassString否Main程序类operParamsString是运行参数配置返回结果结果代码类型备注resultMap<String,Object>“flag”：boolean；“message”：String任务发布成功-true，发布成功，任务发布失败-false，“发布失败”、“任务不能为空”、“本地jar包路径不能为空”、“Main程序类不能为空”、“任务名重复”或者发布失败日志结果格式实例“flag”：true“message”：发布成功示例代码public class PublishGstreamingTaskDemo /* * throws Exception * 功能 发布Gstreaming任务 */public static void main(String args) throws Exception / 本地jar包路径String localFilePath = "E:/storm-kfone-b1111.jar"String localConfigPath = "E:/aaa.properties"/要运行的实时任务任务名String taskName = "TestGstreaming"/ 任务运行的主类名String driverClass = "com.ylkj.bigdata.kfone.CostomerServiceOneTopology"/ 任务运行的参数，从左到右注意顺序String operParams = "2", "100", "2", "2" ;Map<String,Object> result = new HashMap<String,Object>();CalcTaskManager rfsi = new GstreamingManagerImpl();result = rfsi.publishTask(taskName,localFilePath,localConfigPath,driverClass,operParams);System.out.println(result.get("flag");System.out.println(result.get("message");8.1.3 任务包删除接口名称删除任务类路径com.sgcc.bigdata.api.GstreamingManagerImpl接口方法名deleteTask接口说明删除实时计算任务输入参数参数代码类型是否可为空备注taskNameString否任务名称返回结果结果代码类型备注resultMap<String,Object>“flag”：boolean；“message”：String任务删除成功-true，删除成功，任务删除失败-false，“任务不存在”、“删除数据库任务信息失败”或者“任务名不能为空”或者删除失败日志结果格式实例“flag”：true“message”：删除成功示例代码public class DeleteGstreamingTaskDemo /* * throws Exception * 功能 删除Gstreaming任务 */public static void main(String args) throws Exception String taskName = " TestGstreaming"CalcTaskManager rfsi = new GstreamingManagerImpl();Map<String,Object> result = new HashMap<String,Object>();result = rfsi.deleteTask(taskName);System.out.println(result.get("flag");System.out.println(result.get("message");8.1.4 任务启动接口名称启动任务类路径com.sgcc.bigdata.api.GstreamingManagerImpl接口方法名startTask接口说明启动实时计算任务输入参数参数代码类型是否可为空备注taskNameString否任务名称返回结果结果代码类型备注resultMap<String,Object>“flag”：boolean；“message”：String任务启动成功-true，启动成功，任务启动失败-false，“任务不存在”、“任务名不能为空”或者启动失败日志结果格式实例“flag”：true“message”：启动成功示例代码public class StartGstreamingDemo /* * throws Exception * 功能 运行Gstreaming任务 */public static void main(String args) throws Exception / TODO Auto-generated method stub/要运行的实时任务任务名String taskName = " TestGstreaming"CalcTaskManager gstreaming = new GstreamingManagerImpl();Map<String,Object> result = new HashMap<String,Object>();result = gstreaming.startTask(taskName);System.out.println(result.get("flag");System.out.println(result.get("message");8.1.5 任务停止接口名称停止任务类路径com.sgcc.bigdata.api.GstreamingManagerImpl接口方法名stopTask接口说明停止实时计算任务输入参数参数代码类型是否可为空备注taskNameString否任务名称返回结果结果代码类型备注resultMap<String,Object>“flag”：boolean；“message”：String任务停止成功-true，停止成功，任务停止失败-false，“任务不存在”、“任务已停止或已运行结束”、“任务名不能为空”或者停止失败日志结果格式实例“flag”：true“message”：停止成功示例代码public class StopGstreamingDemo /* * throws Exception * 功能 停止Gstreaming任务 */public static void main(String args) throws Exception / TODO Auto-generated method stub/要停止的实时任务任务名String taskName = " TestGstreaming"CalcTaskManager gstreaming = new GstreamingManagerImpl();Map<String,Object> result = new HashMap<String,Object>();result = gstreaming.stopTask(taskName);System.out.println(result.get("flag");System.out.println(result.get("message");8.2 批量计算8.2.1 接口列表接口名称批量计算接口包名com.sgcc.bigdata.api类名CalcTaskManager方法名中文名称英文名称描述发布任务publishTask将本地批量任务jar包上传到Hadoop集群，并将相关配置存入mysql数据库。启动任务startTask执行批量任务jar包停止任务stopTask停止批量任务删除任务deleteTask删除Hadoop集群上的批量任务jar包，并将mysql数据库中的相关配置删除8.2.2 任务包发布接口名称发布任务类路径com.sgcc.bigdata.api.task.GmrManagerImpl接口方法名publishTask接口说明批量计算任务发布输入参数参数代码类型是否可为空备注taskNameString否任务名称localFilePathString否jar包的本地路径localConfigPathString