XX县工业集中区水气土预警平台信息化建设方案.docx
《XX县工业集中区水气土预警平台信息化建设方案.docx》由会员分享,可在线阅读,更多相关《XX县工业集中区水气土预警平台信息化建设方案.docx(76页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、XX县工业集中区水气土协同预警体系建设方案2021年11月统一用户管理不仅具有丰富、灵活的系统功能,而且拥有完善的安全管理措 施,对于不同权限级别的用户和管理员都有不同的系统功能和数据访问范围。该 用户管理系统最大范围地考虑到了用户的普遍要求。1.3.1.2. 日志管理日志管理实现对访问业务系统的所有操作行为进行记录,以便系统出现问题 时有据可查,同时可以根据需要,对日志进行检索和查询,生成分析统计信息。日志管理只能由具有日志管理操作权限的用户或系统管理员操作,日志的内 容包括操作日志和登录日志。1.3.1.3. 工作流引擎工作流(Workflow)就是工作流程的计算模型,即将工作流程中的工作
2、如何 前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计 算。工作流要解决的主要问题是:为实现某个业务目标,在多个参与者之间,利 用计算机,按某种预定规则自动传递文档、信息或者任务。工作流管理软件详细定义、管理并执行工作流,系统通过运行一些软件来执 行工作流,这些软件的执行顺序由工作流逻辑的计算机表示形式(计算机化的业 务规则一一过程定义)驱动。工作流引擎的主要功能是通过计算机技术的支持去 定义、执行和管理工作流,协调工作流执行过程中工作之间以及群体成员之间的 信息交互。在分布式应用系统中,工作流需要依靠工作流引擎来实现。.环境数据资源中心(水、气、土)环境数据资源中心采用虚
3、拟化和商业智能等大数据处理技术手段,对环境管 理所涉及的海量、多源、异构数据进行全方位的采集、清洗、转换、加载、分析 及处理,建设内容全面、业务广泛、数据规范、组织合理的环境信息资源体系, 实现各类环境数据的有机整合、数据共享和深度应用,为环境管理、环境信息公 开提供数据服务和信息支撑。1. 3. 2. 1.标准规范体系建设标准规范体系是建设环境数据资源平台、推动环境信息资源共享应用的基础 和核心工作。平台标准规范体系是在参考国家标准、行业标准、地方标准以及国际标准的基础上,采用直接引用和自行制定相结合的办法提供一套可供信息资源 整合服务平台建设的标准、规范和切实可行的管理办法,用以保障平台顺
4、利建设 和平台运行环境的形成。通过实施全方位的标准规范体系建设,将环境信息资源 加工、整合、交换共享、应用和管理各个环节业务有机地连接起来,为环境数据 资源中心的建设提供技术规范和指导。平台标准体系主要包括数据标准、服务标准及管理标准等三大类,主要用于 规范系统建设过程中的技术要求和数据标准,屏蔽各部门、各系统、各业务之间 的差异性,按需、有序、及时、有效的共享信息。具体建设内容如下图所示:环境数据资源中心标准规范体系引用参考国际标准引用参考国家标准引用参考行业标准引用参考地方标准数据标准信息资源目录标准资源分类与代码标准环境信息元数据规范数据字典规范数据采集规范数据质量规范数据ETL作业规范
5、数据共享交换标准空间数据应用标准规范数据维护与更新规程数据库设计及运行管理规范管理标准图2标准规范体系建设1. 3. 2. 2.数据采集整合数据资源中心的数据资源主要来自日常的业务管理过程历史数据与新增数 据,通过对这些业务信息的获取,建立环境数据资源中心基础的数据源,其中在 获取数据源的过程中,主要以excel表格、已有信息系统支持、非结构化数据 和没有信息系统支持的电子文档或者纸质文档等形式获取。数据采集与整合是环境数据资源中心的基础部分,系统提供一整套规范、高 效、安全的数据采集与整合机制,实现结构化数据、非结构化数据的统一整合和 过程监控。根据环境数据的来源和格式,按照不同来源的更新机
6、制,将数据集成进入数据资源中心库,系统提供两种主要的数据采集形式:数据在线填报和数据交换。数据在线填报针对特有的业务数据(比如土壤监督性监测和自行监测数据、地下水定期监 测数据等)且该数据不具备数据交换的特征,系统可通过定制数据录入表单让用 户直接进行在线数据填报,从而完成数据的采集入库(支持地图定位功能)。数据交换整合数据交换是数据采集的主要形式。系统提供一体化ETL处理技术实现各类 结构化信息的抽取、转换、清洗、装载一体化整合处理,并实现不同数据源之间 的定期同步更新机制。数据交换整合子系统的核心组件主要包括ETL流程设计 器、ETL运行引擎、ETL任务监控、任务调度引擎以及任务定义组件。
7、ETL技术的优势在于其将数据的处理流程划分为源数据读取、处理器处理以 及目标数据更新三个主要阶段,通过定义数据源、处理器、以及目标数据对象, 实现数据处理、写入、更新与具体数据格式的分离。同时通过处理器对象的灵活 挂接,实现数据处理流程的灵活定制。针对数据源读取,系统提供丰富的结构化数据格式支持:包括Oracle、SQL Server、DB2等关系型数据库,Excel、Txt、Access等文件类型数据格式,以及 支持对各种常用的GIS格式及文件、数据库、服务接口的读写能力。针对处理器定义,系统提供异构数据之间的批量数据的转换能力,提供丰富 的数据处理功能,如列映射、派生列、条件性拆分、排序、
8、联接、聚合、SQL脚 本、Java脚本等多种转换方法。同时,整套ETL工具还具备多层次的插件扩展支持,通过一套规范化的接口 协议,提供多层次、丰富的插件扩展能力,包括自定义数据源的扩展、自定义触 发流程插件的扩展、自定义日志处理模块的扩展、自定义数据容器的扩展等。对定制好的ETL流程,结合不同的数据更新需求,系统提供相应的交互界面 对其进行管理:可将ETL流程发布成一个独立的任务,可按天、按周、按月、或 者特定时间定期触发其执行,也可依据外部条件进行触发;能监控任务的执行情 况并提供执行日志的查看功能。定时采集对于需要按周期自动执行的采集任务,在明晰采集需求后可运用ETL流程 设计器快速定制相
9、应的ETL采集流程,然后在系统中注册一个定时采集任务, 系统便能按照所设条件定期触发其执行,从而完成数据的定时采集入库。系统支持对任务执行的全面监控,可查看任务的执行时间、采集的数据、执 行日志等,亦可暂停或立即执行任务。手动采集手工采集主要适用于需要根据既定的采集条件来对某个数据源进行数据采 集的场景。采集条件可以是用户自行选择的数据时间范围,也可能是指定的某些 监测点位或监测项目等。不同的数据源可以定制不同的采集条件。对于手工采集任务,可根据采集需求定制相应的ETL采集流程,然后将该流 程注册到系统中成为一个手工采集任务。系统会提供相应的交互界面以便让用户 顺利完成手工数据采集,同时还可查
10、看任务的执行结果、所采集的入库数据及执 行日志等。文件导入文件导入主要适用于从Excel、XM等结构化文件中采集数据的场景。系统 针对每种文件数据源定制相应的模板并提供模板解析功能。用户可将符合模板格 式的数据文件导入到系统中,系统会自动检查文件格式并执行采集流程以完成数 据的采集、处理及存储,同时支持导入日志及入库数据的查看。1. 3. 2. 3.数据资源管理数据资源管理系统为数据中心的数据资源提供集中、统一的管理,主要包括 基础信息管理、元数据管理、操作数据管理、资源目录管理及数据资源管理。基础信息管理维护和管理各业务应用系统在处理业务中均需要使用的各类基础性信息,包 括环保机构基础信息、
11、环境质量基础信息、污染源企业信息、监测指标信息、公 共代码信息、行政区划、流域水系等。通过对基础信息的管理,形成一致的环境 数据资源中心的基础信息库,为数据整合及共享提供必要的支撑。污染源管理污染源作为环境管理的重点对象,与环境管理工作密切相关。对污染源进行 集中管理以实时掌握污染源相关信息是环境管理的必要基础。用户可以新增一个污染源企业,可对已有污染源信息进行编辑,也可根据搜 索条件快速定位所关注的污染源列表,同时还可对污染源进行注销管理。一个污染源主要包括基本信息、管理属性、环境属性、主要产品、原辅材料、 生产设备、排口信息、治理设施、排污许可、附件信息等。公共代码管理对系统中需要涉及到的
12、各类标准代码(如环境标准代码、污染源类型代码) 进行统一管理以形成标准代码库。当进行数据采集时,就可根据标准代码库将数 据源中所涉及的环境代码进行统一匹配和转换,从而保证环境数据资源中心中数 据的统一性和准确性。环境监测点位系统提供各类环境监测点位的管理,包括土壤监测点位、大气环境监测点位、 水环境监测点位等。元数据管理元数据(Metadata)描述的是数据的背景、内容、数据结构及其生命周期管 理。简而言之,元数据是“数据的背景”。元数据管理的主要目标是使数据、程序具有自描述性,使数据、程序更易于 管理和维护。元数据的提取、修改和共享贯穿整个数据资源中心的建设和使用过 程中。环境数据中心所涉及
13、的元数据主要包括ETL元数据、数据库元数据、资源 元数据、报表元数据、界面元数据、服务接口元数据、文件元数据等。元数据管理主要包括元数据分类、元数据的采集与同步、元数据信息的管理 与发布O元数据分类对于系统中所涉及的元数据,采用统一的业务分类进行管理。系统维护公共 的元数据分类,支持层级结构。元数据采集与同步元数据采集与同步是指对各类元数据信息进行采集并按照一定的规范存储 到元数据库中以供日后杳询与使用,同时提供元数据的同步更新机制,建立元数 据的版本管理。数据库元数据的采集与同步是指对表、视图、存储过程、方法等数据库对象 进行扫描,获取各数据库对象所包含的元数据,并将其按照设定的分类存储于系
14、 统中。系统自动检查数据仓库中的对象,保持元数据同步,并建立元数据的版本 管理。元数据管理抽取上来的元数据并不一定能全部满足元数据的发布要求,管理员可对元数 据进行修改,如增加、修改中文含义等。数据查询系统为数据中心的数据提供可视化查询功能,如定制查询、动态模板查询等, 同时支持数据导出等操作。定制查询根据应用需要,系统定制查询页面供用户查询数据中心的已有数据。支持按 条件查询、关键字搜索对已有数据进行快速浏览,并提供数据导出功能。动态模板查询动态模板查询是指用户根据自己的需求,运用系统提供的模板制作工具定制 相应的数据查询模板;系统会对该模板进行解析并提供相应的数据查询界面,方 便用户对数据
15、进行查询、浏览及导出。模板制作根据应用需要,制作数据查询模板,从数据库中将一张或多张表或视图里的 数据取出来予以展示、查询与应用。制作数据查询模板主要包括:模板基本信息 管理、定义模板数据集、设置信息展示表格、配置参数查询面板、定义查看详情 表单。基本信息用以标识不同模板,数据集决定了模板所要展现的数据范围,信 息表格定义了模板的外观展现,查询面板则提供了数据过滤功能。模板解析针对所制作的模板,系统会按照通用的查询样式解析所定义的“查询模板”, 支持模板内容的实时预览。模板发布用户可以根据需要,将所制定的模板对外发布成资源,以供其它用户检索浏 rlA- JaL o数据资源管理系统采用统一的元数
16、据标准对环境信息资源进行描述,数据中心的数据均视为资源进行统一管理。包括资源目录编目、资源注册、资源审核、资源发布、资 源检索等功能。资卸检东c贵郡检嫌日象检盛图2资源管理逻辑架构资源目录管理环境信息资源目录以环境信息分类与代码为依据,以目录技术、元数据 技术为支撑,对环境数据资源进行适当的分类和编码,从而建立科学、合理的环 境信息资源目录体系,用以存放和管理各类环境数据;为用户定位和访问资源提 供方便,为信息共享交换提供服务。系统支持自定义资源目录,可对资源目录进行新增、编辑与删除。资源注册资源注册是指资源发布者将自己的数据资源按照一定的标准注册到资源库 中并挂在资源目录树上以供他人检索、浏
17、览。资源发布者需要填报资源元数据信 息方能完成资源的注册。资源元数据是对资源的补充说明,用来描述资源的各种 背景信息,方便检索资源。资源审核注册到系统中的资源,需要经过管理员审核。只有审核通过的资源才能被用 户检索和访问,审核不通过的资源会被退回给资源发布者并指明审核失败的原因。资源管理面向管理员,系统提供全局的资源管理界面,对注册到系统中的各种资源进 行统一管理:可注册新资源,可对已有资源元数据进行修改,可删除已发布的资 源,可对资源进行检索与访问。1. 3. 2. 4.文档管理文档管理以文档元数据为基础,将不同类型的内容(可包括:声、像、图形 图片、文字等)全部以数字化的方式妥善保存起来。
18、系统利用内容管理技术将信 息进行统一存储。系统提供基于文档元数据(分类、标签、类型、时间等)的检 索和基于文档内容的全文检索,并对查询结果进行在线浏览和下载。生态环境部门积累的大量历史数据往往以纸质档案的形式存在,不利于数据 的共享,因此需要对这些纸质数据进行电子化扫描并上载到数据资源中心,形成 电子档案。系统支持多个文件的批量上传,并针对每个扫描文件都维护相应的元数据信 息,如名称(编码)、标题、标签、摘要、所属企业等,以便日后快速检索,同 时支持文件的在线预览与下载。1.3. 2. 5.资源共享中心资源共享中心是系统各类数据资源共享的门户,是平台数据及功能服务的集 中展示中心,也是用户登录
19、平台、访问数据和调用功能服务的唯一入口。用户通过访问资源共享中心可以在线查阅各类资源,还可通过服务注册的方 式共享自己的资源。可按照用户关注度对资源进行排序,轻松查看热门资源,并 提供多种检索方式帮助用户快速找到自己想要的资源。首页用户通过首页可以快速实现:已采集的数据量统计、已发布的资源分析、已 收录的扫描件汇总等,同时能轻松查看系统中的热门资源,如最新上传资源、最 多下载资源、最多访问资源等。全文检索针对数据中心所采集的非结构化数据(如资源附件、扫描件等),系统提供 基于文档元数据(如分类、标签、类型、时间等)的检索和基于文档内容的全文 检索,从大量的文档中将相关的资料快速查询出来,并对查
20、询结果进行在线浏览 和下载。资源中心资源中心是资源使用者搜索资源、查阅资源、发布资源、管理资源的集中地。资源检索针对已发布的资源,系统提供统一的资源搜索窗口,向资源使用者提供基于 资源元数据和资源目录体系的灵活检索手段。资源使用者可以对检索出的、具有访问权限的资源进行预览、下载及收藏。资源注册资源使用者可以将自己的数据资源按照一定的标准注册到资源库中供管理 员审核。待审核通过后该资源可供他人检索、浏览。个人中心个人中心是系统提供给每个资源使用者的个人区域。资源使用者可以集中管 理自己注册的资源,可以查看资源下载记录,可以查看所收藏的资源并支持收藏 夹分类。1. 3. 2. 6.资源交换共享数据
21、交换与共享是数据中心的重要服务功能,数据共享是开展大数据建设的 前提与基础。在环境数据元的基础之上,系统基于通用的XML及Schema,定制 出一套平台的交换标准,支持SOAP、RMI、Rest Service、Web Service等信息 传输方式,将各类数据信息资源封装为服务接口,满足各类应用的数据访问需要。对于各类服务接口,系统提供接口元数据信息的查询、服务接口调用日志的 查看等辅助功能,以增加数据交换过程的透明度,提高数据交换过程的可管理性。1. 3. 2. 7.系统管理业务支撑业务支撑顾名思义就是为整个数据中心产品平台提供业务支撑,包括用户管 理、组织机构管理、角色管理、权限分配、日
22、志管理等。数据访问权限管理实现对数据的分级、分类、分权限管理,有效地控制用户 访问数据内容的能力。按照“用户级别及权限”的规定来授权用户对数据的访问, 防止越权访问或未授权的有意或无意地泄露、修改或破坏数据。系统配置维护系统中需进行自定义配置的数据和信息,以便其他功能予以引用。主要 包括企业关联管理、功能因子组配置、首页主题配置、污染源档案菜单配置等。企业关联管理数据中心维护了一套统一的污染源企业,而业务系统中也有各自的企业信息。 数据中心需要把散乱在各个业务系统中的数据汇聚在一起,所以必然会碰到企业 匹配的问题。如何将数据中心的企业与业务系统中的企业进行匹配,便成了首要 解决的问题。针对每一
23、类业务数据,系统可根据预先设置的匹配规则,在采集数据后自动 根据匹配规则,将业务数据与数据中心的企业进行关联。同时系统也提供手工匹 配界面,允许用户手动进行关联。功能因子组配置对系统中需要配置监测项目的各个功能进行监测项目组配置,以便在实现该 功能时引用。污染源档案菜单配置同生态环境单位对污染源档案关注的重点不同,且系统所能整合的污染源数 据也各异,因此系统提供污染源档案的菜单管理界面,能够让系统配置人员根据 实际情况配置菜单,从而实现污染源档案菜单的个性化展示。1.3. 3.智能监测平台智能监测平台主要是将智能化监测设备感知到的水、气、土壤与地下水、污 染源等环境监管要素数据,进行采集、入库
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- XX 工业 集中 水气 预警 平台 信息化 建设 方案
限制150内