智慧环保环境数据中心建设方案.doc

《智慧环保环境数据中心建设方案.doc》由会员分享，可在线阅读，更多相关《智慧环保环境数据中心建设方案.doc（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、智慧环保环境数据中心建设方案环境数据中心是各种业务数据的集成和交换中心，利用数据仓库技术对各种环保业务数据进行统一抽取、过滤、转换清洗、整合及加载，消除数据的孤岛效应，同时提供数据的查询、统计分析结果展示、资源目录、数据服务接口等。数据中心主要包括数据汇集、数据仓库、数据应用与服务三部分。建立环境数据中心，统一组织、存储和管理环保部门的全部工作数据，从底层实现环保基础数据、地理信息数据和业务数据的共享，形成整个部门的共享网络体系，为环保责任目标考核、总量减排、环境管理、环境执法等提供科学、准确、及时、有效的数据，从而全面提高环境数据管理水平，极大增强环境数据共享服务能力，为环境管理、政府决策、

2、环境信息公开提供全面的多层次的环境数据服务。7.1设计思路7.1.1提供数据统一存储与管理在充分分析环境业务现状与应用需求的基础上，建设“污染源-区域环境-环境保护-环保规划”数据线索模型，建设跨专业、跨系统的管理、查询、分析、应117 / 235 智慧环保解决方案用与数据挖掘模式，并通过对数据存储与分发的软硬件体系调研与研究，提供可借鉴的数据存储与管理平台建议。数据中心集中存储环保局各业务系统的所有共享数据，不仅能为环保局上层应用系统提供数据，为决策支持分析提供足够丰富的数据依据，同时也能为各二级单位提供共享、交换数据。7.1.2实现数据统一质量控制通过对环境业务流和数据流进行现状分析，提出

3、数据源头采集的运行机制方案，研究环保业务数据的源头采集方案、反馈、考核管理机制，实现污染源生命周期过程数据、环境综合管理业务数据、环保行政管理综合数据、环境规划综合数据的管理、归档成果资料的及时准确采集与入库统一管理；解决数据唯一性采集与准确性问题，确保环境数据中心数据的全局统一性、规范性和标准性，确保各类入库数据的全局唯一性和实时有效性。7.1.3确保数据资源高效整合通过统一的数据标准规范与各业务应用系统之间建立相互的联系，实现环保局各信息系统数据资源的整合。把分布在各业务应用系统中信息孤岛上的数据集成到一起，实现数据的统一存储、分析、处理、传递，避免不安全的数据存放、数据难以共享、数据格式

4、不统一、数据缺乏真实性和可靠性等问题的出现，最终实现信息的高度共享。7.1.4提供统一的环境数据共享服务实现环保数据中心数据的跨专业、跨系统的企业级信息共享与应用集成，同时为环保业务已建各系统的集成与共享提供建设依据与服务，真正实现环保业务体系共享服务。7.1.5提供统一的环境地理信息共享服务建设环境地理信息平台，为环境信息化体系的各应用业务系统提供GIS技术支持而建设的一个通用的环境地理信息应用中间件平台，提供包括查询、图表分析、渲染图分析等GIS功能接口，各种应用系统需要时调用该平台接口即可实现地理信息功能，实现环保业务可视化。7.1.6充分利用现有资源进行数据深挖掘分析以实时网络传输、数

5、据资源共享、业务信息管理、模拟环境演变、展现分析结果等信息技术功能为核心，充分运用数据挖掘分析、模型分析等高新技术手段为领导决策提供决策支持，包括宏观决策与微观决策。宏观决策是指涉及大尺度范围118 / 235 智慧环保解决方案的环境管理决策，能够对全市范围的环保工作提供建设性的信息支持，为制定各项宏观政策和措施提供支持，并检验决策手段所带来的环保效益；微观决策是指具体的针对一时一事的响应措施，能够帮助具体管理人员提高工作效率，直观地了解各项工作的发展趋势，及时发现环境管理中的问题所在，为管理工作的实际操作提供参考意见，并具体的评估工作进度和实施效果。7.1.7建立集中数据发布信息门户实现决策

6、支持分析。基于数据中心将各业务应用系统的输出通过信息门户以多种方式展现给用户，使得用户可以通过信息门户全面掌握各环保业务情况。7.2系统框架环境数据中心建设是智慧环保的资源支撑 ,可以为其他业务系统提供丰富的数据支撑,以污染源数据和环境质量数据框架为基础，以业务管理协同化、数据更新制度化、决策支持科学化为原则，建设数据动态采集体系、数据共享服务体系和数据综合分析利用体系，打造全覆盖、全贯通的科学决策数据中心。建设内容主要包括数据存储、数据采集、数据交换、数据仓库管理、信息服务系统、数据查询系统、文档管理中心等内容。119 / 235 智慧环保解决方案7.3建设内容环境数据中心是一个包括多种数据

7、资源，是一个从数据源-数据中心-数据共享和发布-数据应用的过程：图 建设内容框架各系统的数据通过元数据提取，目录资源建设，抽取到中间数据库ODS中，再有ODS抽取到数据中心数据库；门户发布和数据共享从数据中心获取数据。7.3.1标准体系规范7.3.1.1环境数据中心数据流、数据源分析数据源、数据流及业务流分析是数据中心系统设计的基础。数据源的确定，明确了数据中心系统的业务对象，而数据流的准确分析也直接关系到相关业务的顺利开展。数据流是业务流的基础，同时数据流也适应于业务流。针对业务及专业来分析数据中心系统所必需的数据类型，结合相关业务运作需要和规范，依据数据源的属性，进行数据分类定义，确定数据

8、存储位置。根据市环保局各业务科室的业务流和工作流分析结果，结合业务数据报表及数据流分析，确定数据流转及数据源头，分析数据载体绘制“环境数据中心”岗位、载体、业务流程图，确定数据项产生节点，为数据采集与运行维护提供依据。主要内容如下： 污染源基础信息数据流、数据源分析 污染源自动监控数据流、数据源分析 危险化学品信息数据流、数据源分析 面源污染信息数据流、数据源分析 流动污染源信息数据流、数据源分析 规模化畜禽养殖信息数据流、数据源分析120 / 235 智慧环保解决方案 矿山信息数据流、数据源分析 放射源信息数据源分析 饮用水源地信息数据流、数据源分析 环境监测信息数据流、数据源分析 水环境保

9、护信息数据流、数据源分析 大气环境保护信息数据流、数据源分析 环境噪声与振动信息数据流、数据源分析 土壤环境保护数据流、数据源分析 固体废物环境污染控制数据流、数据源分析 化学品环境污染控制数据流、数据源分析 核辐射与电磁辐射环境保护数据流、数据源分析 生态环境保护数据流、数据源分析 总量控制数据流、数据源分析 排污许可证数据流、数据源分析 建设项目环境保护数据流、数据源分析7.3.1.2环境数据中心数据采集规范及管理机制编制结合业务流和数据流分析成果，根据各业务科室的岗位职责，确定数据采集机制及数据更新机制，以保证数据的更新与维护，主要包括建设以下数据的采集规范和管理机制： 污染源基础信息数

10、据采集规范及管理机制 污染源自动监控数据采集规范及管理机制 危险化学品信息数据采集规范及管理机制 面源污染信息数据采集规范及管理机制 流动污染源信息数据采集规范及管理机制 规模化畜禽养殖信息数据采集规范及管理机制 矿山信息数据采集规范及管理机制 放射源信息数据采集规范及管理机制 饮用水源地数据采集规范及管理机制 环境监测数据采集规范及管理机制 水环境保护信息数据采集规范及管理机制 大气环境保护信息数据采集规范及管理机制 环境噪声与振动信息数据采集规范及管理机制 土壤环境保护数据采集规范及管理机制 固体废物环境污染控制数据采集规范及管理机制 化学品环境污染控制数据采集规范及管理机制 核辐射与电磁

11、辐射环境保护数据采集规范及管理机制 生态环境保护数据采集规范及管理机制 总量控制数据采集规范及管理机制 排污许可证数据采集规范及管理机制 建设项目环境保护数据采集规范及管理机制121 / 235 智慧环保解决方案7.3.1.3环境数据中心数据清洗规则编制数据清理包括确认数据的正确性，校正不正确的数据，然后以有效格式转换为正确数据。 这些数据可以通过广泛的脚本(在数据集成过程中根据主题的信息自动生成的各维查询函数脚本代码和自动生成的用于实现进行转换、清理和装载的存储过程的脚本代码)处理语言进行校正。本方案将会根据环保各业务数据特点制定不同的数据清洗规则。主要包括： 污染源基础信息数据清洗规则 污

12、染源自动监控数据清洗规则 危险化学品信息数据清洗规则 面源污染信息数据清洗规则 流动污染源信息数据清洗规则 规模化畜禽养殖信息数据清洗规则 矿山信息数据清洗规则 放射源信息数据清洗规则 饮用水源地数据清洗规则 环境监测数据清洗规则 水环境保护信息数据清洗规则 大气环境保护信息数据清洗规则 环境噪声与振动信息数据清洗规则 土壤环境保护数据清洗规则 固体废物环境污染控制数据清洗规则 化学品环境污染控制数据清洗规则 核辐射与电磁辐射环境保护数据清洗规则 生态环境保护数据清洗规则 总量控制数据清洗规则 排污许可证数据清洗规则 建设项目环境保护数据清洗规则7.4环境数据中心数据分类编码体系通过建立统一的

13、环境数据编码体系，实现标准化规范化的环境数据管理，规范前端等应用系统建设，并为环境数据共享交换提供基础。在建立环境中心数据库过程中，本系统设计根据环保各项标准，采用统一的行政区划代码、国民经济行业代码、污染源编码、废水类别代码、废水排放规律代码、废水排放去向代码、河流编码、监测指标代码标准、饮用水源地编码、空气质量监测点位编码、地表水监测断面/点位编码等，保证各类入库数据的编码统一。数据分类编码体系也是信息资源目录体系，是“环境数据中心”的数据资源建设的分类编码体系，环境信息资源目录体系是以信息资源分类为基础，采用统一的标准对环境信息资源进行描述，以目录技术、元数据技术和网络环境为支撑，为环保

14、业务部门和社会公众提供环境信息资源发现、定位功能以及相关应用。主要包括数据分类编码体系和分类代码等。122 / 235 智慧环保解决方案图 数据编码体系7.4.1数据分类编码原则1）唯一性在一个分类体系中，每一个环境信息类目仅有一个代码，一个代码仅表示一个环境信息类目。2）合理性代码结构与分类体系相适应。3）可扩充性留有适当的后备容量，以适应不断扩充的需要。4）简明性代码结构尽量简明，长度尽量短，以节省及其存贮空间和降低代码的出错率。5）稳定性环境信息类目的代码一经确定，应保持不变。6）无含义性环境信息分类代码中的每一位数字不表示任何与环境信息相关的特定信息。7）规范性代码的类型、结构以及编写

15、格式统一。7.4.2空间数据分类编码标准在 GIS中使用的特征码必须是统一拟定的编码系统，并符合各专业学科的分类分级体系。系统建设首先需要建立统一的实体编码标准、制定详细的数据分层方案，以及空间地理信息图标示例的标准化处理。各类数据库或数据子库的数据，应根据具体情况和用户需求，采用分层的办法存放。分层存放有利于数据管理和对数据的多途径快速检索与分析。7.4.3业务实体分类代码建设该部分的数据标准化，涉及到公共类的数据编码及业务管理中的数据编码，对于市环保局的具体实际情况需要在项目实施时候在进行调研和调整。123 / 235 智慧环保解决方案设计内容包括行业类型、企业类型、断面类型、经济类型、隶

16、属关系、企业规模、污染源控制级别代码行业类型代码、单位类型代码、污染程度代码、废水排放执行标准、废水类别等公共类代码设计。建设项目审批类、监督管理类、环境监察类、行政处罚类、环境监测类、固废管理类、核和辐射类等行业类代码设计。7.4.4空间数据分类编码“环境数据中心”空间数据分类主要包括如下编码：（1）基础地理空间数据分类编码1：10000空间数据分类编码1：5000空间数据分类编码1：2000空间数据分类编码1：1000空间数据分类编码（2）环保空间数据分类编码污染源类空间数据分类编码环境监测点类空间数据分类编码环境管理类空间数据分类编码城市环境设施类空间数据分类编码城市要素图空间数据分类编

17、码7.5专业数据分类编码“环境数据中心”专业数据分类主要包括如下编码： 污染源基础信息信息分类编码 污染源自动监控信息分类编码 危险化学品信息分类编码 面源污染信息信息分类编码 流动污染源信息分类编码 规模化畜禽养殖信息分类编码 矿山信息分类编码 放射源信息分类编码 饮用水源地信息分类编码 环境监测信息分类编码 水环境保护信息分类编码 大气环境保护信息分类编码 环境噪声与振动信息分类编码 土壤环境保护分类编码 固体废物环境污染控制数据分类编码 化学品环境污染控制数据分类编码 核辐射与电磁辐射环境保护数据分类编码124 / 235 智慧环保解决方案 生态环境保护数据分类编码 总量控制数据分类编码

18、 排污许可证数据分类编码 建设项目环境保护数据分类编码7.6信息分类代码环境信息类别及代码表参考环境信息分类与代码（HJ/T417-2007）中的分类代码表。根据环境信息分类与代码标准，建立环境信息资源数据标准体系，存放和管理各类环境数据，为信息共享交换提供服务。针对信息化建设现状完成环境数据中心标准化分类编码研究，主要包括如下编码表： 行政区划代码 企业规模代码表 单位类别代码表 登记注册类型代码表 隶属关系代码表 国民经济行业代码表 污水处理方法代码简表 废气除尘、脱硫方法代码表 工艺废气净化方法代码表 固废处置方法代码表 水污染物编码 气污染物编码 治理类型代码表 水域功能区类别代码表

19、污水排放规律代码表 排放去向代码表 水体/流域代码表 锅炉等燃烧设备名称编码 环境空气质量功能区代码表 工业锅炉和电站锅炉表示法 工业炉窑分类编码 废气排放规律代码表 燃料分类代码表 燃烧方式代码表 噪声源性质名称代码表 噪声功能区名称编码表 固体废物名称和类别代码表125 / 235 智慧环保解决方案7.7环境数据中心数据字典及 E-R图编制根据数据流及数据源分析成果，结合业务模型编制“环境数据中心”各专业数据的数据字典，并绘制数 E-R实体关系图。包括对污染源基础信息数据、污染源自动监控数据、危险化学品信息数据、面源污染信息数据、流动污染源信息数据、规模化畜禽养殖信息数据、矿山信息数据、放

20、射源信息数据、饮用水源地数据、环境监测数据、水环境保护信息数据、大气环境保护信息数据、环境噪声与振动信息数据、土壤环境保护数据、固体废物环境污染控制数据、化学品环境污染控制数据、核辐射与电磁辐射环境保护数据、生态环境保护数据、总量控制数据、排污许可证数据、建设项目环境保护数据等数据字典及 E-R图的编制。7.8数据采集设计数据采集系统总体结构如示：数据采集系统包含三部分：数据填报、信息定位、数据汇总加工，分别阐述如下：7.8.1数据填报数据填报包含三种方式：在线填报、离线填报、辅助填报，分别阐述如下：在线填报是网上数据采集系统的主要系统，其目的是让有条件的企业进行统计调查项目数据的网上直报。在

21、线填报系统除实现一般录入功能外，还可以为数据填报企业提供数据校验、多条件的数据检索、自动摘数、历史填报数据查询、数据边录边审、数据催报信息察看等功能。除了针对统计调查项目数据的采集以外，在线填报系统同时还可以为直报企业提126 / 235 智慧环保解决方案供一定的历史数据查询、分析功能，以满足企业对其自身数据的分析需求，达到服务企业的目的。离线填报是用来帮助那些上网条件不好的企业，可以让这些企业在不连接到Internet的情况下填写好要保送的数据，然后在通过Internet将在离线情况下填写好的数据一次性的保送到数据处理平台上。离线填报也可以为数据填报企业提供数据校验、数据即时保存、表内关系的

22、边录边审、自动摘数等功能。辅助填报是对网上直报业务的一个补充，其目的是辅助那些没有上网条件的企业进行数据的报送。利用辅助填报系统，环境运输与城市管理局、各镇（街道）环境运输和城市管理分局以及特别设置的一些采集点可以将采集到的数据，一次性报送到数据采集处理平台。除了进行数据采集业务以外，辅助填报也同在线填报一样为直报企业提供一定的历史数据查询、分析功能，以满足企业对其自身数据的分析需求，达到服务企业的目的。7.8.2信息定位信息定位是通过对特定条件的筛选来对信息进行有选择性的定位，在数据采集系统中，信息定位的作用尤为重要，通过信息定位可采用简单灵活的方式进行快速获取选择性信息的大体位置，在此基础

23、上可以选用一个或者多个指标项组合成精准查询条件，确定所要找的信息的位置。具体的信息定位方法有以下几种：1、以模糊查询的方式进行信息定位2、以数据关联的方式进行信息定位3、以多条件组合的方式进行信息定位7.8.3数据汇总加工将所有已建或将建的环保业务系统的数据进行集中汇总，按照数据资源规划设计的数据标准规范以及数据模型进行统一组织，依据国家有关技术规范和环境信息行业技术标准分类体系构建的数据集，对各类业务系统的数据进行分类和梳理，按照不同的专题和用途进行分类存储和使用。 数据迁移对于环境运输与城市管理局已建成的信息系统，需要与其他系统共享或是有全局意义的数据需要进行数据迁移，由数据中心统一管理。

24、由于数据迁移涉及的数据量较大，建议采用数据库连接方式，在统一元数据库的控制下，进行有条件的只读访问或推送。 粗大数据过滤业务系统中业务实体某个字段的取值范围是受字段类型、域约束及业务规则的限制，为保证进入数据中心的数据质量，可针对关键的公共资源属性事先进行业务规则及域约束的定义，对不满足条件的记录进行过滤，或记入日志待日后修复、或通知原系统检查数据错误，修复后重新提交。 数据完整性检查在现有系统建设中，全局性或公共资源的业务实体在单个系统独立建设时，127 / 235 智慧环保解决方案只要满足本系统的正常运行需要就可以了，很少考虑全局性影响，因此要根据各类全局数据的特征，增添标识全局性的属性，

25、在各系统提交的数据中看这些属性是否正确填写，否则重新提交。 数据标准化为满足各相关业务系统间数据共享的需要，以及数据发布的需要，对提交数据的格式事先进行约定，对不满足格式的数据应视为数据质量不合格，重新进行提交。 数据挖掘（数据质量控制）因为现有各业务系统都是分开独立建设的，但彼此间又存在着一些公共资源或属性，由于各系统采用的标准或规范各不相同，因此就会出现同名不同意、同意不同名，在数据满足数据质量、完整性及标准化检查后，对这类数据采用两种手段：一是利用现有模糊匹配的技术即数据挖掘和文本挖掘，将此类记录发现、发掘出来；二是或者利用人工或者利用事先制定的匹配整合规则，将此类记录进行合并。 数据加

26、载日志数据加载日志的功能主要是通过记录每次加载过程中每个业务实体的时间戳、增量关键字段信息，以期达到尽量减少每个批次数据的加载量，提高系统效率。保证系统的可靠、高效运行。 数据有误通知将检查到的各类错误信息，及时通知数据源，以便其在规定的时间范围内，修正错误、重新提交。7.9数据交换平台数据交换平台是整个系统的基础平台之一，不管是环保系统内部各个子系统需要将数据交换到数据中心，还是环保系统与外部系统都有大量的数据交换要求，需要将各类数据交换要求进行统一管理和调度，了解数据交换的内容、频率，并对数据交换平台进行监控。数据交换平台可提供应用之间的信息交换，提供数据格式定义、数据转换、数据路游、业务

27、规则定义和业务流程编辑等具体业务服务。数据交换平台解决的是系统整合问题，系统间的异构接口、异构数据、和系统间的流程调度。数据交换平台的技术核心采用XML数据标准，基于应用服务器作为交换核心，接口标准采用Web Services。提供灵活、方便的数据建模技术，便于数据平台业务需求扩展时，维护人员可以方便、迅速的建立数据模型。数据模型要求科学、适用，即要减少数据的冗余，又要能够存放业务系统需要的数据。数据中心采用实时/定期/业务驱动需求的方式，从业务系统提取数据到数据平台。由于业务系统、网络或数据平台故障，导致数据平台无法取数时，待故障排除之后，平台应及时将业务系统这段时间内发生变化的所有数据提取

28、出来。数据中心采用实时/定期/业务驱动需求的方式，将平台的数据分发到业务系统。由于业务系统、网络或数据平台等出现故障，导致平台分发数据部分失败时，待故障排除后，数据平台应及时将这段时间内发生变化的所有数据分发给该业务系统。数据交换平台是环保信息化平台各个业务系统之间和其他部门业务系统（比如其128 / 235 智慧环保解决方案它政府部门）之间的连接平台，也是实现数据传输的关键平台，主要负责平台业务系统和各需接口业务系统之间的消息传递，并且实现业务流程的整合。交换平台是实现各接口系统之间互联互通的核心平台，其具体功能架构如下图所示：数据转换适配器适配器数据传输数据传输流程整合数据定义消息路由数据

29、映射适配器适配器适配器可以看出，交换平台核心的功能模块有：l 数据定义l 数据映射l 数据转换l 消息路由l 适配器（SOA接口）各业务系统通过适配器和交换平台挂接，由交换中心来实现消息结构定义、数据映射、数据转换、业务流程定义与运行、消息封装、路由、传输等具体服务。各业务系统只需要和交换中心打交道，业务系统之间实现松耦合。7.9.1数据定义数据格式定义管理模块是实现数据松耦合，保证业务系统的独立性的重要环节。它定义了各种业务数据的表现，包括命名，数据类型，检查规则等等。业务系统之间对于同一个业务对象的定义可能存在差异，在这些需要交换数据的系统之间传递数据需要消除这种差异性，以保证数据可以被系

30、统正确理解。数据定义层就用于解决业务数据格式的确定以及在转换不同的数据解释。对于行政服务中心软件系统来说，其需要处理的数据内部来说是一致的，各类业务系统以及未来新增的业务系统对其数据的定义的差异在经过数据定义层后消失，这将为系统的发展以及各类业务规则，业务处理在整个系统之间的统一应用带来极大的方便。由于环保信息化平台的多个系统间的数据格式、以及外部要打交到的系统的数据格式都可能不一样，通过数据定义，可以将这些需要进行数据接口交换的系统的对外数据接口完整规范化，并转换成内部标准的XML，实现数据交换。数据格式定义是由数据格式定义设计器来完成的，它使分析人员和开发人员可以通过多种方法来创建文档规格

31、。通过在该编辑器工具中手动定义记录和字段可以创建文档规格。该工具还提供了用于多种 UN/EDIFACT 和 X12 EDI 文档、SAPIDOC 和示例 XDR 架构的现成的规格。最后，该编辑器提供了实例导入功能，允许用户导入格式正确的 XML 文档实例、XML DTD 和 XDR 架构。129 / 235 智慧环保解决方案7.9.2数据映射数据映射模块将业务系统调用传来的数据包映射成为标准的使用 XML 标准的数据格式。来自不同系统的数据信息，经过数据定义，形成了比较标准的格式，但由于环保信息化平台业务系统（比如在线监控系统）也有自身的数据标准格式，所以直接得到的数据是无法使用的。通过数据格

32、式映射，各接口系统的数据信息可以转化为平台所需要的格式。数据映射由Mapper来完成， Mapper 接受Editor的输出，将来自原始描述的纪录映射成目标描述，通过这种映射建立起一种数据转换规则。7.9.3数据转换多系统数据交换与流程集成经常要求大量的不同的数据格式转换，包括XML和各种自定义格式。编写转换程序，校验程序和管理这些多对多的关系的程序的工作量非常大。各个行业都已有或正在制定自己的数据交换标准，各业务系统间的数据格式将非常负责，而且随着业务的变化，系统的升级，数据格式很难做统一。通过数据转换模块，提供完善的各种数据格式支持，包括 XML、EDI、文本与自定义格式。用户完全可以通过

33、业务总线相关的图形界面工具，定义数据的格式以及数据转换机制。数据转换模块负责在这些参数定义之间翻译数据，以保证各个系统可以以自己理解的方式接受到数据。当数据被提交给数据交换平台后，平台会自动根据其有关的属性和数据转换规则进行数据格式和内容的转换。Mapper 提供设计环境，而 Server 提供运行时引擎，从而可以创建并执行可转换数据格式和数据架构的文档映射。Mapper 使用标准 XSLT 技术在内部表示映射规则，这对分析人员或开发人员来说是透明的。数据转换过程如下所示：130 / 235 智慧环保解决方案从职能部门接收的文件或专用业务数据Parser非标准数据分析XML标准格式数据XML

34、MapXML非标准文档或专用业务数据编码Serializer发往职能部门的文件或业务数据（1）数据分析(Parser)数据分析根据公文交换标准定义或业务数据定义，将外部的非标准文档或专用业务数据转换为标准的 XML形式。（2）数据编码(Serializer)数据编码将标准的数据转换成外部职能部门系统所需要的公文格式或专用业务数据。7.9.4消息路由交换中心主要在环保信息化平台业务系统与各其它部门业务系统之间建立连接、实现数据交换，因此必须将消息（数据或文件）正确路由、并保证安全可靠传送：一方面，基于规则的路由使得可以向不同的企业按照特定值发送数据或文件，这一智能功能减少了手工干预，使得操作变得

35、更为快捷和正确。另一方面，数据或文件必须能够可靠的进行投递。一个辅助的传输协议可以在第一次传送失败的情况下进行最大限度的尝试。如果再次尝试仍然失败，数据或文档将被送入队列之中等待手工处理，并提醒管理员。7.9.5适配器（SOA接口）根据松耦合的设计原则，平台业务系统、开发区相关业务系统之间是不存在直接的调用的关系，都是通过与交换平台传递消息的方法进行流程整合和传输数据。各业务系统之间接口具有以下特点：131 / 235 智慧环保解决方案l 多平台的连接：有与UNIX、Windows等多种平台连接。l 多协议的连接：使用HTTP、FTP、FILE、SOAP、MSMQ、MQSeries等多种协议，

36、以及与TUXEDO中间件之间的专用协议调用。l 多体系的连接：有C/S，B/S，单机等。适配器技术可以将各业务系统、数据库系统和网络服务组件封装起来，实现系统之间的互联互通。适配器是为了解决系统之间的连接而开发的可重用的、统一的接口，通过该接口每一个应用系统仅需要与交换平台相连，而不需要与每个与之交互的应用系统相连。适配器的引入主要有以下优点：l 为独立的系统之间提供重用的、统一的接口；l 支持事务管理、安全性和连接管理与应用系统连接；l 增加企业数据资源的共享程度；l 适配器封装了对数据操作的缓冲区，可以提高对数据批处理访问的效率；l 增强了基于组件或面向对象开发模块的网络应用的功能，这些组

37、件或对象包括：如COM+, CORBA等。7.10数据仓库管理7.10.1元数据管理元数据是用来描述以及/或者帮助发现、管理、控制、理解其它信息的结构化信息，是关于数据的数据。元数据包含了数据仓库中数据的位置、结构、意义的详细描述，包括数据索引、映射信息、用于转换及汇总的算法及商业规则。元数据能够让用户了解到数据仓库中有什么数据以及怎样使用这些数据。元数据涉及到数据仓库构造、运行、维护的整个生命周期，是数据仓库系统构建过程中十分重要的一环。同时，元数据管理也是整个环境数据管制的重要组成部分。在本项目的整个数据库系统过程中，将通过不同的方法收集、整理并最终建立完整的业务元数据和技术元数据。环境保

38、护业务系统每年会产生大量的数据，由此产生的难题是，很难有效的管理大量的、繁杂的、不一致的数据，并有效、快速的访问、以及利用这些数据。建设数据仓库把这些数据整合在一起后，还需要强大的元数据管理。元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。技术元数据是描述关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它

39、主要包括以下信息：1. 数据仓库结构的描述，包括视图、维、层次结构等的定义；2. 业务系统、数据仓库和数据集市的体系结构和模式；3. 汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；4. 由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全。132 / 235 智慧环保解决方案业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得业务人员能够更好的理解数据，更好的利用数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原

40、则和数据的来源；系统所提供的分析方法以及公式和报表的信息。建立数据仓库一个重要的工作是元数据管理。元数据管理是企业级数据仓库中的关键组件，元数据用于建立、维护、管理和使用数据仓库。元数据管理是建设数据仓库系统至关重要的环节，正是由于元数据在整个数据仓库生命周期中有着重要的地位。数据库和数据仓库实践领域的经验表明，实现拥有不同厂商、不同功能和不同元数据库的不同产品之间的元数据同步是非常大的挑战。因为必须从一种产品中获得足够详细的元数据，将其映射到另一种产品中，再指出两者意义或编码的差别；通常系统有数百数千个元数据，必须对每个元数据重复这一过程。在整个数据仓库环境中，元数据管理工具可以从关键数据仓

41、库组件中收集元数据，以便向业务用户传递正确的信息。采集、集成和描述元数据的范围可以十分广泛，可以在设计和建模过程中，可以在转换和清洗过程中，也可以在数据移植过程，可以从数据库/数据存储软件，也可以从最终用户工具得到。元数据可以分为开发者和管理员使用的技术元数据，以及支持商业用户的商业元数据。元数据管理工具可以进行元数据的差异分析，当数据模型修改后，通过元数据管理工具进行差异分析，查找出受此影响的模型、ETL任务和报表。通过元数据管理工具可以分析数据经过了哪些加工，可以列出数据加工过的所有ETL任务，从而清楚的掌握数据的流向。数据标准文档、数据字典文档、数据处理的Mapping文档等等也是辅助进

42、行元数据管理的重要手段。7.10.2性能监控和管理性能管理的关键在于收集足够多的分析所需要的数据，及时准确地了解系统运行状况，发现性能瓶颈，及时做出调整。性能管理主要包括几个方面：l 性能监控实时监控系统的性能，了解系统的运行状况，找到系统的性能瓶颈。l 性能管理通过实时监控系统性能，基于系统性能状况分配系统资源，调度任务，实现系统工作负载均衡。l 性能分析分析性能管理历史信息和当前性能状况，为容量规划提供决策依据。7.10.3数据仓库运行时监控当数据仓库系统建立之后，除了日常的数据加载备份操作外，还需要对系统进行监控，以确保系统的正常运行。维护数据仓库的工作主要是管理日常数据装入的工作，包括

43、刷新数据仓库的当前详细数据，将过时的数据转化成历史数据清除不再使用的数据，管理元数据，等等；另外，如何利用接口定期从操作型环境向数据仓库追加数据，确定数据仓库的数据刷新频率等等。133 / 235 智慧环保解决方案运行维护控制台作为系统管理员每天对系统进行监控的工具，包括任务调度、系统监控、系统备份、用户管理等。7.11信息服务系统建立规范的环境数据共享交换标准，提出各业务数据集成到环境数据中心的标准数据内容和数据格式、数据集成方式、数据传输标准。建立基于数据中心的一对多的数据共享交换机制，统一管理和使用环境数据。定义各类业务的 Web Service数据接口，为其它业务系统获取数据中心的数据

44、，以及数据中心与业务应用系统互动提供服务。7.12数据查询系统7.12.1污染源台帐建立重点污染源的环境档案，将重点污染源企业从审批起所有的资料收集整理归档，实现污染源“一厂一档”管理。提供关联查询企业基本概况及其生产工艺流程、排放污染物种类及浓度、环评和批复数据、日常监察笔录、行政处罚情况、信访举报记录、企业环境事故应急方案等各项环境监管内容，并实现数据中心与业务应用系统中的数据同步更新。污染源台帐系统主要是基于污染源的全生命周期的变化，对全局范围内的污染源进行集中管理的系统。理顺在整个污染源生命周期过程中，如何对污染源管理，确认每个业务部门对污染源的哪些信息进行维护、更新和补充，确保污染源信息的与污染源的实际情况相符合。7.12.2建设项目审批数据查询新、改、扩项目管理涉及的主要部门是审批服务科，此外还包括执法监察大队，按照流程开发新改扩建系统，主要包括项目申请、环评管理、“三同时”检查、试运行管理、 “三同时”验收登记、竣工验收管