环保局环境信息数据仓库建设规划方案建筑保温建筑办公文档解决方案.pdf





《环保局环境信息数据仓库建设规划方案建筑保温建筑办公文档解决方案.pdf》由会员分享,可在线阅读,更多相关《环保局环境信息数据仓库建设规划方案建筑保温建筑办公文档解决方案.pdf(18页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、1/18 概述 环保行业数据管理过程中面临问题 应用软件开发仍停留在条块分割中,信息资源共享程度低 环境管理业务及业务之间,环境保护部门上下级之间,相对独立。目前,各省市环境信息化建设中应用软件开发存在条块分割现象,单一业务开发独立应用系统,系统及系统之间往往无法对接,导致系统之间信息不能相互共享,从而使环境信息资源共享程度不高。部分区县环境信息化建设滞后,影响环保信息采集 各省市环境信息化建设程度存在不均衡现象,部分县级环境信息化建设基本处于空白状态,这种不均衡状态严重影响全省环境信息化整体水平。县(区)作为最基层环保机构,对本辖区内排污单位有关信息掌握最为清楚,对排污单位监督管理也最为方便
2、直接,需要加强建设县(区)级环保应用,把信息采集源头伸向县(区)环保机构。各级部门构建应用,存在重复建设。环保系统各级部门都建设自己业务系统,在业务方面上级部门对下级部门业务都有指导联系,业务相同使得所建立系统功能都有重叠,导致系统重复建设现象存在。信息安全不达标,存在安全隐患 数据集中是管理集中化、精细化必然要求,是国家、省、市环保部门优化业务流程、管理流程必要手段。数据中心建设成为环保数据集中趋势2/18 下必然要求。在 Web应用日益深化环境下,企业数据中心应用运行环境正从传统客户机/服务器向需要网络连接中央服务器扩张。Web应用快速发展及变革,直接影响到基础设施框架下多层应用程序及硬件
3、、网络、操作系统关系变得愈加复杂。数据仓库介绍 数据仓库概念始于上世纪 80 年代中期,首次出现是在被誉为“数据仓库之父”WilliamHInmon建立数据仓库一书中。随着人们对大型数据系统研究、管理、维护等方面深刻识认和不断完善,在总结、丰富、集中多行企业信息经验之后,为数据仓库给出了更为精确定义,即“数据仓库是在企业管理和决策中面向主题、集成、及时间相关、不可修改数据集合”。数据仓库并没有严格数据理论基础,也没有成熟基本模式,且更偏向于工程,具有强烈工程性。通常按其关键技术部份分为数据抽取、存储及管理以及数据表现等三个基本方面。数据仓库重点及要求是能够准确、安全、可靠地从数据库中取出数据,
4、经过加工转换成有规律信息之后,再供管理人员进行分析使用。数据仓库主要是应用于决策支持系统,其主要目是“提取”信息并加以扩展,用来进行处理基于数据仓库决策支持系统(DSS)应用。总体建设目标 目标 本次建设需完成以下目标 务之间环境保护部门上下级之间相对独立目前各省市环境信息化建设中应用软件开发存在条块分割现象单一业务开发独立应用系统系统及系统之间往往无法对接导致系统之间信息不能相互共享从而使环境信息资源共享程度不高部分基本处于空白状态这种不均衡状态严重影响全省环境信息化整体水平县区作为最基层环保机构对本辖区内排污单位有关信息掌握最为清楚对排污单位监督管理也最为方便直接需要加强建设县区级环保应用
5、把信息采集源头伸县区环保都有指导联系业务相同使得所建立系统功能都有重叠导致系统重复建设现象存在信息安全不达标存在安全隐患数据集中是管理集中化精细化必然要求是国家省市环保部门优化业务流程管理流程必要手段数据中心建设成为环保数据集3/18 1)数据规划及整理建设 包含数据源分析及规划、数据交换平台搭建、地理信息平台搭建 2)决策分析应用系统建设 3)综合信息门户系统建设 建设阶段 按照生命周期发法可将数据仓库开发全部过程分成三个阶段:1)数据仓库规划分析阶段 2)数据仓库设计实施阶段 3)数据仓库应用阶段 这三个阶段不是简单循环往复,而是不断完善提高过程。一般情况下数据仓库系统都不可能在一个循环过
6、程中完成,而是经过多次循环开发,每次循环都会给系统增加新功能,这种循环工作永远不会终结,数据仓库也就一直处于一个不断完善、不断提高循环玩傅过程中。本次项目建设按以上原则分为 数据规划及整理阶段 决策分析应用系统建设阶段 综合信息门户系统建设阶段 数据规划及整理建设 环境信息数据仓库数据源分析及规划 数据源分析及范围规划最终目标是涵盖环境相关所有数据,将分散、务之间环境保护部门上下级之间相对独立目前各省市环境信息化建设中应用软件开发存在条块分割现象单一业务开发独立应用系统系统及系统之间往往无法对接导致系统之间信息不能相互共享从而使环境信息资源共享程度不高部分基本处于空白状态这种不均衡状态严重影响
7、全省环境信息化整体水平县区作为最基层环保机构对本辖区内排污单位有关信息掌握最为清楚对排污单位监督管理也最为方便直接需要加强建设县区级环保应用把信息采集源头伸县区环保都有指导联系业务相同使得所建立系统功能都有重叠导致系统重复建设现象存在信息安全不达标存在安全隐患数据集中是管理集中化精细化必然要求是国家省市环保部门优化业务流程管理流程必要手段数据中心建设成为环保数据集4/18 标准不一数据进行集成整合,实现由数据到信息转化,提高数据质量,为减排目标制定(指标)、过程管理(监测)和最终评价(考核)等工作奠定全面信息资源体系,为科学决策、有效管理提供信息支持保障。环境信息数据仓库投入运行后,随着信息范
8、围延伸和积累,可以建立面向不同业务知识库(如应急预案、总量分析),逐步形成辅助决策能力。环境信息数据仓库系统数据源为基础数据库,基础数据库分类如下:1)污染源监督性监测基础数据库 2)污染源在线监测基础数据库 3)污染源常规监测基础数据库 4)排污申报基础数据库 5)排污收费基础数据库:主要用于存储环境保护部和各省环保厅排污收费业务数据,包括污染源废气缴费数据、污染源废水缴费数据、污染源噪声缴费数据、建筑施工噪声缴费数据、排污费减免处理数据等。6)环境统计基础数据库:主要用于存储环境保护部和各省环保厅环境统计业务数据,包括工业企业污染排放处理利用数据、火电企业污染排放及处理租用数据、工业企业排
9、放废水/废气中污染物监测数据等。7)建设项目管理基础数据库:主要用于存储环境保护部和各省环保厅建设项目管理业务数据,包括建设项目基本数据、工业类项目申请数据、土地类项目申请数据、饮食娱乐类项目申请数据、项目跟踪数据。务之间环境保护部门上下级之间相对独立目前各省市环境信息化建设中应用软件开发存在条块分割现象单一业务开发独立应用系统系统及系统之间往往无法对接导致系统之间信息不能相互共享从而使环境信息资源共享程度不高部分基本处于空白状态这种不均衡状态严重影响全省环境信息化整体水平县区作为最基层环保机构对本辖区内排污单位有关信息掌握最为清楚对排污单位监督管理也最为方便直接需要加强建设县区级环保应用把信
10、息采集源头伸县区环保都有指导联系业务相同使得所建立系统功能都有重叠导致系统重复建设现象存在信息安全不达标存在安全隐患数据集中是管理集中化精细化必然要求是国家省市环保部门优化业务流程管理流程必要手段数据中心建设成为环保数据集5/18 8)三同时验收基础数据库:主要用于存储环境保护部和各省环保厅三同时验收业务数据,包括三同时项目审批数据、三同时项目试运行数据、三同时项目验收数据、三同时项目环评报告数据。9)环境质量基础数据库:主要用于存储环境保护部和各省环保厅环境质量业务数据,包括大气监测数据、地表水监测数据、地下水监测数据、降尘监测数据、降水监测数据、区域噪声监测数据、道路交通噪声监测数据等。1
11、0)文档数据库:存储减排相关法律法规、应用标准等文档信息。11)信息分类及标准代码库:主要包括减排业务中各类标准化代码,如污染源类别等。12)环境空间数据库:主要包括污染源、环境质量空间数据信息。环境信息数据仓库数据范围规划如下图:务之间环境保护部门上下级之间相对独立目前各省市环境信息化建设中应用软件开发存在条块分割现象单一业务开发独立应用系统系统及系统之间往往无法对接导致系统之间信息不能相互共享从而使环境信息资源共享程度不高部分基本处于空白状态这种不均衡状态严重影响全省环境信息化整体水平县区作为最基层环保机构对本辖区内排污单位有关信息掌握最为清楚对排污单位监督管理也最为方便直接需要加强建设县
12、区级环保应用把信息采集源头伸县区环保都有指导联系业务相同使得所建立系统功能都有重叠导致系统重复建设现象存在信息安全不达标存在安全隐患数据集中是管理集中化精细化必然要求是国家省市环保部门优化业务流程管理流程必要手段数据中心建设成为环保数据集6/18 搭建数据交换平台 搭建数据交换平台,建设 ETL应用,实现 ODS到数据仓库、数据仓库到数据集市数据抽取、清晰、转换及加载。数据交换平台是数据中心数据域其他应用系统沟通桥梁,是进行数据交换基站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗及整合,按照数据中心建设标准规范数据,形成核心数据库,并提供给其他应用系统使用。数据交换平台功能由支撑功
13、能及应用功能两部分组成。支撑功能是数据交换平台基础,包括数据采集、元数据管理、数据交换服务总线、平台监控以及安全管理功能;应用功能是指及具体业务系统相关功能,应用功能利用数据交换平台数据交换服务总线,以数据交换服务形式为各业务系统提供数据共享服务。环境信息数据仓库 ETL 过程如下图 务之间环境保护部门上下级之间相对独立目前各省市环境信息化建设中应用软件开发存在条块分割现象单一业务开发独立应用系统系统及系统之间往往无法对接导致系统之间信息不能相互共享从而使环境信息资源共享程度不高部分基本处于空白状态这种不均衡状态严重影响全省环境信息化整体水平县区作为最基层环保机构对本辖区内排污单位有关信息掌握
14、最为清楚对排污单位监督管理也最为方便直接需要加强建设县区级环保应用把信息采集源头伸县区环保都有指导联系业务相同使得所建立系统功能都有重叠导致系统重复建设现象存在信息安全不达标存在安全隐患数据集中是管理集中化精细化必然要求是国家省市环保部门优化业务流程管理流程必要手段数据中心建设成为环保数据集7/18 各 ETL 过程主要任务如下表 源系统 目标数据库 ETL主要任务 基础数据库 数据仓库 抽取,转模,加载,去除重复数据 数据仓库 数据集市 汇聚加载,满足 BI 分析要求 ETL 主要任务 源数据现状分析和映射 每做一步 ETL工作之前都应对源数据进行全面分析,包括如下内容:数据业务范围及业务含
15、义 数据所在平台,包括系统平台和数据库平台 数据结构 数据更新周期 务之间环境保护部门上下级之间相对独立目前各省市环境信息化建设中应用软件开发存在条块分割现象单一业务开发独立应用系统系统及系统之间往往无法对接导致系统之间信息不能相互共享从而使环境信息资源共享程度不高部分基本处于空白状态这种不均衡状态严重影响全省环境信息化整体水平县区作为最基层环保机构对本辖区内排污单位有关信息掌握最为清楚对排污单位监督管理也最为方便直接需要加强建设县区级环保应用把信息采集源头伸县区环保都有指导联系业务相同使得所建立系统功能都有重叠导致系统重复建设现象存在信息安全不达标存在安全隐患数据集中是管理集中化精细化必然要
16、求是国家省市环保部门优化业务流程管理流程必要手段数据中心建设成为环保数据集8/18 数据更新方式 数据量 数据抽取 数据抽取从数据源提取数据,供数据清洗和转换环节进行处理,数据抽取方式包括批量抽取和单次抽取两种方式,批量抽取可将所有历史数据一次性抽取完成;单次抽取根据规则要求进行抽取。控制单次抽取可采用手工和自动两种方式,手工方式通过人为方式启动任务,自动方式基于调度程序,定期定时执行抽取任务。抽取检验:在抽取完成后,进行数据源及目标数据库对比,发现并解决抽取过程产生错误。抽取日志记录:在抽取过程中要全程记录抽取日志,至少包括:数据记录条数、开始时间、完成时间,错误信息等。数据清洗 数据清洗任
17、务主要进行脏数据处理。数据转换 数据转换任务主要进行不一致数据转换、数据粒度转换,以及一些业务规则计算。务之间环境保护部门上下级之间相对独立目前各省市环境信息化建设中应用软件开发存在条块分割现象单一业务开发独立应用系统系统及系统之间往往无法对接导致系统之间信息不能相互共享从而使环境信息资源共享程度不高部分基本处于空白状态这种不均衡状态严重影响全省环境信息化整体水平县区作为最基层环保机构对本辖区内排污单位有关信息掌握最为清楚对排污单位监督管理也最为方便直接需要加强建设县区级环保应用把信息采集源头伸县区环保都有指导联系业务相同使得所建立系统功能都有重叠导致系统重复建设现象存在信息安全不达标存在安全
18、隐患数据集中是管理集中化精细化必然要求是国家省市环保部门优化业务流程管理流程必要手段数据中心建设成为环保数据集9/18 数据加载 数据加载工作实现转换后数据入库。在数据加载后,还要更新元数据,以反映刚完成数据加载活动。数据加载活动应使用标准方法和通用工具,例如,在关系数据库管理系统中可以使用 SQL 或专门用于管理数据仓库数据库管理系统加载工具。在数据装入数据仓库数据库后,应验证维度和事实数据表之间引用完整性,确保所有记录都及其他表中适当记录相关。数据缓存区规定 数据缓存区用来支持数据抽取、清理、转换并加载到数据仓库,应为数据缓存区创建单独数据库。数据缓存区应包括传入数据表、帮助实现代理键表以
19、及容纳转换数据表,以及其他表以协调来自不同数据源数据。数据缓存区可做归档,以备后查。ETL 周期设置 根据粒度设置要求对 ETL 周期进行设置。ETL 管理要求 对 ETL 管理主要包括 ETL 调度管理和 ETL 监控管理。ETL 调度管理要求包括三个方面统一:统一界面、统一配置、统一调度。在界面方面,应实现统一图形界面方式,且清晰易懂;在配置方面,应具备以下要素配置要求:自动调度时间设置、各调度要素之间逻辑关系设置、指定调度要素设置(包含指定数据源系统、功能模块、接口表等)、最大任务数设置;在统一调度方面,应通过统一界面进行统一配置后,能够统务之间环境保护部门上下级之间相对独立目前各省市环
20、境信息化建设中应用软件开发存在条块分割现象单一业务开发独立应用系统系统及系统之间往往无法对接导致系统之间信息不能相互共享从而使环境信息资源共享程度不高部分基本处于空白状态这种不均衡状态严重影响全省环境信息化整体水平县区作为最基层环保机构对本辖区内排污单位有关信息掌握最为清楚对排污单位监督管理也最为方便直接需要加强建设县区级环保应用把信息采集源头伸县区环保都有指导联系业务相同使得所建立系统功能都有重叠导致系统重复建设现象存在信息安全不达标存在安全隐患数据集中是管理集中化精细化必然要求是国家省市环保部门优化业务流程管理流程必要手段数据中心建设成为环保数据集10/18 一进行调度程序启动和停止。在不
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 环保局环境信息数据仓库建设规划方案建筑保温建筑办公文档解决方案 环保局 环境 信息 数据仓库 建设 规划 方案 建筑 保温 办公 文档 解决方案

限制150内