深入浅出数据综合治理.doc
《深入浅出数据综合治理.doc》由会员分享,可在线阅读,更多相关《深入浅出数据综合治理.doc(52页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、*-深入浅出数据治理目 录一数据管理的现状3二数据治理的概述4(一)数据治理概念4(二)数据治理目标5三数据治理体系5四数据治理核心领域6(一)数据模型6(二)数据生命周期6(三)数据标准8(四)主数据9(五)数据质量10(六)数据服务12(七)数据安全12五数据治理保障机制13(一)制度章程13(1)规章制度13(2)管控办法13(3)考核机制13(二)数据治理组织15(1)组织架构15(2)组织层次16(3)组织职责17(三)流程管理19(四)IT技术应用19(1)支撑平台19(2)技术规范22附件A 数据管理规范23附件B 数据质量评估办法38附件C 数据质量管理流程42关于数据治理的理
2、解1. 数据管理的现状根据行业信息化发展的现状,结合当今行业数据治理的要求,大型集团或政务管理部门现阶段数据管理方面存在以下的不足:(1) 数据多头管理,缺少专门对数据管理进行监督和控制的组织。信息系统的建设和管理职能分散在各部门,致使数据管理的职责分散,权责不明确。组织机构各部门关注数据的角度不一样,缺少一个组织从全局的视角对数据进行管理,导致无法建立统一的数据管理规程、标准等,相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立,无法保障数据管理标准和规程的有效执行。(2) 多系统分散建设,没有规范统一的省级数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求,逐步建
3、立了各自的信息系统,各部门站在各自的立场生产、使用和管理数据,使得数据分散在不同的部门和信息系统中,缺乏统一的数据规划、可信的数据来源和数据标准,导致数据不规范、不一致、冗余、无法共享等问题出现,组织机构各部门对数据的理解难以应用一致的语言来描述,导致理解不一致。 (3) 缺少统一的主数据,组织机构核心系统间的人员等主要信息并不是存储在一个独立的系统中,或者不是通过统一的业务管理流程在系统间维护。缺乏对集团公司或政务单位主数据的管理,就无法保障主数据在整个业务范围内保持一致、完整和可控,导致业务数据正确性无法得到保障。 (4) 缺乏统一的集团型数据质量管理流程体系。当前现状中数据质量管理主要由
4、各组织部门分头进行;跨局跨部门的数据质量沟通机制不完善;缺乏清晰的跨局跨部门的数据质量管控规范与标准,数据分析随机性强,存在业务需求不清的现象,影响数据质量;数据的自动采集尚未全面实现,处理过程存在人为干预问题,很多部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题;缺乏完善的数据质量管控流程和系统支撑能力。 (5) 数据全生命周期管理不完整。目前,大型集团或政务单位,数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善,不能确定过期和无效数据的识别条件,且非结构化数据未纳入数据生命周期的管理范畴;无信息化工具支撑数据生命周期状态的查询,未有效利用元数据
5、管理。2. 数据治理的概述2.1 数据治理概念数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。2.2 数据治理目标数据治理的目标是提高数据的质量(准确性和完整性),保证数据的安全性(保密性、完整性及可用性),实现数据资源在各组织机构部门的共享;推进信息资源的整合、对接和共享,从而提升集团公司或政务单位信息化水平,充分发挥信息化作用。3. 数据治理体系数据治理体系包含两个
6、方面,一是数据质量核心领域,二是数据质量保障机制。具体两者内容及相互关系可以参见下图:4. 数据治理核心领域为了有效管理信息资源,必须构集团级数据治理体系。数据治理体系包含数据治理组织、数据构架管理、主数据管理、数据质量管理、数据服务管理及数据安全管理内容,这些内容既有机结合,又相互支撑。4.1 数据模型数据模型是数据构架中重要一部分,包括概念数据模型和逻辑数据模型,是数据治理的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个集团的业务范围,以一种清晰的表达方式记录跟踪集团单位的重要数据元素及其变动,并利用它们之间各种可能的限制条件和关系来表达重要的业务
7、规则。数据模型必须在设计过程中保持统一的业务定义。为了满足将来不同的应用分析需要,逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储,以支持各种可能的分析查询。同时保障逻辑数据模型能够最大程度上减少冗余,并保障结构具有足够的灵活性和扩展性4.2 数据生命周期一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。(1)数据生成及传输数据应该能够按照数据质量标准和发展需要产生,应采取措施保证数据的准确性和完整性,业务系统上线前应该进行必要的安全测试,以保证上述措施的有效性。对于手工流程中产生的数据在相关制度中明确要求,并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过
8、程中需要考虑保密性和完整性的问题,对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。(2)数据存储这个阶段除了关注保密性、完整性之外,更要关心数据的可用性,对于大部分数据应采取分级存储的方式,不仅存储在本地磁盘上,还应该在磁带上,甚至远程复制到磁盘阵列中,或者采用光盘库进行存储。对于存储备份的数据要定期进行测试,确保其可访问其数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定,信息化管理部门可以给予相应的支持。同时还需要注意因为部门需要或故障处理的需要,可能对数据进行修改,必须在数据管理办法中明确数据修改的申请审批流程,审慎对待后台数据修改。(3)数据处理和应用信息化相
9、关部门需要对数据进行分析处理,以挖掘出对于管理及业务开展有价值的信息,为保证过程中数据的安全性,一般应采用联机处理,系统只输出分析处理的结果。但是实际中,因为相关数据分析系统建设不到位,需要从数据库中提取数据后再对数据进行必要的分析处理,在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等等。(4)数据销毁这个阶段主要涉及数据的保密性。应明确数据销毁的流程,采用必要的工具,数据的销毁应该有完整的记录。尤其是对于需要送出外部修理的存储设备,送修之前应该对数据进行可靠的销毁。4.3 数据标准数据标准是集团
10、单位建立的一套符合自身实际,涵盖定义、操作、应用多层次数据的标准化体系。数据标准的建立是集团单位信息化、数字化建设的一项重要工作,行业的各类数据必须遵循一个统一的标准进行组织,才能构成一个可流通、可共享的信息平台。数据治理对标准的需求可以划分为两类,即基础性标准和应用性标准。前者主要用于在不同系统间,形成信息的一致理解和统一的坐标参照系统,是信息汇集、交换以及应用的基础,包括数据分类与编码、数据字典、数字地图标准;后者是为平台功能发挥所涉及的各个环节,提供一定的标准规范,以保证信息的高效汇集和交换,包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。(1)数据分类与编码数据分类与编
11、码标准是信息化建设中标准化的一项基础工作,该类标准规定平台汇集、交换相关信息统一的分类系统和排列顺序以及编码规则,目的是在不同系统和用户之间建立交通数据的一致参照,对提高数据采集、处理和数据交换效率具有重要作用。数据分类与编码标准的制定将有力推进平台标准化及交通信息化建设标准化的进程。(2)数据字典针对实际需求,定义数据集,建立各个领域的数据字典,规范数据概念和数据定义。在此基础上,形成完备的集团单位数据集和数据字典。(3)元数据标准元数据标准是描述数据资源的具体对象时所有规则的集合,它包括了完整描述一个具体数据对象时所需要的数据项集合。针对各种信息资源分别制定适当的元数据标准,可为信息的管理
12、、发现和获取提供一种实际而简便的方法,从而提高数据交换效率。 (4)数据交换标准为了保证数据共享和交换的顺利实现,必须明确定义和规范数据交换的相关标准。数据交换的标准规范是集团单位综合信息平台的核心标准。其中应当包括数据交换内容、数据交换格式、数据传输方式、各类中心间数据接口的标准化等方面。 (5)数据质量标准由于数据采集任务通常由其他二级平台完成,数据治理平台的标准方法主要集中在数据的加工和管理上。应该重点开发的一个领域是数据质量控制方法。应当从三个方面对数据质量方法进行研究:“ 坏数据”或“不可靠数据”的识别,错误数据的编辑方法,以及缺少值的处理。4.4 主数据主数据管理要做的就是从各部门
13、的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给集团单位范围内需要使用这些数据的操作型应用系统和分析型应用系统。主数据管理的信息流应为:1) 某个业务系统触发对主数据的改动;2) 主数据管理系统将整合之后完整、准确的主数据传送给所有有关的应用系统3) 主数据管理系统为决策支持和数据仓库系统提供准确的数据源。因此对于主数据管理要考虑运用主数据管理系统实现,主数据管理系统的建设,要从建设初期就考虑整体的平台框架和技术实现。4.5 数据质量数据质量不高将影响数据仓库应用程度不高。低下的数据质量往往造
14、成开发出来的系统与用户的预期大相径庭,数据质量关系建设有关分析型信息系统成败,同时数据资源是集团单位的战略资源,合理有效的使用正确的数据能指导集团单位做出正确的决策,提高省综合竞争力。不合理的使用不正确的数据(即差的数据质量)可导致决策的失败,正可谓差之毫厘、谬以千里。数据质量管理包含对数据的绝对质量管理、过程质量管理。绝对质量即数据的真实性、完备性、自治性是数据本身应具有的属性。过程质量即使用质量、存储质量和传输质量,数据的使用质量是指数据被正确的使用。再正确的数据,如果被错误的使用,就不可能得出正确的结论。数据的存贮质量指数据被安全的存贮在适当的介质上。所谓存贮在适当的介质上是指当需要数据
15、的时候能及时方便的取出。数据的传输质量是指数据在传输过程中的效率和正确性。高质量的交通运输行业数据至少有如下几项要求:一是正确性,在转换、分析、存储、传输、应用流程中不存在错误;二是完整性,数据库应用或要求的所有记录、字段都存在;三是一致性,体现在整个数据库的定义和维护方面,确保数据在使用的整个过程中是一致的;四是时效性,衡量指标是在指定的数据与真实的业务情况同步的时间容忍度内,即指定的更新频度内,及时被刷新的数据的百分比;五是可靠性,提供数据的数据源必须能够可靠稳定地提供数据。数据质量管理的规划和实施包括以下内容:一是数据质量管控体系的建立,包括数据质量的评估体系,定期评估数据质量状况;二是
16、在部门各个应用系统中的落实,包括每个应用系统中的数据质量检查等;三是在最开始建立数据质量管理系统的时候,借助数据治理平台上,通过建立数据质量管理的规则来集中化地建立数据质量管理系统,发现问题并持续改进; 四是数据质量管理与业务稽核的结合,通过业务规则的稽核来发现数据质量深层次的问题,将数据质量与业务一线结合起来,使业务人员对数据质量问题有更加清晰和明确的认识。完善的数据质量管理是保障各项数据治理工作能够得到有效落实,达到数据准确、完整的目标,并能够提供有效的增值服务的重要基础。4.6 数据服务数据整理最终目的就是要服务于各部门单位、人员等,能更准确更快更方便的服务是数据服务管理的目标。数据服务
17、管理是指针对内部积累多年的数据,研究如何能够充分利用这些数据,分析行业业务流程优化业务流程。数据使用的方式通常包括对数据的深度加工和分析,包括通过各种报表、工具来分析运营层面的问题,还包括通过数据挖掘等工具对数据进行深度加工,从而更好的管理者服务。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台来统一数据源,变多源为单源,加快数据流转速度,提升数据服务的效率。4.7 数据安全由于集团单位的重要且敏感信息大部分集中在应用系统中,数据安全更是至关重要。如何保障数据不被泄露和非法访问,是非常关键的问题。数据安全管理主要解决的就是数据在保存、使用和交换过程中的安全问
18、题。数据安全管理主要体现在以下六个方面:一是数据使用的安全性,包括基础数据的保存、访问和权限管理;二是数据隐私问题,系统中采集的证件号码、银行账号等信息在下游分析系统和内部管理系统中,是否要进行加密,以避免数据被非法访问;三是访问权限统一管理,包括单点登录问题及用户名、数据和应用的访问授权统一管理;四是数据安全审计,为数据修改、使用等环节设置审计方法,事后进行审计和责任追究;五是制度及流程建立,逐步建立数据安全性的管理办法、系统开发规范、数据隐私管理办法及相应的应用系统规范、在管理决策和分析类系统中的审计管理办法等;六是应用系统权限的访问控制,建立集团级权限管理系统,增加数字水印等技术在应用系
19、统中的使用。5. 数据治理保障机制5.1 制度章程5.1.1 规章制度数据治理章程类似于企业的公司条例。该章程阐明数据治理的主要目标、相关工作人员、职责、决策权利和度量标准。具体可参见 附件 数据管理规范5.1.2 管控办法管控办法是基于规章制度与工具的结合,可落地的操作的办法。具体可参见 附件 数据质量评估办法5.1.3 考核机制考核是是保障制度落实的根本,建立明确的考核制度,实际操作中可根据集团单位情况,建立相应的针对数据治理方面的考核办法,并与个人绩效相关联。可参考管理学中相关考核、绩效管理相关部分。对于数据治理的考核,可见下图进行理解:5.2 数据治理组织5.2.1 组织架构有效的组织
20、机构是项目成功的有力保证,为了达到项目预期目标,在项目开始之前对于组织机构及其责任分工做出规划是非常必要的,数据治理项目管理组织建议宜采用如图所示的组织结构:5.2.2 组织层次数据治理委员会由集团公司的高层领导者组成。委员会定义数据治理愿景和目标;组织内跨业务部门和 IT部门进行协调;设置数据治理计划的总体方向;在发生策略分歧时进行协调。此委员会也将包含来自部门或子公司的领导代表,以及来自各单位视数据为机构资产的信息科技部门的代表。这些高层管理人员是数据治理计划的所有拥护者,确保在整个组织内获得支持。数据治理工作组是组织内委员会下面的下一个级别。工作组执行数据治理计划。工作组负责监督数据管理
21、员工作。数据治理工作组由数据治理委员会中各局领导主持。每各业务部门有至少一位业务分析员,信息科技部门设置数据质量分析员、数据管理员、集成开发人员。各工作人员负责本部门数据的质量,履行职责,解决具体的问题。5.2.3 组织职责根据数据管理工作的实际需要,在业务管理部门、技术管理部门和业务应用部门确定各工作人员的职责。数据治理委员会的职责范围:1)从战略角度来统筹和规划,对数据资产和系统进行清理,确定数据治理的范围;明确数据源的出处、使用和管理的流程及职责;2)明确数据治理的组织、功能、角色和职责;3)负责各工作组成员的培训工作;4)负责审查各工作小组的目标、原则,批准数据管理的相关制度、标准及流
22、程;5)负责确定数据治理的工具、技术和平台;6)负责制定数据治理的评估指标、方法。数据治理工作小组,其主要工作职责是:负责数据治理的牵头,组织、指导和协调本单位的数据治理工作;综合数据治理管控办法、数据治理考核机制等有关规章制度的牵头制定、修改等;负责数据的分析整理并出具数据指标报告;负责数据的监测预测工作;建立数据冲突的处理流程和数据变更控制流程。负责对基础数据质量的检测、发布、考核和清理完善工作。工作组成员:业务分析员、数据质量分析员、数据管理员、集成开发员这些不同的角色在数据治理过程中承担着彼此不同,而又相辅相成的职责。其中集成开发人员在数据治理流程中需要肩负起数据访问、验证数据结构、验
23、证数据、交付数据以及数据库/知识库的构建等角色,因此他们的工作包括: 访问及交付相应数据给业务用户 提高生产力和性能 最大化减少异常/出错的影响 开发和完善技术最佳实践数据质量分析员在数据治理流程中负责数据的剖析、清洗匹配合并等。工作包括: 为开发人员定义数据规格及标准 为机构有效的追踪数据质量问题 实施被业务人员和数据管理员定义正确的数据质量规则 不间断的监控数据质量水平及问题业务分析人员在数据治理流程中负责定义数据的转换规则,工作包括: 与需求开发人员协作,正确捕获和解析业务需求 与开发人员和数据管理员协作,为业务用户缩短数据产生价值的时间数据管理员需要定义引证数据,并管理元数据,工作包括
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深入浅出 数据 综合治理
限制150内