数据治理体系完整指南.docx

《数据治理体系完整指南.docx》由会员分享，可在线阅读，更多相关《数据治理体系完整指南.docx（61页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据治理体系完整指南01 数据治理体系数据治理体系内容从两个维度来看：1）数据治理难点痛点：数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。2）数据治理 5 个核心：理、聚、管、治、用。数据治理体系主要包含内容有数据标准、元数据、数据建模、数据集成、数据生命周期、数据质量、数据开放、数据安全及数据应用。02 元数据2.1、元数据解决的问题有什么数据 - 数据是什么 - 来自何处 - 如何流转 - 谁可以访问其本质也是一种数据，开展元数据管理工作是开展数据资产管理的基础。2.2、元数据分类业务元数据：描述数据系统中业务领域相关概念、关系和规则的数据； 包括

2、业务 术语、信息分类、指标、统计口径等。（从业务角度描述的） 技术元数据：描述 数据系统中技术领域相关的概念、 关系和规则的数据； 包括数据平台内对象和数 据结构的定义、 源数据到目的数据的映射、 数据转换加工过程的描述等。 管理元 数据：描述数据系统中管理领域相关概念、关系、规则的数据；主要包括人员角 色、岗位职责、管理流程等信息。2.3、元数据模型成熟度1、第一阶段：需要手动管理元数据，即在数据治理流程外需要额外增加的步骤。2、第二阶段：在数据探查阶段自动生成元数据。3、第三阶段：自动构建数据流转元数据。2.4、元数据建设目标和管理手段2.5 元数据管理元数据管理方法：元数据管理能力：03

3、 数据标准常见的数据标准包含基础数据标准和指标数据标准。主要构成：业务定义+管理信息+技术属性数据标准包含内容包括：主题&分类+标注属性+标准代码3.2.2、数据标准类型（举例）不同行业的标准不同，这里仅是举例说明。如：性别、身份证、金额、手机号码、行业、级别的分级分类的代码等3.3、数据标准管理体系涉及思路数据标准来源于业务，服务于业务。依据已有标准进行建设基础类数据标准：业务化视角指标类数据标准：从管理角度出发数据标准的制定是一个以业务管理为主导、外部要求为依据、企业现状为基础的 兼容过程。3.4、数据标准架构体系通过统一标准和架构规范，统一指标、统一术语、统一模型、统一信息项，解 决数据

4、口径解释不清晰、业务和数据理解不一致等问题，实现数据在架构层面 的统一但并非所有基础类数据都要建立标准，纳入标准的数据项需要满足共享性、重 要性和可行性的准入原则。3.5、管理类数据标准建设原则定义：分析类数据标准的业务含义和所适用的业务场景保持一致。口径：分析类数据标准的业务取值范围、计算方法和编码规则等业务规则保持一直。名称：分析类数据标准中文名称和英文名称均采用统一命名规则，表示相同业务含义的信息项名称应保持一直。参照：各分析类数据标准项标准化时参考的外部标准（包括国际标准、国家标准和行业标准） ，内部业务制度和业务规范应保持一致。来源：每个分析类数据标准都应有权威的来源系统；其他系统使

5、用该信息时应直接取用权威系统结果，以保持一致。以下为某企业数据标准体系框架示例，分为基础类数据标准和管理类数据标准3.6、数据标准生命周期管理04 数据建模4.1、概念企业级数据模型建设方法：从全局入手， 涉及标准化数据模型， 构建统一的数据 模型管控体系， 丰富和完善数据实体相关属性信息， 梳理数据实体之间的逻辑关 系，最终形成不同主题域数据模型。4.2、数据模型分类4.3、数据模型生命周期4.4、案例05 数据集成5.1、概念数据集成：主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管 理的过程，是一个渐进的过程，主要有新的、不同的数据产生，就不断有数据集 成的步骤和方案执行。

6、数据集成是把不同来源、 格式、 特点性质的数据在逻辑上 或物理上有机的集中，从而为企业数据共享提供基础支撑。5.2、数据集成整体架构06 数据生命周期6.1、阶段划分按照两个大的阶段来划分：数据治理规划阶段+数据生命周期管理阶段数据治理规划阶段：业务规划定义阶段：业务规划、业务标准设计应用设计实现阶段：数据模型设计、应用标准设计、应用设计实现、数据录入数据生命周期管理阶段：数据创建：利用数据模型保证数据完整、执行数据标准保证数据准确、加入数据质量检查创建准确、保证数据在合理的系统生成；数据使用：利用元数据监控数据使用、利用数据标准保证数据准确、利用数据质量检查加工准确、确保数据在合理的系统使用

7、、控制数据的派生；数据归档：利用评估手段保证归档时机、分数据类型规档数据；数据销毁：利用评估手段保证数据销毁时机，分数据类型销毁数据。要求：满足对历史数据查询相关政策和管理制度的要求满足业务操作和管理分析的需要满足审计管理要求减少数据冗余，提高数据一致性存储、硬件、运维等方面基础设施投入提升应用系统性能，提高响应速度6.2、管理要求和手段6.3、管理规范和管理办法07 数据质量7.1、数据质量管理目标1. 根据数据消费者的需求，开发一种满足数据质量要求的管理方法2. 定义数据质量控制的标准和规范，并作文整个数据生命周期的一部分3. 定义和事实测量、监控和报告数据质量水平的过程4. 根据数据消费

8、者要求，通过改变流程和系统，以及参与可显著改善数据质量的活动，识别和倡导提高数据质量的机会7.2、生命周期 计划阶段：数据质量团队评估已知的问题范围、影响和优先级， 并评估解决这些问题的备选方案。 执行计划：数据质量团队负责努力解决引起问题的根本原因， 并做出对持续监控数据的计划（技术问题、流程问题）。 检查阶段：这一阶段包括积极监控按要求评测的数据质量。 处理阶段：处理和解决新出现的数据质量问题的活动。7.3、数据质量维度7.4、数据质量常用工具08 数据开发围绕数据价值通道（数据资产 - 数据服务 - 业务应用） 来设计数据开发的全 流程管理，推动数据价值的释放。8.1、数据资产数据资产的应用实现方式，打通基础数据链条，实现联通协同，提升数据价值数据资产生命周期：注册、变更、监控、下线8.2、数据服务数据服务技术架构:09 数据安全数据安全体系包含：数据安全技术体 安全管理体系+安全运营体系10 ETL10.1、含义10.2、 ETL 模式触发器模式：增量字段模式：全量同步模式：日志对比模式：不同模式的对比：10.3、离线和实时实时数据：离线数据：使用场景：