数据治理管控平台建设方案.docx

《数据治理管控平台建设方案.docx》由会员分享，可在线阅读，更多相关《数据治理管控平台建设方案.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据治理管控平台建设方案 准，进行标准的应用。标准化对象可以在模型、实体和属性级别进行 设置。4. 1.6. 2逆向建模包含数据库逆向、ERWin逆向、文件逆向、拆分主题域等工具, 数据库逆向功能支持直连源业务系统或数仓的数据库可以直接将数 据字典逆向成模型数据，支持JDBC适配方式扩展，支持多种数据库 类型。4.1.6. 2模型输出在逻辑模型或物理模型中，支持SQL脚本生成功能可直接选择模 型实体进行SQL脚本生成。支持将当前模型文件导出为PNG格式图 片。支持将当前模型文件导出为excel格式。4. 1.6. 2模型知识库模型工具可直接与数据管控平台相连接，可配置平台的地址用户 名和密码，

2、共享数据标准、数据模型等知识信息。支持模型上传至模 型管理服务器中指定路径中进行统一管理；支持对于当前模型版本或 历史上传版本进行下载；支持模型下载是选择部分实体或视图对象的 下载；平台运行硬件服务器序号应用名称配置需求数量备注1平台运行硬 件服务器CPU： 16C、内存：32G、存储：1T、备份空间：1T11 .项目概述22 .建设目标23 .技术规格：3. 1基本要求33 .2性能要求34.技术要求4企业级数据治理平台44.1.1 数据标准管理系统4数据字典对标管理系统54.1.2 数据质量管理系统6数据资产管理平台74.1.3 数据架构设计软件8平台运行硬件服务器91. 项目概述人工智能

3、的训练和分析需要通过大量的数据运算实现，因此离不 开大数据和数据治理的支持，大数据持续进行数据采集、清洗、转换、 分类等操作完成数据积累，而数据治理则为大数据的呈现提供了更为 规范的数据管理模式。人工智能需要依赖大数据平台和技术来帮助完 成深度学习进化，但是更需要数据治理工具为人工智能提供可信、可 靠的干净数据基础完成训练和分析。2. 建设目标完善数据管理，建设数据基础：“无治理、不分析”，没有高质 量的数据，就不会有可信的AT,数据治理是人工智能基础，通过实施 相应的数据治理策略，让用户数据管理和应用的环境，变得整洁而有 序。在数据收集、数据整合、数据预处理过程中，能够输出一致的、 完整的、

4、准确的数据，这是人工智能的基础。梳理数据标准，提升数据质量：数据治理在提升数据质量方面具 有重要作用。通过梳理数据标准、数据质量需求、定义数据质量检查 规则、制定数据质量改善方案、设计并实施数据标准管理工具、监控 数据质量管理操作程序和绩效等数据质量管理环节，用户可以获得干 净的、结构清晰的数据，为深度学习等人工智能技术提供可信的数据 输入。打造数据合规，设立隐私保障：数据治理工具从技术层面设计了 保护隐私数据的诸多环节，提供数据模糊化、数据脱敏、数据加密, 可为企业个人数据保护奠定基础，从而实现人工智能应用的数据合规性。提高运营效率，建立技术支柱：数据模型可以定义数据的整理和 存储方式以及内

5、部的数据关系，通过标准化的方式定义了数据元素和 关系，以便组织的数据可以互相关联。通过数据架构设计软件让组织 任何职员高效访问和使用内部标准，轻松理解数据模型的运营方式, 为人工智能的算法模型优化提供高效的维护手段。3. 技术规格：4. 1基本要求平台采用基于B/S结构，兼容IE、chrome.火狐等浏览器主流版 本架构基于平台化、组件化设计；支持跨平台应用：采用Java语言开发，支持主流操作系统；遵循软件开发安全规范，防范SQL注入和XSS攻击等，防范用户 帐号密码等敏感数据泄漏。系统分析设计时，充分考虑应用和功能的安全性。对应用系统的 不同层面，如表现层、业务逻辑层、数据服务层等，采取软件

6、技术安 全措施。同时，要考虑不同应用层面和身份认证和代理服务器等交互。数据及数据接口标准化、可扩展。支持与学校统一身份认证系统、 大数据平台等信息化平台集成对接。采用一定的加密算法对信息数据进行加密，提高信息内容的安全 性。5. 2性能要求 具有高稳定性、较强的容错能力，支持7*24的在线访问服务。数据服务的平均访问等待时间不大于2秒。4.技术要求1. 1企业级数据治理平台4. 1.1. 1元数据采集包括元模型管理、适配器管理、数据源配置、手动采集、元数 据采集任务管理、元数据采集日志管理等功能，支持多格式元数据采 集：数据库DB2、ORACLE SQL ServerMySQL. ETL数据处

7、理过程中 的SQL脚本过程、存储过程等，可以自动获取元数据及关联关系；支 持与主流ETL工具进行自动抽取，支持主流BT工具的采集；支持元 数据获取适配器的扩展。5. 1.1. 2元数据维护包括元数据权限配置、元数据版本管理、元数据解析等功能，元 数据出现待定版本时，支持自动向相关人员发送相应提醒审批信息, 审核通过后，数据治理平台对元数据进行定版，自动生成版本号。6. 1.1. 3元数据应用包含元数据统计、元数据查询、血缘分析、影响分析、数据地图 等功能，支持查询展示各版本的元数据信息；支持中文、英文查询、 支持跨元数据查询；支持进行精确、模糊查询、多条件组合查询，能 够将元数据按照树结构的方

8、式展示；支持导出元数据（格式excel） 等。7. 1.2数据标准管理系统1.2. 1数据标准制定包含标准查询与检索、数据标准维护、数据标准发布等功能，支 持数据标准的查询和导出，可按多个筛选条件对标准进行查询，用户 可对标准选择全部导出或部分导出，导出格式为excel。数据标准需 求审批通过后，支持数据标准管理员的批量新增操作、修改操作、删 除操作。8. . 2. 2数据标准应用包含标准映射、映射审核、映射查询、版本管理等功能，支持从 数据字典模块查询展示数据字典信息和前期已审核通过的字段级信 息、代码信息与数据标准的映射关系；支持数据字典中字段级信息、 代码信息与数据标准的自动模糊匹配，形

9、成匹配结果；支持新增、修 改、删除数据字典中字段级信息、代码信息与数据标准的映射关系。9. 1.2. 3数据标准分析包括查询分析、系统对标情况分析、标准落地情况分析、数据标 准影响分析等功能，支持从系统视角，对正在对标的系统，展示当前 流程、对标进度；对已完成对标的系统，展示参与对标数量、对标结 果等统计结果。10. .3数据字典对标管理系统1.3. 1数据字典申报管理包括数据字典补申报、数据字典审批、数据字典进度查询等功能, 支持数据字典申报模板下载、VBA插件下载、批量导入、新增、编辑、 删除等功能；支持数据字典对标申请选择对标范围、对标映射表下载、批量上传对标结果。11. 1.3. 2数

10、据字典管理支持对业务系统、数据仓库、SMARTBT报表平台等数据字典的管 理，支持对业务系统增删改和导出权限的分配。12. 1.3. 3数据字典分析包含差异分析、差异比对排除表管理、自动差异分析等功能，支 持各业务系统的生成版，测试版和发布版之间通过模式和版本时间进 行差异数据的对比，显示具体表新增，修改，删除以及字段的新增, 修改删除的差异信息。差异明细信息提供导出，生成DDL和差异补充 文档下载的功能。13. .4数据质量管理系统1.4. 1数据质量规则管理包含质量规则模板管理、新建质量规则、规则查询与维护、规则 调度管理等功能，支持检核规则的通用模板配置；支持用户通过现有 函数自定义配置

11、检核规则模板，规则设置简单易用，灵活性展现。14. 1.4. 2数据质量问题管理包含数据质量问题生成、数据质量问题分发、数据质量问题处理、 数据质量问题检索、质量问题追踪管理、质量问题解决方案管理等功 能，支持质量问题跟踪管理，定期自动向数据质量管理员推送最新状 态，可进行提交、处理和审批。15. 1.4. 3数据质量分析报告包括质量规则分析报告和系统质量分析报告，可根据数据质量规 则及分布情况，问题的权重，形成质量评估报告，并可通过时间序列 展现趋势。以及根据存量数据、质量问题的数量、质量问题的性质等， 统计各系统的数据质量情况，形成分系统、分部门的质量问题报告, 并可通过时间序列展现趋势。

12、数据资产管理平台4. 1.5. 1数据资产门户包含资产概览、资产看板、数据资产搜索等功能，可展示数据资 产总量、每日数据资产增量、数据资产质量、数据资产分布情况等指 标，快速展示数据资产整体概况。4. 1.5. 2数据资产管理包含资产登记、资产盘点、盘点结果维护、资产打标任务等功能， 支持新增资产登记、编辑资产登记、批量删除，模板下载，导入，导 出功能。数据场景运营包含数据安全、监管报送、特征目录等功能，对数据安全按资产 分类及相关标签体系进行统计、查询和展示。并对特征目录按资产分 类及相关标签体系进行统计、查询和展示。4. 1.5. 4资产服务管理包含API接口服务、外部数据看板、个人资产订

13、阅等功能，支持 为数据资产的共享提供API接口服务，对外部数据按资产分类及相关 标签体系进行统计、查询和展示。分享用户的数据资产和接受别人分享的数据资产。数据架构设计软件4. 1.6. 1逻辑模型设计包含主题域设计、实体设计、属性设计、子类型设计、关系设计、 键组设计，模型设计等工具。工具提供主题域的新增、修改、删除、 维护基础功能，同时提供主题域排序、层级调整的功能。提供实体新 增、删除、编辑、复制、粘贴、移动至其他主题域等基本功能；同时支 持设置实体背景色、字体、颜色、对齐、尺寸自适应、层级位置移动 等。支持属性的新增、编辑、删除、排序、默认值、显示格式、数据类型 等信息的维护；同时支持背景色、顺序同步，属性移动。4. 1.6. 2物理模型设计包含索引设计、分区表设计、数据库类型切换、约束设计、DDL模 板管理、视图管理等工具，模型设计工具支持索引的新增、删除、修 改，索引字段的排序，支持分区和子分区多层级组合，不同数据库类 型支持不同的分区方式。在数据库类型设置功能中，可以对物理模型 所对应的数据库类型进行选择和切换，包括切换后数据类型对应关系 转换的功能。4. 1.6. 2标准应用包含下载标准分类、Excel标准应用、标准对象设置、标准应用、 标准化同步等工具，支持加载多个标准分类体系，不同模型文件选择 不同标准分类体系功能；模型设计工具支持加载本地Excel管理的标