（大数据资料）数据标准管理 ADS.pdf

《（大数据资料）数据标准管理 ADS.pdf》由会员分享，可在线阅读，更多相关《（大数据资料）数据标准管理 ADS.pdf（19页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：1 深圳市华傲数据技术有限公司 数据标准管理系统（Audaque Data Standard Management System）产品白皮书 第 1 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：2 声明 本报告属商业机密文件，报告书中的所有信息均为深圳市华傲数据技术有限公司（以下简称华傲）机密信息，一旦泄漏，可能被商业竞争者利用。因此仅供甲方规划评估使用。务必妥善保管并且仅在与项目有关人员范围内使用，未经我们明确做出的书面许可，不得为任何目的、以任何形式或手段（包括电子或

2、机械复印、录音或其他形式）对本文档的任何部分进行复制、存储、引入检索系统或者传播给第三方。CopyrightAudaqueData technology Ltd.All rights reserved.第 2 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：3 目 录 第第 1 章章 概述概述 .41.1 关于本产品 .41.2 关于白皮书 .41.3 关于阅读者 .41.4 版权声明 .51.5 商标声明 .5第第 2 章章 产品特点产品特点 .62.1 内置丰富的数据元标准，减少实施成本和周期 .62.2 灵活的标准规则扩展性，适应企业的个性化需

3、求 .72.3 基于大数据的高性能，提升平台的运行效率 .82.4 开放灵活的对接方式，实现与内外部系统的无缝集成 .82.5 通过全生命周期管理，达到数据标准的持续优化 .92.6 全新的数据标准管理理念，实现数据标准和企业数据的高度统一 .9第第 3 章章 应用场景分析应用场景分析 .103.1 全生命周期数据标准管理 .113.2 基于数据标准的质量稽查 .13第第 4 章章 产品模块产品模块 .15第第 5 章章 产品配置产品配置 .19第 3 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：4 第 1 章 概述 1.1 关于本产品 华傲数据

4、标准管理系统（Audaque Data Standard Management System，简称：DS 系统）是深圳市华傲数据技术有限公司（以下简称华傲数据）研发的，用于解决元信息、数据标准、数据质量规则等角度形成企业级数据模型、数据操作规范、数据质量要求以及数据改进提升的数据治理核心功能和业务应用。从元信息层面组织这些种类繁多、类型复杂的数据，即建立元信息目录，掌控这些复杂与种类丰富的海量数据，对这些问题进行有效的处理。这里所谓的元信息就是指由各种各样的数据标准组成的数据标准体系；同时根据数据标准实现的特殊性即标准制定的可持续性，本平台还支持一套完整的数据标准维护流程，以备标准持续完善；另

5、外系统还考虑云计算下的大数据下的数据质量稽查，提供快速、自动、稳定、持续的数据标准和质量提升服务。1.2 关于白皮书 本产品白皮书旨在帮助读者了解数据数据标准管理系统(DS)产品能力，确定工具平台构建的要素，包含：技术架构、应用场景、平台特性、关键技术原理和平台环境等。1.3 关于阅读者 本手册的目标读者包括华傲数据的决策管理人员、系统架构人员、应用架构人员、应用开发人员和应用实施人员。另外，对业务分析人员和销售人员充分了解产品特点和应用范围也有帮助。同时，也可能包括目标客户。第 4 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：5 1.4 版权声

6、明 本文包含的信息代表华傲数据公司目前对本文所涉及内容的观点，由于用户需求、市场和产品情况的不断变化，本文中的信息并不代表华傲数据未来的观点，华傲数据公司不能保证本文信息在未来时间的有效性。本文包含的内容，无论是明确陈述的内容或隐含的内容，都不能理解为华傲数据公司的正式商业承诺。本文包含敏感信息，须限制使用。扩散或复制本文须得到华傲数据公司的书面认可，严禁以任何形式印刷或出版本文的全部或部分内容。本文中提及的有关产品和名称为相应公司或机构的（注册）商标。本文信息若有变动，恕不另行通知。1.5 商标声明 为深圳市华傲数据技术有限公司在中华人民共和国国家商标局登记注册的商标，其所有权由本公司合法拥

7、有，受法律保护。未经本公司书面许可或授权，任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其它产品捆绑使用。侵犯本公司商标权，本公司将依法追究其法律责任。第 5 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：6 第 2 章 产品特点 DS 系统是实现企业级数据架构的重要组成内容之一。平台可实现企业内外部跨系统之间和企业内部跨系统之间的数据标准管理，从而达到在所有系统中保持一致的数据进行的统一定义和规范，确保数据在不同应用系统中的一致、准确与完整。DS 系统具有以下不同于其它类似产品的特点：支持内置面向企业自身

8、业务特征相关的全方位数据标准集合；支持数据标准的形式化、规范化定义；支持数据标准的实时、定时和条件执行；支持数据标准的全生命周期管理；支持数据质量稽查报告；企业数据质量好坏的评价度量指示器。该平台中主要包括以下功能：2.1 内置丰富的数据元标准，减少实施成本和周期 DS 系统标准数据元库汇集了大量的标准（国际、国家、地方以及企业标准等）和自定义标准，汇聚大量的通用的行业数据知识，并对其进行标准化的管理，便于用户查询和追溯。第 6 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：7 （图 2-1 数据标准管理系统的标准和版本化）预置的各种数据元标准为企

9、业制定或扩展已有数据标准提供参考依据，为标准的权威性、代码的收集、行业的经验提供有效参考，节省企业成本的同时，也为标准的有效性提供保障。2.2 灵活的标准规则扩展性，适应企业的个性化需求 可扩展性是指软件能够适应各种复杂的业务数据增长和变化的能力。DS 系统提供灵活简洁的扩展能力主要体现在标准稽核规则多样性和支持多种数据源两个方面：标准稽核规则多样性 DS 系统提供六大规则即函数依赖规则、字典规则、值域分析、SQL 规则、包含依赖规则、正则表达式和一个自定义标准包接口；可以扩展各种或各类型临时定义的或新增的标准，从数据的一致性、合规性、关联性等多个方面进行全方位稽查。多数据源支持 企业信息化建

10、设业务系统、数据仓库等目前以关系数据库为主。例如：Oracle、第 7 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：8 Teradata、DB2、SQL SERVER 等主流关系数据库，DS 系统除各种主流关系数据库数据外，同时预留了其它数据源扩展接口，可以根据企业的需要快速扩展。2.3 基于大数据的高性能，提升平台的运行效率 DS 系统在技术架构实现方面，做出了很大的优化和改进。系统采用了传统技术和Hadoop 技术结合的方式，既继承了传统技术的优点，又引进了先进的开源技术；提高了系统的运行效率，又降低了技术实现的成本。（图 2-2 数据标准管

11、理系统-技术架构简图）传统技术：实现简单数据量不大标准规则，或者跨系统数据稽查等业务。Hadoop 技术：实现复杂的大数据量的集群式的标准实现，可对海量数据进行高效率稽查，同时 Hadoop 又是以一种可靠、高效、可伸缩的方式进行处理。提供高性能保障的同时也降低成本的投入。2.4 开放灵活的对接方式，实现与内外部系统的无缝集成 开放的 Web Service 调度接口，解决用户复杂调度规划问题。随着企业信息化的不断完善，大量调度平台并行执行肯定存在，DS 系统提供 Web Service 作业调度接口，可以引用到用户现有的调度平台中，无需用户再行购买新的调度平台，方便用户进行调度管理，降低了因

12、调度而引起的额外费用。第 8 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：9 2.5 通过全生命周期管理，达到数据标准的持续优化 数据标准的制定和实施是个长期的和循序渐进的过程。数据标准涵盖了业务、技术、流程各个方面，可持续维护的策略避免数据标准停留在初始定义的状态下。逐步对数据进行完善更新，确保数据标准有效管理的同时，也保障了当业务发生变化时同步修正或完善数据标准。具体实现方法如下：（图 2-3 数据标准管理系统-标准维护策略）2.6 全新的数据标准管理理念，实现数据标准和企业数据的高度统一 通过本系统的实施，可以彻底解决原来企业普遍存在的数据

13、标准和企业数据分开两张皮的问题，做到数据标准和企业数据的实时对比、分析和稽查，随时发现数据质量问题，随时给出问题原因分析，及时纠正各种数据质量问题，达到数据标准和企业数据的高度统一。第 9 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：10 第 3 章 应用场景分析 企业信息化建设的飞速发展和数据的持续积累，数据标准和数据质量已经成为各个企业重点关注的核心问题，特别是在大数据情况下，不标准不规范的数据严重影响数据（包括大数据）的决策。因此通过数据标准化提升数据质量已经是当前十分迫切的问题之一。DS 系统汇聚各个版本标准和规范，形成整套数据稽查及标准

14、化服务方案，帮助客户解决因数据不标准带来的数据问题，DS 系统产品可以从多角度、多方位为帮助客户解决实际问题：实现企业数据标准体系的从纸面到系统的落地：标准管理从纸面上管理移植到管理系统中，方便管理和维护。将用户纸面上或文件上的数据标准，迁移到系统中集中管理，便于用户查阅，预览、追溯；降低维护成本和维护时间。实现数据标准管理在外部监管和内部控制的规范化、标准化：通过以标准为规范持续稽核业务系统数据的规范性，有效推动企业内部信息系统改进，逐步提升企业数据的规范性。通过数据质量动态仪表盘，及时掌控企业数据与监管要求的符合度：对外部监管数据标准进行系统化管理和持续跟进数据的符合度，提前发现内部数据存

15、在的问题，未雨绸缪，避免对企业造成更大的损失，提升企业自身品牌形象。为企业信息化规划与建设提供高质量的数据保障：数据标准是企业信息化系统、数据中心建设模型设计的基础对数据标准进行有效管理和数据稽查，逐步消除企业数据标准不统一问题，为企业数据内部共享，数据利用提供有力保障。为企业实现以业务应用系统建设为主到以业务数据整体建设转变提供平台技术支持：企业数据资源已经成为继资金、人力、产品资源后又一重要企业战略第 10 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：11 资源，如何对数据资源进行规划、设计、实施和维护提升是摆在企业决策管理层的艰巨任务，全视

16、角、高质量统一的数据资源将为企业发展预测、决策分析和运行管理带来巨大优势和发展潜力。为企业信息化平台中应用平台、技术平台和数据平台的组成之一，DS 系统将成为企业数据管理部门的重要技术支撑工具，为管理部门进行数据治理提供保障。DS 系统作为一个集数据标准建立、数据标准增加、数据标准执行和数据质量稽查为一体的数据质量管理平台，其应用主要围绕以下几点：1)围绕数据标准相关的应用；2)围绕数据质量相关的应用；3)围绕数据达标审核相关的应用；4)围绕企业建立业务系统与数据相关的应用；5)以及企业兼并与外部系统数据集成相关的应用。综合起来主要体现在如下两个方面：支撑调研、制定、管理数据标准；实现标准的快

17、速落地；3.1 全生命周期数据标准管理 数据标准的制定需要在业务驱动下进行系统的标准化的设计。首先要了解目前的现状，根据现状制定标准框架，再设计标准，执行标准。然后根据标准的执行了解数据的现状。如下所示：第 11 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：12 （图 4-1 数据标准制定过程）根据上述标准的指定过程，结合 DS 系统已经积累了丰富的大量的国家、地方、行业、企业的标准数据元，即形成的标准数据元库，还有内置各种数据规则，为数据标准化的调研、制定、管理和框架制定提供重要的支撑。（图 4-2 数据标准管理系统制定）第 12 页 共 19

18、 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：13 调研：对标准的现状进行调研分析；对已有标准进行整理。制定：根据调研结果制定标准框架。创建：根据标准框架设计，管理数据标准，同时创建数据标准库。支撑：在标准调研和制定标准框架中，DS 系统数据元库支撑数据标准调研和指导标准框架的制定。为调研提供依据，为标准框架指定提供基础平台。3.2 基于数据标准的质量稽查 标准的落地是数据标准实现最终要的环节。在落地层面，DS 系统提供了整套数据标准落地流程实施方法论，专门将数据标准的关键功能需求进行疏通和管理，实现标准快速落地。（图 4-3 数据标准管理系统-标准落地流程）

19、关联：DS 系统数据规则（结合数据元库）关联稽查在业务系统中定义的数据对象，形成数据规则。创建和执行：再根据数据规则创建稽查任务，通过稽查任务作业执行后将问题数据插入到指定的问题数据库中。第 13 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：14 输出：根据问题情况统计输出业务系统数据稽查报告。第 14 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：15 第 4 章 产品模块 DS 系统数据标准的实现过程主要由三大部分组成，分别为数据源，系统功能区以及执行调度区组成。其中系统功能区为 DS 系统的核心

20、。各功能如下所示：（图 5-1 数据标准管理系统功能图）各功能区介绍如下：1)数据源 对系统需要稽查的数据来源进行管理；目前支持的数据库类型为 Oracle 和Teradata 两种。2)系统功能区 系统功能区主要有标准、数据规则、规则稽查任务、问题数据以及稽查报告等几个部分组成，分别介绍如下：标准：标准为了在一定范围内获得最佳秩序，经协商一致制定并由公认机构批第 15 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：16 准，共同使用的和重复使用的一种规范性文件，是对科学、技术和实践经验的总结。标准可分为：国际标准，国家标准，地方标准，企业标准和行

21、业标准等。标准管理主要是通过标准文件对数据元进行统一的管理；包括维护自身标准的属性信息。（图 5-2 数据标准管理系统-数据标准管理界面）数据规则：本功能实现数据规则的统一管理，主要实现数据规则的设置（其中，设置包括手动创建规则和从标准数据元导入），用户可按实际需求进行规则编制。第 16 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：17 （图 5-3 数据标准管理系统-数据规则管理）规则稽查任务：本功能实现稽查任务的配置管理。主要是按照数据规则创建稽查任务。（图 5-4 数据标准管理系统-稽查任务管理）问题数据：通过稽查任务的执行后，将稽查出的问

22、题数据插入问题数据库中，以备问题数据统计使用。稽查报告：在报告统计方面，DS 系统通过上述流程，将问题数据库中的数据进行统计分析，形成稽查报告。在稽查报告中通过标准差异分析统计数据中符合第 17 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：18 和不符合指定标准的情况。数据标准稽查报告展现界面如下：（图 5-5 数据标准管理系统稽查报告）3)执行调度区 执行调度区可对已配置的任务进行手工执行或通过调度平台统一执行。其中手工执行为一次性执行展现结果；通过调度平台执行是系统提供一个 Web Service 调度接口供第三方调度平台进行调度，实现周期性

23、执行。第 18 页 共 19 页此为商密文件，非授权不得使用 华傲数据-数据标准管理系统-产品白皮书 页码：19 第 5 章 产品配置 应用服务器环境要求如下：处理器 Intel Xeon E3 系列 内存 4G 以上 磁盘空间 磁盘按存放数据空间规划 操作系统 Windows 2000/2003/2008 Linux REHL 6.0 系列 64 位 SUSE 或 UBUNTU 稳定版本 应用服务器 Tomcat 5.5 以上，Jboss 4.0 以上 JDK jdk 1.6.27 以上环境 数据库 MySQL5.1 以上版本，mongoDB2.4.5 或以上版本 客户端环境要求如下：处理器 Intel P4 以上 内存 最低 2G，推荐 4G 以上 磁盘空间 500MB 操作系统 Windows 2000/2003/2008 Web 浏览器 Microsoft Internet Explorer 8 以上，火狐，Google Chrome 其他 Excel 2003/2007/2010 第 19 页 共 19 页