中国移动通信企业标准-中国移动省级经营分析系统元数据管理功能实现方案.docx
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《中国移动通信企业标准-中国移动省级经营分析系统元数据管理功能实现方案.docx》由会员分享,可在线阅读,更多相关《中国移动通信企业标准-中国移动省级经营分析系统元数据管理功能实现方案.docx(120页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、中国移动通信 CHINA MOBILE中国移动通信企业标准QB-X-00X-2006中国移动省级经营分析系统元数据管理功能实现方案(v1.5)版本号:1.52006实施发布2006中国移动通信有限公司发布目录1 .元数据管理总体介绍21.1, 元数据管理架构21.2, 元数据功能框架31.3, 元数据访问层51.4, 元数据标准要求-CWM模型52,元数据管理实施步骤52. 1.元数据库逻辑模型设计61.2, 元数据的提取61.3, 元数据的存储71.4, 元数据访问接口实现91.5, 元数据的业务应用实现101.6, 元数据的维护与管理103 .逻辑模型设计103.1, 概述103.2, 2
2、. 逻辑模型映射规则113.2.1. 类到实体的映射113.2.1.1. 类的映射113.2.1.2. 属性的映射123.2.1.3. 继承模式映射123.2.2. 关联映射123.2.3. 引用映射133.3, 数据逻辑模型主题域E-R模型143.3.1. 核心主题163.3.2. 行为主题203.3.3. 关系主题223.3.4. 实例主题233.3.5. 业务信息主题253.3.6. 数据类型主题273.3.9. 软件部署主题313.3.10. 类型映射主题343.3.11. 关系型主题353.3.12. 记录主题(可选)423.3.13. 多维主题443.3.14. XML 主题(可选
3、)453.3.15. 转换主题473.3.16. OLAP 主题503.3.17. 数据挖掘主题553.3.18. 信息可视化主题713.3.19. 业务术语主题(可选)733.3.20. 仓库处理主题743.3.21. 仓库操作主题813.4, 关系型逻辑模型实现方法843.4.1. 实体映射规则843.4.2. 继承的实现规则843.4.3. 关系的转换规则843.4.3.1. 对关系的映射853.4.3.2. 对多关系的映射853.4.3.3. 多对多关系的映射853.4.3.4. 组合关系的映射853.5, 关系型逻辑模型的扩展863.5.1. 子类扩展863.5.2. Stereot
4、ype 和 Tagged Value 扩展864 .数据提取874.4, 元数据提取技术874.4.1. 兼容CWM规范的系统元数据提取方法874.4.1.1. CORBAIDL874.4.2. 不兼容CWM规范的系统元数据提取方法894.4.2.1. 产品特定元数据访问接口894.4.2.2. 元数据的手工提取894.5, 子系统元数据提取方式904.5.1. 生产系统904.5.2. ETL 系统914.5.3. 数据仓库和数据集市914.5.4. OLAP 系统924.5.5. 前端展示工具924.5.6. 其他935 .访问接口实现945.4, 概述945.5, CORBAIDL 接
5、口 实现955.5.1. 接口生成955.5.2. 接 口实现965.5.2.1. 自动实现975.5.2.2. 手工实现985.2.23.半自动实现9853. JMI 接 口实现9953.1.1. 接口生成方法9953.1.2. 接口实现方法1001.1.1. .自动实现1011.1.2. .手工实现1011.1.23. 半自动实现1025.4. XM1 接 口实现1035.4.1. 映射方法1035.4.1.1, CWM 模型到DTD的映射1035.4.1.2, 元数据到XM1文件的映射1045.4.2. 接口实现方法1051.1.1 .1,第三方工具1065.4.22 自行开发1065.
6、5. 与一级经营分析系统的接口1076.管理工具要求1086.1, 概述1086.2, 元数据抽取1086.3, 元数据存储1086.4, 元数据访问接口1086.5, 元数据前端展示及分析1096.6, 元数据维护1096.7, 权限管理109L元数据管理总体介绍LL元数据管理架构元数据管理贯穿经营分析系统构建、运行和维护的整个生命周期,是经营分 析系统构建过程中重耍的环。同时,在数据仓库构建的整个过程中,如数据源 分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等, 均需要对相应的元数据的有力支撑。经营分析系统元数据管理架构如图1-I所示。数据源层1,数据采集层 I数据
7、存储和管理层 t应用服务层. t门户管理与用戶最 :源系统信息:ET!挝程:DWf! 息:应用服务层信息:门户管理:系统运行结构射关系DWK!理模型数輻构KP朕键业务指标安全认证技术数据结构ETT!序信息数据字典数据分析模型访问控制业务数据结构数据转换规则程序库数据库目录帮助文蹴构数据潘厕则数据库目录元数据库图1-1经营分析系统元数据管理框架图在图1-1所示的元数据管理框架图中,元数据贯穿经营分析系统数据“流动” 的全过程,主要包括: 数据源元数据 数据采集元数据 数据仓库存储元数据 数据集市元数据 应用服务层元数据 门户管理元数据根据元数据用途及针对使用角色的不同,也可以把元数据分为技术元数
8、据、 业务元数据和管理元数据三类: 技术元数据:面向经营分析运维技术人员,偏重数据结构和数据处理细 节方面的技术化描述,是用于开发和维护经营分析的基本信息,主要包 括源系统接口规范、数据仓库结构的描述、数据集市定义描述以及经营 分析数据处理过程的描述等信息; 业务元数据:面向业务分析人员,是对经营分析的数据和处理规则的业 务化描述,主要包括业务规则、业务术语、指标业务口径、信息分类等; 管理元数据:面向经营分析运维管理人员,是对经营分析运维管理相关 信息的描述,主要包括管理流程、人员职责、工作内容分配描述等信息。元数据贯穿经营分析系统数据“流动”的始终,只有实施元数据的集中管理, 可以提供个集
9、中的元数据全局视图,可以全局把握经营分析系统数据的组 成、转换以及来龙去脉,有效地进行数据质量的管理。1.2 .元数据功能框架经营分析元数据功能框架分五层,分别为元数据源层、元数据获取层、元数 据存储层、元数据管理层和元数据访问层。元数据源层包括元数据的各个源系统; 元数据抽取层中的连接桥(或称适配器)实现元数据源层元数据的抽取;元数据 抽取层抽取出的元数据存储在元数据存储层中的元数据库中,元数据库中的元数 据按照主题进行组织;元数据管理层提供元数据访问、分析、导入、导出等功能 供元数据管理工具前端、二级经营分析系统以及中央元数据抽取服务器使用。二级经营 分析系统中央元数据 抽取服务器元数据
10、管理工具前端元数据 管理层兀数据 访问层区数据査询1后数据分析1元数据导出CORBA, |M| YMI其它.1元数据管理1元数据导入接口实现OLAP主题转换主题报表主题数据挖掘主题元数据存储层关系主题仓库过程主题连接桥连接桥连接桥OLAP服务器前端展现工具连接桥兀数据获取层数据挖掘工具boss 等ETL工具数据仓库图1,2经营分析系统元数据功能框架图图1-2是经营分析元数据功能框架图,其中各个层说明如下:元数据源层元数据源层包括经营分析系统的数据源系统,ETL工具、数据 仓库产品、数据集市产品、OLAP服务器、前端展现工具、数据挖掘工具等。元数据获取层元数据获取层实现元数据源层中各个系统的元数
11、据抽取。元 数据连接桥(或称适配器)通过符合CWM规范的接口或者各个产品提供的特定 接口实现元数据的抽取,并把抽取出的元数据存入元数据存储层中的元数据库。元数据存储层元数据存储层实现元数据的存储,存储的元数据包括业务元 数据、技术元数据和管理元数据,元数据按照主题组织。存储库的逻辑模型设计 需兼顾效率和实现符合CWM规范的接口的方便性与灵活性。元数据管理层元数据管理层提供符合CWM规范的接口实现,包括 CORBAIDL接口实现/JMI接口实现,和XMI接口实现;并且实现元数据查询、 元数据浏览、元数据访问、元数据分析、元数据导入、元数据导出等基本功能模块。13元数据访问层元数据访问层包括元数据
12、管理工具前端、二级经营分析系统和中央元数据抽 取服务器。这些系统通过元数据管理层访问元数据存储层的元数据。1.4. 元数据标准要求-CWM模型由于经营分析系统涉及到大量业务系统的集成,因此,如果没有统的元数 据标准支持,实施各子系统元数据的有效集成是很困难的。在这种情况下,各公 司的元数据管理解决方案各不相同。元数据管理之所以困难,个很重要的原因 就是缺乏统的标准。近几年,随着元数据联盟MDC的开放信息模型OIM和 OMG组织的公共仓库模型CWM标准的逐渐完善,以及MDC和OMG组织的 合并,为数据仓库厂商提供了统一的标准,从而为元数据管理铺平了道路。OMG是个拥有500多会员的国际标准化组织
13、,著名的CORBA标准即出自该 组织。公共仓库元模型的主要目的是在异构环境下,帮助不同的数据仓库工具、 平台和元数据库进行元数据交换。CWM模型既包括元数据存储,也包括元数据 交换,它是基于以下三个业标准制定的: UML,它对CWM模型进行建模; MOF (元对象设施):它是OMG元模型和元数据的存储标准,提供在异 构环境下对元数据库的访问接口 ; XMI (XML元数据交换):(它可以使元数据以XML文件流的方式进行 交换。CWM模型目前已经得到了几乎所有的数据库、数据仓库以及数据分析工具 的支持,包括IBMDB2, NCRTeradata等。它已经成为目前元数据应用中主流的 选择模型,本方
14、案将遵循CWM模型进行实施。(CWM详细内容参见经营分 析系统元数据管理规范!.0)2,元数据管理实施步骤元数据管理涉及经营分析系统中的各个组成部分,所以元数据管理的实施是第5页共113页中国移动通信有限公司经营分析(vl.5)规范 个复杂的工程,下面分步骤描述元数据管理实施过程的各个重要部分,以及在 实施过程中应该注意的主要问题。21.元数据库逻辑模型设计与以往其它任何类型的数据应用样,元数据管理首先要根据业务逻辑设计 存储库的逻辑模型,然后才能依照它得到存储库的物理模型,将提取出的元数据 存到其中,并在其上开发具体的应用。逻辑模型的设计方法可以有很多种,可以采用基于关系型的,也可以是面向
15、对象型的。采用不同的逻辑建模方法,就得到不同表述的元数据存储库逻辑模型, 对应不同的业务处理逻辑。但是,表述的业务含义是唯一的。目前,采用面向对 象的逻辑建模技术和关系建模技术都有成熟的方法和应用。CWM模型本身是一个基于面向对象建模技术得到的元数据存储库的逻辑模 型,但是,目前主流的数据(仓)库都是面向关系型的,而且已有的解决方案也 都侧重于关系型,因此在实施中国移动数据质量管理系统时,要求统一采用关系 型逻辑模型来建模。元数据库逻辑模型设计的主要任务是设计基于关系数据库存储的元数据存 储逻辑模型。元数据库逻辑模型设计需要考虑符合CWM规范的所有元数据的存 储,同时要兼顾元数据访问和交换接口
16、(CORBAIDL接口、JMI接口和XMI接 )的有效实现。因为CWM规范以及CORBAIDL、JMI接口基于对象模型, 所以关系数据库中存储的元组和对象之间的有效转换是个关键点。22元数据的提取元数据提取实现从经营分析系统各子系统中提取元数据的过程。提取目的:元数据提取的目的是把各子系统的元数据提取出来,为元数据的 装入提供数据准备;提取方式:元数据的提取可以分为自动提取、手工提取两种方式。目前,大部分主流厂商的产品(如IBMDB2, NCRTeradata等)都支持CWM 模型。也就是说,可以利用它们提供的接口直接把系统内的元数据按照CWM规 定的格式标准直接提取出来。但是,也存在些产品目
17、前尚不支持CWM模型, 尤其是些前端的数据分析产品,因此无法实现元数据的自动提取,只能采用手 第6页共113页中国移动通信有限公司经营分析(vl .5)规范 的方式来实现。提取结果:元数据提取的结果是符合CWM模型的XML文件,该文件符合 XMI格式,并保持元数据本身以及它们之间的语义关系。提取过程:自动提取方式通过元数据管理工具的连接桥(或称适配器)来实现,元数据 连接桥抽取元数据源系统中的元数据,直接使用CORBAIDL接口/JMI接口实现 元数据到元数据库的存储,或者生成符合XMI规范的XML文件,再导入元数 据库。对于要自行开发元数据管理工具的省份,元数据连接桥的实现需要针对具 体产品
18、的特定元数据访问接口进行设计。手工提取方式要求数据质量管理系统能够提供灵活定制的模版,模版的定制 需要考虑底层元数据库的相关字段。用户只需使用可视化界面输入相关信息,系 统应该能够实现用户录入信息到符合XM!规范的XML文件的转换,或者能够 直接使用CORBAIDL接口/JMI接口实现元数据到元数据库的存储。2.3 .元数据的存储元数据存储设计实现将抽取出的元数据导入按照逻辑模型设计的元数据库 中。存储方式:采用关系数据库方式进行存储。存储结构:米用二级结构进行存:储。集中式结构是建立统的元数据模型,用该模型定义和管理各种元数据,并 将所有元数据集中存储在中心元数据库中。所有工具和数据仓库直接
19、访问中心元 数据库,而不局部存储和管理元数据。这种结构的优点是元数据全局可用,无需 元数据交换机制;缺点是对中心元数据库维护复杂,访问速度慢,工具不具有自 治性。对于大多数中等规模的组织,这种结构可以满足元数据管理的需要。分散结构解决中心元数据库管理结构存在的缺陷,目前大多数数据仓库系统 中采用一种基于交换机制的分散式元数据管理结构。这种管理结构通过建立相应 的元数据交换标准,使得不同数据仓库工具能够使用不同的数据模型和不同的表 示形式,而这些工具之间可以通过元数据交换标准进行连接和通信。这种管理结 构的最大优点是不同工具可以高度自治地访问局部元数据库,提高了访问速度, 但系统需要提供元数据交
20、换机制来满足不同局部元数据库之间的互操作和连接 第7页共113页中国移动通信有限公司经营分析(vl .5)规范等问题,相应地增加了系统的负担。另外这种管理结构使得数据和元数据分散在 多个系统中,增大了对它们协调和管理的难度。邦联结构是前面两种结构的折衷,结合了前面两种结构的优点,比较适合数 据仓库环境中的元数据管理。每个工具拥有自己的元数据库,因而支持快速访问 和自治,并提供与共享元数据库的交换接口,共享元数据库管理的所有共享元数 据。局部元数据库可以采用异构的表示形式,而共享的元数据库必须采用统一的 元数据表示表示形式。如基于标准的元数据模型(OIM或CWM)或自定义模型。 邦联结构的优点是
21、保护了元数据库的自治性和异构性,每个局部元数据库自一确 定需要导出哪些元数据到共享的元数据库中,缺点是元数据库的结构比较松散, 元数据导航较为复杂。结合中国移动的实际需求,在经营分析系统元数据管理规范1.0)中规定 了采用两级元数据存储架构,如图2-1所示。图2-1经营分析系统元数据存储架构整体架构是二级结构,包括集团级元数据存储和省级元数据存储。集团级元 数据物理的存放在集团公司,包含从各省提取过来的元数据和一级经营分析系统 提取的元数据的集合;省级元数据存储着省级经营分析系统的元数据。省级元数 据用集中式的方式进行存储,各子系统的元数据被集中的存放在个中央的元 数据中。整个架构则是采用联邦
22、结构的形式进行存储,统一的采用基于CWM模 型的方式进行数据的存储和彼此之间的元数据的交互。存储过程:在元数据提取的基础上,可以导出符合CWM模型的各子系统的元 数据,该元数据采用符合XMI规范的XML文件来进行存储表示。由于元数据是使用 XMI规范来进行描述的,因此存储方可以根据XMI规范来理解该元数据,对其进行 解析。解析后得到符合CWM标准的元数据模型。由于CWM模型是按照对象的方式进行存储和彼此之间关系表示的,而数据质 量管理系统底层却是使用关系数据库的方来来进行存储的,因此就需要将对象模 型及之间的逻辑关系转换为关系模型来进行存储。对象模型到关系模型的转换在 本实施方案的第3章中进行
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 中国移动 通信 企业 标准 省级 经营 分析 系统 数据管理 功能 实现 方案
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内