中国移动通信企业标准-中国移动省级经营分析系统元数据管理功能实现方案.pdf
《中国移动通信企业标准-中国移动省级经营分析系统元数据管理功能实现方案.pdf》由会员分享,可在线阅读,更多相关《中国移动通信企业标准-中国移动省级经营分析系统元数据管理功能实现方案.pdf(113页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、中国移动通信CHINA MOBILE中 国 移 动 通 信 企 业 标 准QB-X-00X-2006中国移动省级经营分析系统 元数据管理功能实现方案(v1.5)版 本 号:1.52 0 0 6实施发 布2006中国移动通信有限公司发布目录1.元数据管理总体介绍.21.1.元数据管理架构.21.2,元数据功能框架.31.3,元数据访问层.51.4,元数据标准要求-CWM模型.52,元数据管理实施步骤.52.1.元数据库逻辑模型设计.62.2,元数据的提取.62.3.元数据的存储.72.4,元数据访问接口实现.92.5,元数据的业务应用实现.102.6,元数据的维护与管理.103.逻辑模型设计.1
2、03.1.概述.103.2.逻辑模型映射规则.11,2 1 举驯室体的映射 11r i H -J J A 3.2.1.L类的映射.113.2.1.2.属性的映射.123.2.1.3.继承模式映射.123.2.2.关联映射.123.2.3.引用映射.133.3.数据逻辑模型主题域E-R模型.143.3.1.核心主题.163.3.2.行为主题.203.3.3.关系主题.223.3.4.实例主题.233 3.5.L 彳 音 A ilt 253.3.6.数据类型主题.273.3.7.表达式主题.283.3.8.键和索引主题.293.3.9.软件部署主题.313.3.10.类型映射主题.343.3.11
3、.关系型主题.353.3.12.记录主题(可选).423.3.13.多维主题.443.3.14.XML 主 题(可选).453.3.15.转换主题.473.3.16.OLAP 主题.503.3.17.数据挖掘主题.553.3.18.信息可视化主题.713.3.19.业务术语主题(可选).733.3.20.仓库处理主题.743.3.21.仓库操作主题.813.4.关系型逻辑模型实现方法.843.4.1.实体映射规则.843.4.2.继承的实现规则.843.4.3.关系的转换规则.843.4.3.1,一对一关系的映射.853.432.一对多关系的映射.853.43.3.多对多关系的映射.853.4
4、3.4.组合关系的映射.853.5.关系型逻辑模型的扩展.863.5.1.子类扩展.863.5.2.Stereotype 和 TaggedValue 扩展.864.数据提取.874.1.元数据提取技术.874.1.1.兼容CWM规范的系统元数据提取方法.874.1.1.1.CORBAIDL.874.1.1.2.JMI.884.1.1.3.XMI.884.1.2.不兼容CWM规范的系统元数据提取方法.894.1.2.1.产品特定元数据访问接口.894.1.2.2,元数据的手工提取.894.2.子系统元数据提取方式.904.2.1.生产系统.904.2.2.ETL 系统.914.2.3.数据仓库和
5、数据集市4.2.4.OLAP 系统.924.2.5.前端展示工具.924.2.6.其他.935.访问接口实现.945.1.概述.945.2.CORBAIDL 接 口实现.955.2.1.接 口生成.955.2.2.接 口实现.965.2.2.1,自动实现.975.2.2.2.手工实现.985.2.2 3.半 自动实现.985.3.JMI 接 口实现.995.3.1.接口生成方法.995.3.2.接口实现方法.1005.3.2.1.自动实现.1015 3.2.2.手工实现.10153.2.3.半自动实现.1025.4.XMI 接 口实现.1035.4.1.映射方法.1035.4.1.1.CWM模
6、型到DTD的映射.1035.4.1.2,元数据到XMI文件的映射.1045.4.2.接口实现方法.1055.4.2.1.第三方工具.1065.4.2.2.自行开发.1065.5.与一级经营分析系统的接口.1076.管理工具要求.1086.1.概述.1086.2.元数据抽取.1086.3.元数据存储.1086.4.元数据访问接口.10865元数据前端展示及分析.1096.6,元数据维护.1096.7.权限管理.109中国移动通信CHINA MOBILE中国移动省级经营分析系统无数据管理功能实现(v l.5)L元数据管理总体介绍LL元数据管理架构元数据管理贯穿经营分析系统构建、运行和维护的整个生命
7、周期,是经营分 析系统构建过程中重耍的一环。同时,在数据仓库构建的整个过程中,如数据源 分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等,均需要对相应的元数据的有力支撑。经营分析系统元数据管理架构如图1-1所示。源系统信息:E T 跑 程:DWfg 息:应用服务层信息:门户管理:系统运行结构射关系DWK)理模型数据结构K P 联锭业务指标安全认证技术教据结构E T L S 序信息数据字典数据分析模型访问控制业务派据结构数据转换规则程序库数据库目录帮助文蹴构数据潘厕则数据库目录图1-1经营分析系统元数据管理框架图在图1-1所示的元数据管理框架图中,元数据贯穿经营分析系统数据
8、“流动”的全过程,主要包括:数据源元数据 数据采集元数据 数据仓库存储元数据 数据集市元数据 应用服务层元数据 门户管理元数据第 2页 共 1 1 3 页中国移动通信有限公司经营分析(v l .5)规范中国移动通信CHINA MOBILE 中国移动省级经营分析系统元数据管理功能实现(vi.5)根据元数据用途及针对使用角色的不同,也可以把元数据分为技术元数据、业务元数据和管理元数据三类:技术元数据:面向经营分析运维技术人员,偏重数据结构和数据处理细 节方面的技术化描述,是用于开发和维护经营分析的基本信息,主要包 括源系统接口规范、数据仓库结构的描述、数据集市定义描述以及经营 分析数据处理过程的描
9、述等信息*业务元数据:面向业务分析人员,是对经营分析的数据和处理规则的业 务化描述,主要包括业务规则、业务术语、指标业务口径、信息分类等;管理元数据:面向经营分析运维管理人员,是对经营分析运维管理相关 信息的描述,主要包括管理流程、人员职责、工作内容分配描述等信息。元数据贯穿经营分析系统数据“流动”的始终,只有实施元数据的集中管理,才可以提供一个集中的元数据全局视图,才可以全局把握经营分析系统数据的组 成、转换以及来龙去脉,有效地进行数据质量的管理。1 2 元数据功能框架经营分析元数据功能框架分五层,分别为元数据源层、元数据获取层、元数 据存储层、元数据管理层和元数据访问层O元数据源层包括元数
10、据的各个源系统;元数据抽取层中的连接桥(或称适配器)实现元数据源层元数据的抽取:元数据 抽取层抽取出的元数据存储在元数据存储层中的元数据库中,元数据库中的元数 据按照主题进行组织;元数据管理层提供元数据访问、分析、导入、导出等功能 供元数据管理工具前端,二级经营分析系统以及中央元数据抽取服务器使用。第3页 共113页中国移动通信有限公司经营分析(v 1.5)规 范中国移动通信CHINA MOBILE中国移动省级经营分析系统元数据管理功能实现(vl.5)元数据分析元数据查询元数据导出其它元数据管理元数据导入OUkP主题报及主题关系主题仓库过程主题连接桥连接桥连接桥连接桥二级经营 分析系统中央元数
11、据 抽取服务器元数据 访问层CORBA,JMI.XMI 接口实现元数据 管理工具前端OLAP服务器 前端展现工具 数据挖掘工具3BOSS等 ETL工 具 数据仓库 数据集市图 12 经营分析系统元数据功能框架图图 1-2是经营分析元数据功能框架图,其中各个层说明如下:元数据源层一元数据源层包括经营分析系统的数据源系统,ETL工具、数据 仓库产品、数据集市产品、OLAP服务器、前端展现工具、数据挖掘工具等。元数据获取层一一元数据获取层实现元数据源层中各个系统的元数据抽取。元 数据连接桥(或称适配器)通过符合CW M 规范的接口或者各个产品提供的特定 接口实现元数据的抽取,并把抽取出的元数据存入元
12、数据存储层中的元数据库。元数据存储层一元数据存储层实现元数据的存储,存储的元数据包括业务元 数据、技术元数据和管理元数据,元数据按照主题组织。存储库的逻辑模型设计 需兼顾效率和实现符合CW M规范的接口的方便性与灵活性元数据管理层元数据管理 层 提 供 符 合 C W M 规范的接口实现,包括 CORBAIDL接口实现/JM I接口实现,和 XM I接口实现;并且实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入、元数据导出等基本功能模第4页 共1 1 3页中国移动通信有限公司经营分析(v 1.5)规范中国移动通信CHINA MOBILE 中国移动省级经营分析系统元数据管理功能实现
13、(vi.5)块。1 3 元数据访问层元数据访问层包括元数据管理工具前端、二级经营分析系统和中央元数据抽 取服务器o 这些系统通过元数据管理层访问元数据存储层的元数据。L4.元数据标准要求-CWM模型由于经营分析系统涉及到大量业务系统的集成,因此,如果没有统一的元数 据标准支持,实施各子系统元数据的有效集成是很困难的。在这种情况下,各公 司的元数据管理解决方案各不相同。元数据管理之所以困难,,个很重要的原因 就是缺乏统一的标准。近几年,随着元数据联盟M DC的开放信息模型OIM和 OMG组织的公共仓库模型CWM标准的逐渐完善,以 及 MDC和 OMG组织的 合并,为数据仓库厂商提供了统的标准,从
14、而为元数据管理铺平了道路。OMG是一个拥有500多会员的国际标准化组织,著名的CORBA标准即出自该 组织。公共仓库元模型的主要目的是在异构环境下,帮助不同的数据仓库工具、平台和元数据库进行元数据交换。CWM模型既包括元数据存储,也包括元数据 交换,它是基于以下三个工业标准制定的:U M L,它对CWM模型进行建模;MOF(元对象设施):它是0MG元模型和元数据的存储标准,提供在异 构环境下对元数据库的访问接口;XMI(XML元数据交换):(它可以使元数据以XML文件流的方式进行 交换。CWM模型目前已经得到了几乎所有的数据库、数据仓库以及数据分析工具 的支持,包 括 IBMDB2,NCRTe
15、radata等。它已经成为目前元数据应用中主流的 选择模型,本方案将遵循CWM模型进行实施。(CWM详细内容参见 经营分 析系统元数据管理规范1。)2.元数据管理实施步骤元数据管理涉及经营分析系统中的各个组成部分,所以元数据管理的实施是第5页 共113页中国移动通信有限公司经营分析(v 1.5)规范中国移动通信CHINA MOBILE 中国移动省级经营分析系统元数据管理功能实现(vi.5)一个复杂的工程,下面分步骤描述元数据管理实施过程的各个重要部分,以及在 实施过程中应该注意的主要问题。2.1.元数据库逻辑模型设计与以往其它任何类型的数据应用一样,元数据管理首先要根据业务逻辑设计 存储库的逻
16、辑模型,然后才能依照它得到存储库的物理模型,将提取出的元数据 存到其中,并在其上开发具体的应用。逻辑模型的设计方法可以有很多种,可以采用基于关系型的,也可以是面向 对象型的。采用不同的逻辑建模方法,就得到不同表述的元数据存储库逻辑模型,对应不同的业务处理逻辑。但是,表述的业务含义是唯一的。目前,采用面向对 象的逻辑建模技术和关系建模技术都有成熟的方法和应用。CW M 模型本身是一个基于面向对象建模技术得到的元数据存储库的逻辑模 型,但是,目前主流的 数 据(仓)库都是面向关系型的,而且已有的解决方案也 都侧重于关系型,因此在实施中国移动数据质量管理系统时,要求统一采用关系 型逻辑模型来建模。元
17、数据库逻辑模型设计的主要任务是设计基于关系数据库存储的元数据存 储逻辑模型。元数据库逻辑模型设计需要考虑符合CW M规范的所有元数据的存 储,同时要兼顾元数据访问和交换接口(CORBAIDL接口、JM I接口和XMI接 口)的有效实现。因 为 CW M 规范以及CORBAIDL、JM I接口基于对象模型,所以关系数据库中存储的元组和对象之间的有效转换是个关键点。2 2 元数据的提取元数据提取实现从经营分析系统各子系统中提取元数据的过程。提取目的:元数据提取的目的是把各子系统的元数据提取出来,为元数据的 装入提供数据准备;提取方式:元数据的提取可以分为自动提取、手工提取两种方式。目前,大部分主流
18、厂商的产品(如 IBMDB2,NCRTeradata等)都支持CWM 模型。也就是说,可以利用它们提供的接口直接把系统内的元数据按照CWM规 定的格式标准直接提取出来。但是,也存在一些产品目前尚不支持CWM模型,尤其是一些前端的数据分析产品,因此无法实现元数据的自动提取,只能采用手 第6页 共113页中国移动通信有限公司经营分析(v 1.5)规范中国移动通信CHINA MOBILE 中国移动省级经营分析系统元数据管理功能实现(vi.5)工的方式来实现。提取结果:元数据提取的结果是符合CWM模型的XML文件,该文件符合 XMI格式,并保持元数据本身以及它们之间的语义关系。提取过程:自动提取方式通
19、过元数据管理工具的连接桥(或称适配器)来实现,元数据 连接桥抽取元数据源系统中的元数据,直接使用CORBAIDL接口/JMI接口实现 元数据到元数据库的存储,或者生成符合XM I规 范 的 XM L文件,再导入元数 据库。对于要自行开发元数据管理工具的省份,元数据连接桥的实现需要针对具 体产品的特定元数据访问接口进行设计O手工提取方式要求数据质量管理系统能够提供灵活定制的模版,模版的定制 需要考虑底层元数据库的相关字段。用户只需使用可视化界面输入相关信息,系 统应该能够实现用户录入信息到符合XM I规 范 的 XM L文件的转换,或者能够 直接使用CORBAIDL接口/JM1接口实现元数据到元
20、数据库的存储。2 3 元数据的存储元数据存储设计实现将抽取出的元数据导入按照逻辑模型设计的元数据库 中。存储方式:采用关系数据库方式进行存储。存储结构:采用二级结构进行存储。集中式结构是建立统一的元数据模型,用该模型定义和管理各种元数据,并 将所有元数据集中存储在中心元数据库中。所有工具和数据仓库直接访问中心元 数据库,而不局部存储和管理元数据。这种结构的优点是元数据全局可用,无需 元数据交换机制;缺点是对中心元数据库维护复杂,访问速度慢,工具不具有自 治性。对于大多数中等规模的组织,这种结构可以满足元数据管理的需要。分散结构解决中心元数据库管理结构存在的缺陷,目前大多数数据仓库系统 中采用一
21、种基于交换机制的分散式元数据管理结构。这种管理结构通过建立相应 的元数据交换标准,使得不同数据仓库工具能够使用不同的数据模型和不同的表 示形式,而这些工具之间可以通过元数据交换标准进行连接和通信。这种管理结 构的最大优点是不同工具可以高度自治地访问局部元数据库,提高了访问速度,但系统需要提供元数据交换机制来满足不同局部元数据库之间的互操作和连接第7页 共1 1 3页中国移动通信有限公司经营分析(v 1.5)规范中国移动通信CHINA MOBILE中国移动省级经营分析系统无数据管理功能实现(vl.5)等问题,相应地增加了系统的负担。另外这种管理结构使得数据和元数据分散在 多个系统中,增大了对它们
22、协调和管理的难度。邦联结构是前面两种结构的折衷,结合了前面两种结构的优点,比较适合数 据仓库环境中的元数据管理。每个工具拥有自己的元数据库,因而支持快速访问 和自治,并提供与共享元数据库的交换接口,共享元数据库管理的所有共享元数 据。局部元数据库可以采用异构的表示形式,而共享的元数据库必须采用统一的 元数据表示表示形式。如基于标准的元数据模型(OIM或CWM)或自定义模型。邦联结构的优点是保护了元数据库的自治性和异构性,每个局部元数据库自一确 定需要导出哪些元数据到共享的元数据库中,缺点是元数据库的结构比较松散,元数据导航较为复杂。结合中国移动的实际需求,在 经营分析系统元数据管理规范1.0中
23、规定了采用两级元数据存储架构,如 图 2-1所示。图2-1经营分析系统元数据存储架构整体架构是二级结构,包括集团级元数据存储和省级元数据存储。集团级元 数据物理的存放在集团公司,包含从各省提取过来的元数据和一级经营分析系统 提取的元数据的集合;省级元数据存储着省级经营分析系统的元数据。省级元数 据才用集中式的方式进行存储,各子系统的元数据被集中的存放在个中央的元 数据中。整个架构则是采用联邦结构的形式进行存储,统一的采用基于CWM模 型的方式进行数据的存储和彼此之间的元数据的交互。第8页 共113页中国移动通信有限公司经营分析(vl.5)规范中国移动通信CHINA MOBILE 中国移动省级经
24、营分析系统元数据管理功能实现(vi.5)存储过程:在元数据提取的基础上,可以导出符合CW M 模型的各子系统的元 数据,该元数据采用符合XMI规范的XM L文件来进行存储表示。由于元数据是使用 XMI规范来进行描述的,因此存储方可以根据XMI规范来理解该元数据,对其进行 解析。解析后得到符合C W M 标准的元数据模型。由于C W M 模型是按照对象的方式进行存储和彼此之间关系表示的,而数据质 量管理系统底层却是使用关系数据库的方来来进行存储的,因此就需要将对象模 型及之间的逻辑关系转换为关系模型来进行存储。对象模型到关系模型的转换在 本实施方案的第3章中进行了详细的描述。这个转换不仅仅是对象
25、模型到关系模 型之间的转换,同时也包含之间接口的操作规则的转换,使得可以把对象型的元 数据存进关系型的元数据库当中,并将C W M 模型的元数据对象保存到关系数据库 中的相应位置,在存储的过程中保持着他们之间的关系。从而为顶层的各种应用,如血缘分析,回朔分析等,奠定基础。2 4 元数据访问接口实现根 据 CW M标准规定,访问元数据库的接口有三种方式;CORBAIDL接口、JM I接 口 和 X M I接口。前两者提供给访问者程序语言调用的接口,后者提供文 件交互的接口。CORBAIDL接口和JM I接口可以由各个省份根据自身情况以及 实现的难易程度选择其一实现。实现目的实现元数据库的访问功能
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 中国移动 通信 企业 标准 省级 经营 分析 系统 数据管理 功能 实现 方案
限制150内