DataStage企业版产品白皮书之三教学文案.doc

Good is good, but better carries it.精益求精，善益求善。DataStage企业版产品白皮书之三-统一数据交换池项目ETL工具软件及产品现场支持服务竞争性谈判提交文件之六.二.三MetaStage白皮书北京先进数通信息技术有限公司2004年10月21日本文件涉及信息为北京先进数通信息技术有限公司专有信息，敬请视同机密文件处理。除因需要而得到授权的中国建设银行及本公司有关人员外，请勿以任何形式向他人或任何第三方透露。目录1.关于MetaStage32.集成元数据43.捕捉操作型元数据54.共享元数据65.资源分析和报表76.查看对象87.流览对象98.执行简单的检索109.调查数据世系1110.执行ProcessAnalysis1111.执行ImpactAnalysis1212.执行查询1213.建立元数据文档1314.NationalLanguageSupport1315.MetaStage安全1316.MetaStage组件1517.MetaStage目录1617.1查看目录1618.MetaBrokers1719.MetaStage管理员1819.1MetaArchitect1819.2ProcessMetaBroker1819.3MetaStageExplorer1920.同时使用DataStage与MetaStage2021.同时使用QualityStage与MetaStage2022.管理数据集成项目中的元数据21这个文档描述了MetaStage的特征，以及MetaStage为数据集成项目管理人员和用户带来的好处。本文概要介绍了MetaStage架构，描述了主要的客户机和服务器组件。1. 关于MetaStage通过协调整个企业范围内的元数据，MetaStage可以帮助用户处置、管理和有效地利用自己的数据集成项目，处理数据集成项目中与数据迁移和使用的工具有关的元数据。MetaStage将元数据的控制权交给用户，使用户知道：什么是元数据？元数据位于哪里？元数据来自哪里？这些元数据与什么相关？谁负责这些元数据？这些元数据与公司的那些术语、词汇和业务域相关联？对元数据所作的任何变动将产生什么连带的影响？当把它们导出到另一个工具时，其属性及关系将是什么？不管数据集成的架构如何，MetaStage使用户能够开发一个高质量的企业数据源，在此基础上，用户可以真正地控制元数据的集成和共享。MetaStage可以帮助用户从DataStage作业和其他数据迁移处理过程中集成元数据。MetaStageProcessMetaBroker将监控这些生成操作型元数据的处理过程。然后，MetaStage将存储和使用这些操作型的元数据，为用户提供在整个企业范围内将会发生何种变化的详细信息（来自DataStage主机(Mainframe)作业的操作型元数据可以直接发送到MetaStage，而不必使用ProcessMetaBroker）。在大多数的数据设计中，数据迁移和商务智能产品在生成自己的元数据时，没有共同的元数据交换准可循。MetaStage使用户能够把元数据集成到一个中心目录，利用这个目录与其他工具共享元数据无须工具供应商再做额外的工作。这意味着用户可以在一个环境中使用不相关的产品。通过集成整个企业范围内的元数据，MetaStage能够回答诸如“数据向来自哪里？采用的是什么转换和业务规则？谁在使用该数据？以及对数据集成项目所作的一个特定变动将会产生什么影响？”等问题。MetaStage也能快速地提供以超连接形式标记的详细数据项、以及该数据项与其他数据的关系的报表。总而言之，作为一个企业范围的工具，MetaStage提供许多数据集成功能：从各种相关的工具中同步和集成元数据；自动地从操作型的系统中收集操作型的元数据；共享元数据、作业组件和设计；从一个单点处可以对作为集成资产的所有元数据进行浏览、查询、检索和制作报表；了解项目中数据的来源、出处和意义；评估改变数据操作处理过程时将会产生的影响；下面将分专题进一步介绍这些功能。2. 集成元数据用户可以把自己的工具和过程集成到MetaStage中。这使用户能够在不同的外部工具（包括建模、设计、抽取、转换和数据分析等工具）之间传输和转化元数据。例如，用户可以利用这些工具收集元数据，使用它们设计数据集成处理过程。也可以把元数据直接导到数据分析工具，以避免冗长乏味的手工数据录入。MetaStage并不强求对准备共享的元数据采用单一的通用模型。对于数据集成工具可以共享的元数据，一个通用模型只能为用户提供一个最低的共同关注点。与此相反，MetaStage却可以利用数据集成工具把元数据分解成原子语义单位，然后再重构以便其他数据集成工具使用。单个MetaBrokers可以为每个工具之间提供一个界面，以便其查看存储在目录中的元数据以及元数据的语义单位。MetaStage可以捕捉各种元数据，其中包括：· 设计元数据：是设计者和开发人员用于定义需求的元数据，它包括数据模型、业务元数据和转换作业设计。· 物理元数据：是利用工具执行时建立、管理和访问的元数据。· 操作型元数据：在执行数据集成活动时，操作型元数据将告诉用户会发生什么变动，特别是有关它影响数据集成源的方式。项目元数据：用于制作文档，审计开发成果、分派责任人以及处理变动管理事项。面向：操作人、责任人、工具用户和管理层。注意：在本文档中，物理元数据和设计元数据均简称作元数据。MetaStage使用MetaBrokers直接从数据集成工具中导入和导出这样的数据。3. 捕捉操作型元数据4. MetaStage能够自动地捕捉描述数据集成处理过程正在运行时产生的事件的元数据。MetaStage使用这种操作型的元数据，建立数据集成过程中各种数据源之间的关系的视图。在这些处理过程中，通过组合操作型元数据与设计元数据，MetaStage提供功能强大的查询能力。上图展示了一个运行的DataStage作业以及与该作业相关的所有事件。当作业开始处理时，作业中的每个连接都产生一个操作事件。另外，图中也展示了涉及到的每个软件资源。操作型元数据不仅展示事件，而且也能帮助确定数据世系。共享元数据MetaStage使用户能够利用主要的数据集成工具，共享整个企业范围内的元数据。主要步骤如下：1.使用适当的工具建立元数据，例如，DataStage、Cognos或Erwin；2.通过与工具有关的MetaBroker，或利用ProcessMetaBroker的捕捉功能，把元数据导入MetaStage；3.发布选择的元数据，以便感兴趣的用户能够订阅，并把元数据导出，供适当的数据集成工具使用（这些工具不一定必须与建立元数据时使用的工具相同）。例如，用户可以从数据库设计工具中把元数据导入MetaStage目录，然后从中导出元数据，接着再导入DataStage，以定义DataStage作业将录入数据的数据库的表和列。另外，也可以导出元数据供业务报表生成工具使用，如BusinessObjects或Cognos。用户还可以使用“SendtoDatabase”功能，把元数据导入MetaStage目录中的一组关系表。下图展示了一个从Erwin中导入元数据的过程。5. 资源分析和报表把元数据导入MetaStage目录，或在数据集成活动中捕捉了操作型元数据之后，按照对象间的关系，用户可以浏览、查询或检索目录中完整的元数据结构。这些功能都是从MetaStageExplorer中可以访问的。用户可以：检查目录中一个或多个对象的属性及关系；指定哪一个人或组织负责某个对象；建立对象与业务术语、术语与词汇，以及词汇与业务域之间的关联关系；从一个对象开始，再按照对象与它包含的或依赖的其他对象之间的关系，递进式的进行浏览；对目录进行简单的检索；调查数据集成项目中数据的世系关系；审查进程（如DataStage作业）的执行历史；使用跨工具ImpactAnalysis（影响分析）调查改变数据集成源或处理过程造成的影响；建立和运行针对更复杂的检索而定制的、预定义的查询；通过建立各种格式（包括HTML和XML）的报表，制作元数据文档。6. 查看对象MetaStage使用户能够很容易地查看MetaStage目录（DataStage表定义）中的任何对象，例如，查看对象的属性及关系、对象在其他数据集成工具中的重叠，以及能够运行生成有关对象更多信息的查询和模板。7. 流览对象在MetaStageContentBrowser（内容浏览器）中，使用资源管理器式的导航窗口界面，用户可以从任何元数据对象，如某个DataStage项目开始，按照包含或依赖关系，从上到下，逐层浏览这些关系涉及到的所有对象。用户也可以从不同数据集成工具的角度（使用不同的MetaBroker视图），按照相应工具中可用的不同关联关系，显示同一对象。8. 执行简单的检索简单检索使用户能够从MetaStage目录的一个子集中，查询满足基于名字、描述、日期和元数据类型的检索准则的对象。可以把检索到的对象的属性保存到一个文本文件，例如，一个MicrosoftExcel能够读的文件中。9. 调查数据世系操作型元数据的数据世系（DataLineage）调查使用户能够找出数据项的历史，例如，它的来源、状态和最后修改时间等。组合使用DataLineage和ImpactAnalysis时，可以得出诸如“数据来自哪一个特定物理目标表的特定列”和“最后一次得到数据的时间”等问题的答案。MetaStage的ProcessMetaBroker收集操作型元数据，并通过监控影响数据集成项目的处理活动，回答有关数据世系的问题。它记录受（如作业运行）影响的数据源，不管是写入还是从中读取。MetaStage也可以从DataStage主机作业中导入操作型元数据。用户可以跟踪数据世系，以审计DataStage作业的运行情况。可以看到运行时调用的一组转换规则、例程以及其他任何非作业对象的内容。然后还可以输出一个说明作业怎样一步一步地生成输出表中每一个列的报表。这个简单的数据世系说明一个具有200个记录的源文件怎样被输出到一个目标表中。在这个作业中，所有的200个记录均被读写。10. 执行ProcessAnalysisProcessAnalysis（处理过程分析）类似于DataLineage调查，但它给出的是处理过程执行情况的信息，而非数据迁移信息。ProcessAnalysis通过考察操作型元数据，使用户能够察看处理过程执行情况的历史，可以得到诸如“每一个可执行的处理过程最后一次运行时的详细信息是什么？”，“这个处理过程最后三次运行时每一次使用的都是哪些参数？”，以及“出现失败事件的作业的哪些信息是可用的？”等问题的答案。11. 执行ImpactAnalysisMetaStageImpactAnalysis（影响分析）使用户能够得到诸如“如果我做了这个改动会有什么影响？”和“这个对象依赖于谁”等问题的答案。例如，用户可以找出从MetaStage目录中删除一个特定的转换规则将会产生的影响。MetaStage利用存储在某个目录中的元数据的关联关系提供影响分析功能。MetaStage中的跨工具支持意味着这种关系可以跨越工具，以及整个数据集成项目实现的范围。例如，使用MetaStage，用户不仅可以找出改变一个例程将会影响哪个DataStage作业，而且还会发现该例程与哪个CASE框图相关联。12. 这一影响分析展示了从Erwin中连接到DataMart表的所有表，以及所有的导入模型（或产品），并通过该模型关联DataMart表。执行查询为了全面地考察MetaStage目录中的元数据，可以使用QueryBuilder，或使用每个DataStageMetaBroker均随机附带的预定义的查询，建立自己定制的查询。这使用户能够得出包括下列数据集成组件之间的复杂关系等问题的答案。查询的结果是一个按照指定规则排序的对象的集合。用户可以使用上次查询的结果作为再次查询的起点，重新调整为一个新的检索。13. 查询可以保存，以便之后再重新使用该检索考查不同的对象集合。可以把查询导入一个文本文件，也可以从这个文本文件中再导入其他MetaStage目录。建立元数据文档MetaStage使用户几乎能够即时建立起复杂的、以超连接形式标记的报表，描述MetaStage目录中的对象或对象集合的关系和属性。用户也能够以HTML、XML、RTF及文本格式建立这些报表，供打印输出，或在Web浏览器、MicrosoftWord以及文本编辑器中显示和整理。14. NationalLanguageSupportMetaStage具有多国语言支持能力（NationalLanguageSupport，NLS）。使用支持NLS的MetaStage和MetaBrokers，用户能够处理以任何字符集表示的数据，在MetaStage字段中显示各种语言形式的数据。但MetaStage和MetaBroker界面仍为英语文字。如果客户计算机的默认字符集为多字节的，MetaStage自动地提供NLS支持。如果客户计算机的默认字符集为单字节，则MetaStage不提供NLS支持。注意：并非所有的数据库均支持MetaStage提供的NLS能力。另外，并非所有的MetaBrokers均提供NLS支持。15. MetaStage安全MetaStage提供的安全支持是通过MetaStage管理员指定哪一个MetaStage功能授权让用户运行来实现的。每个用户都分配一个角色，管理员为每个角色都定义一组特权。每个特权都对应于MetaStageExplorer中的一个功能。例如，建立一个发布，或订阅某个发布。仅当拥有适当特权的角色才能编辑用户和角色。管理员通过限制对MetaStage功能的访问，或通过审查用户的元数据共享请求，控制用户共享的元数据。管理员也负责安装和许可运行在MetaStage目录和外部数据集成工具之间交换元数据所需要的MetaBrokers。16. MetaStage组件MetaStage由客户机组件和服务器组件构成。图1-1展示了MetaStage的主要组件和简化形式的元数据流。ERwinDSCognosMS客户机ProfileStageQualityStageDataStageImpactAnalysis元数据元数据元数据MetaStage目录SQLMetaStageExplorer是一个客户机组件，使用户能够浏览和检索目录，同时提供MetaStage管理功能。MetaStage目录和MetaStageProcessMetaBroker是服务器组件。用户可以采用下列方式把元数据加到MetaStage目录中：通过MetaBrokers从外部工具中导入元数据；使用MetaStageProcessMetaBroker捕捉数据集成处理活动生成的操作型元数据。下面将分专题概要地介绍上图展示的各个组件。17. MetaStage目录MetaStage在目录MetaStage中保存元数据。用户可以使用外部的工具引入静态元数据，例如，ERwin或DataStage，或者从数据集成活动中自动地捕捉操作型元数据。目录是一个服务器组件，它是在WindowsNT或UNIX服务器上使用关系数据库表建立的，通过ODBC进行访问。MetaStage管理员可以在MetaStage系统中建立多个目录，用户可以指定在哪一个目录中存储元数据。元数据是作为从某个类的层次中派生出来的对象存储在目录中的。对象表示数据集成项目的物理和非物理组件。它们以各种方式交叉连接，其中包括根据导入元数据建立的连接，以及根据集成处理活动运行时出现的事件建立的连接。对象属性和关系使MetaStage能够通知用户有关数据集成处理过程和资产方面的信息。无论何时目录中的内容发生重大变化，如导入元数据，都将导致MetaStage建立新的目录版本。版本提供了目录变化的历史。如果出现问题，版本信息使MetaStage管理员能够把目录回滚到一个已知点。例如，管理员可以标记版本，建立因特定的导入动作引起对象集合的创建或修改等有关变动历史的文档。17.1 查看目录MetaStage提供三种查看MetaStage目录中的对象结构的方法：关系层次：目录中用户可直接访问的、表示数据集成项目的大多数对象都与其他对象有潜在的关系。就像表包含列一样，一个对象能够包含其他对象。像列依赖于数据元素一样，一个对象也可以依赖于另一个对象。通过浏览这种关系层次，可以跟踪对象之间的关系。类层次：目录中的所有对象都是某个类的实例，而许多类又是其他类的子集。类的层次能够帮助用户看到数据集成项目中存在什么组件，例如，它可以为我们展示出所有计算机的集合。针对每个外部工具的MetaBroker都有一个确定其数据视图的不同类层次，类层次是从它的数据模型中得到的。MetaStage本身也有一个类层次，其中包含了位于不同MetaBrokers中的大多数类。通过针对任何工具的MetaBroker视图，用户可以查看目录中的对象。每个对象的名字、属性及其可能的关系依赖于视图，例如，BusinessObjects试图中看到的表对象是DataStage试图中的表定义，同时也是MetaStage试图中的数据集合。如果打算把它们导入另一个工具，用户可以采用这种方式了解对象具有的属性和关系。分类：MetaStage使用分类组织目录中的对象。分类包括：用户定义的分类：使用户能够以反映自己对数据集成源的看法的方式组织对象；导入分类：其中存储从外部工具中导入的对象；发布分类：其中包含可用于导出到外部工具的对象；业务域和词汇分类：用于存储与业务术语有关的元数据对象信息；18. 责任人分类:用于指明哪一个人或组织负责那个特定的元数据对象。MetaBrokersMetaBrokers提供MetaStage目录与外部数据集成工具之间的接口。MetaBrokers也可以与Ascential公司的DataStage和QualityStage工具一起使用。对于每一个外部工具及其不同的版本，都存在一个不同的MetaBroker。MetaBrokers是作为中心辐射状架构的一部分实现的。其中，MetaBroker与其有关的工具位于每个辐射链条上，而中心则是存储了集成的元数据的目录。例如，MetaStage可以从工具A中导入元数据，之后又可以从中导出，以对工具B有意义的形式导入工具B中。工具A可以是一个数据建模设计工具，工具B可以是一个数据抽取和转换工具。MetaStage使用户能够从任何已安装的MetaBroker的角度查看目录中的数据，以便在把数据导出到与MetaBroker有关的工具之前先行审视数据。MetaStage提供大量的MetaBrokers，也很容易安装，因而可为其他附加的工具提供接口。发布和订阅功能（与适当的MetaBroker一起使用）使用户能够把元数据从MetaStage移至外部工具。用户可以从MetaStageExplorer中运行这两个功能，它们将提供元数据导出功能，使用户能够发布希望与其他MetaStage用户共享的元数据。把元数据定义为发布的，便可以在目录中建立一个其他用户可用的元数据对象的集合。对发布的元数据感兴趣的用户可以向发布者建立订阅关系。订阅说明该用户希望通过某个指定的MetaBroker导出元数据，也许还要求得到通知，如果发布的元数据有任何改动。用户不一定必须把元数据导出到一个与导入时使用的为同一类型的工具。只要有一个针对目标工具的MetaBroker，用户就可以把元数据导到一个不同的工具，或者一个不同版本的同一工具中。在这种情况下，目标工具对发布的元数据有自己的见解。例如，DataStage用户可以完成下列工作：1.从DataStage项目中导入转换规则；2.发布转换规则；3.订阅另一个DataStage项目发布的信息；4.从MetaStage中把转换规则导到项目中。19. MetaStage管理员MetaStage管理员分配导入和导出的权限，因此具有控制谁可以共享元数据的权利。19.1 MetaArchitect19.2 当需要来自某一工具的信息而相应的标准MetaBroker不存在时，MetaArchitect使用户能够容易地建立定制的MetaBrokers，以便以CSV或XML格式导入和导出元数据。用户可以基于通用数据主题域模型（其中包含完整系列的OLAP、实体关系模型、关系数据模型以及ETL元数据类），或基于DataStage7MetaBroker模型（其中包括ETL和操作型元数据类），建立定制的MetaBrokers。ProcessMetaBrokerMetaStage使用ProcessMetaBroker捕捉操作型元数据。ProcessMetaBroker可以安装在UNIX或WindowsNT系统中（DataStage主机作业将绕过ProcessMetaBroker，直接把操作型元数据发送到MetaStage客户机的FTP文件夹中）。典型情况下，数据用户可以运行处理活动，增加部分或或所有项目数据。或执行其他相关的任务，如回滚或后处理过程。ProcessMetaBroker跟踪任何处理活动，收集操作型元数据，以及把元数据送交MetaStage目录。操作型元数据包括处理活动的开始和结束时间、它的完成状况，以及它访问的资源，如文件和表等。DataStage用户能够以代理方式运行DataStage作业，因此，一个运行的作业将会自动地生成发送到MetaStage目录的操作型元数据。为了从DataStage作业之外的其他活动中捕捉元数据，用户可以通过MetaStage代理(MetaStageProxy)访问ProcessMetaBroker。代理是一种UNIXShell脚本或DOS批处理文件，用于执行数据集成处理活动，使用处理活动命令界面（ActivityCommandInterface）定义关于这些处理活动的操作型元数据。MetaStage包含一个Shell脚本代理模板，可以利用它建立定制的代理。19.3 MetaStageExplorerMetaStageExplorer使用户能够浏览MetaStage目录，查看目录中对象的属性。而且如果有必要，还可以编辑对象的属性。可以按照对象之间的关系进行查询，以便更详细地查看这些关系。Explorer包括下列组件：CategoryBrowser（分类浏览器）：用于组织元数据，启动导入和导出操作。ClassBrowser（类浏览器）：供不同的工具查看类与模型之间的类的层次和重叠信息。DirectorySearch（目录检索）工具：使用户能够找到目录中匹配一定检索准则的对象。QueryBuilder（查询制作器）：使用户能够建立更复杂的查询，以找出目录中的元数据。MetaArchitect：使用户能够建立定制的MetaBrokers。ObjectConnector（对象连接器）与“Connectedto”功能：使用户能够连接基本上是等同的，但也许是从不同的工具中导入的对象，例如，一个根据Erwin表建立的DataStage表定义。为了检查和分析包含结构、依赖性以及目录中每个对象的来源，而建立DataLineage、ProcessAnalysis和ImpactAnalysis的路径的能力。SendtoDatabase功能：能够把元数据导到MetaStage目录内单独的一组表中，以便用户能够使用通用的SQL查询工具查询这些表。OnlineDocumentation（在线文档）工具：使用户能够建立、查看和共享其中描述了MetaBroker模型与对象的属性和关系的详细文档。如果有管理员权限，Explorer提供的功能使用户能够处理诸如配置MetaStage选项，从目录中删除数据以及定义用户应具备的MetaStage功能的访问权限等任务。通过限制访问MetaStage功能，以及通过监控用户共享元数据的请求，可以控制元数据在用户中间的交换。20. 同时使用DataStage与MetaStageMetaStage并不单独提供给DataStage客户，这两个产品之间有一个高度的集成。MetaStage相当于为所有的DataStage项目提供一个企业范围的核心产品，使用户能够：管理位于任何数量的机器上的任意数量的DataStage项目，其中每个项目实现作一个数据集市、或整个数据集成策略的单独一部分；使组件能够在多个DataStage项目中共享和重用表定义、数据定义、转换功能和例程。如果没有安装MetaStage，则每个DataStage项目只能独立地操作。有了MetaStage，所有的DataStage项目可以一起工作，共享元数据。自动地捕捉由DataStage作业收集的操作型元数据；以DataStage为中心，与MetaStage之间直接执行导入导出；从MetaStage中打开DataStageManager或Designer，查看对象的属性。如果同时使用DataStage和MetaStage，用户不必要求MetaStage在任何时间都是可用的。即使MetaStage不可用，DataStage仍然可以继续运行。21. 同时使用QualityStage与MetaStage使用QualityStageMetaBroker，能够从MetaStage中把元数据导入QualityStageDesigner中。也能够以“质量中间集结”为中心的方式，直接从MetaStage中导入导出。22. 管理数据集成项目中的元数据“一次定义，多次使用”是管理元数据的基本原则。下面的框图解释了在建设数据集成项目时推荐的一个贯穿于各种工具间的所有元数据流。从数据库（由ETL实现加载处理）的数据模型开始，把元数据导入MetaStage之后，用户可以从物理数据模型中发布表定义。然后可以运行订阅功能，把表定义导出到DataStage和QualityStage中。用户可以把发布的表定义导入商务智能工具的存储中，如BusinessObjectsUniverse或CognosImpromptuCatalog。如果必要，也可以把Universe和Catalog元数据导回MetaStage。用户能够把任何元数据（数据模型、表定义、ImpactAnalysis和DataLineagereports）集合以各种各式发布到网上。下面是图中的文字翻译：1导入源表的元数据（物理的）2获取目标表和OLAP立方体的元数据（逻辑的和物理的）3订阅源和目标表的元数据4生成和发布初始的ETL作业设计5订阅初始的ETL设计6发布完整的ETL设计（包括数据质量）7建立BI和OLAP立方体工具的元数据上方为“IBMDB2立方体视图”8使用ProcessMetaBroker接收DataStage操作型事件的元数据9利用“SendtoDB”，使浏览器能够访问元数据10生成交叉工具影响分析、数据世系报表以及文档-