工作总结-ODI开发.docx
《工作总结-ODI开发.docx》由会员分享,可在线阅读,更多相关《工作总结-ODI开发.docx(72页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、工作总结ODI开发作 者:项 目: 技术负责人: 日 期:Note: Title, Subject, Last Updated Date, Reference Number, and Version are marked by a Word Bookmark so that they can be easily reproduced in the header and footer of documents. When you change any of these values, be careful not to accidentally delete the bookmark. You
2、can make bookmarks visible by selecting Tools-OptionsView and checking the Bookmarks option in the Show region.目录工作总结i目录ii概述3工作总结- -ODI开发4ODI开发工作小结4ODI环境搭建5ODI架构搭建12ODI 代理创建14ODI基础开发18CDC接口开发36KM(知识模块)基础46附录61附录I :表空间创建脚本61附录II:触发器脚本61附录III:JKM客户化62更改历史65Note: To update the table of contents, put th
3、e cursor anywhere in the table and press F9. To change the number of levels displayed, select the menu option InsertIndex and Tables, make sure the Table of Contents tab is active, and change the Number of Levels to a new value.概述工作总结主要是描述我在青岛啤酒MDM项目和PTS项目4个月以来的学到技术和工作感悟。主要是对ODI开发进行一次总结,描述对ODI技术开发的认
4、识和了解。更多ODI开发技术可参阅Oracle Data Integrator应用指南文档。技术 目前接触的大部分都是与数据相关的开发,可能在技术方面学习和理解比较片面。1. 在MDM项目学到的技术:接口开发、ODI基础开发、FORM个性化、FORM基础开发、HTML报表开发等;2. 在PTS项目学到的技术:ODI环境搭建及CDC开发、RTF报表开发等。业务对业务的了解主要方式是和业务顾问进行交流,在EBS界面上跑业务流程等。1MDM项目业务认识:集中对数据进行管理,数据标准化,流程固化。2PTS项目业务认识:通过条码达到产品的追溯。工作总结- -ODI开发主要是对在项目上学到的技术进行总结。
5、注:如有错误或疑问,请大家欢迎提出和指正。ODI开发工作小结简单叙述在项目做过的ODI开发及相关信息ODI开发业务背景主要涉及ODI开发的项目:青啤MDM项目和PTS项目。青啤MDM项目:青啤MDM系统大部分基础数据(如物料、物料类别等)都是从ERP系统获取的(初始化数据),然后在MDM系统中维护这些数据,并实时同步到ERP系统中。这些初始化数据和同步数据的迁徙媒介都是ODI。青啤PTS项目:PTS项目数据分为基础数据和业务数据,都采用ODI使这些数据流转在ERP、Data Center、总PTS、分PTS、CDCPTS等系统间。ODI组件ODI主要是以下组件组成的:资料库(Repositor
6、y):Master Repository、Work Repository。 设计工具,主要用以下设计工具:Topology Manager :描述物理和逻辑构架,在主资料库中标示服务器、Schema、代理。Security Manager :管理ODI用户及权限,可以给配置文件及用户访问对象的权限。Designer:是ODI开发的主要组件,创建和执行DataStores、Interfaces、Procedure、Packages,客户化KM等操作Operator:管理和监控数据转换任务的执行情况,可用于调试。计划代理(Schedule Agent):属于Runtime组件,因为ODI采用E-L
7、T架构,所以Schedule Agent只用来调度执行ELT任务,其数据转换引擎很少用到。另外还有三个需要单独安装的组件:Metadata Navigator、Lightweight Designer、Public Web Services。ODI接口ODI接口主要分为两类:静态接口和动态接口。静态接口用于数据初始化,只在接口运行初期执行一次。动态接口用于数据维护,是实时性的。在MDM项目中,采用的是普通动态接口:基于静态接口,指定数据筛选字段(常用字段last_update_date)和筛选规则(last_update_datesysdate - 1)。在PTS项目中,采用的是CDC动态接口
8、:基于静态接口,添加订阅者,生成日志。KM(知识模块)ODI的知识模块主要分为几个大类(RKM,CKM,LKM,IKM,SKM),其中最重要的是LKM(load KM)和IKM(Integration KM)RKM: RKM:完成从源系统和目标系统的数据结构的反向工程来形成数据模型的功能。CKM:完成数据质量检查。 JKM:日志记录知识模块,记录单个表或视图等中的新数据和更新的数据。 LKM:完成从源数据库数据加载到临时表。 IKM:完成从临时表的数据加载到目标表。 SKM:完成ODI和WEB服务接口的功能。 SKM(Service KM):Web服务知识模块,可以使用该知识模块来生成Web服
9、务调用。ODI环境搭建ODI开发环境进行ODI开发的基础。创建ODI用户ODI用户就是指数据库为ODI开发而创建的用户,就是说ODI通过此用户连接数据库,又是ODI的Work Schema。ODI用户权限较大,能否访问其他用户的数据。如果某个用户的数据需要进行ODI开发,那么这些数据的增删改查操作权限都得赋给ODI用户。而ODI开发会涉及到源系统和目标系统,那么需要分别为这些系统创建ODI用户。创建脚本如下:- 创建ODI用户(Work Schema)- 源系统 ERPcreate user soau identified by soau default tablespace soau_dat
10、a;grant connect,resource to soau; grant create database link to soau; grant create synonym to soau;- 目标系统 MDMcreate user soau identified by soau default tablespace soau_data;grant connect,resource to soau; grant create database link to soau; grant create synonym to soau;说明:1、 ODI用户统一命名,方便,易于管理;2、 源目
11、标和目标系统角色可交换(源系统作为目标系统,目标系统作为源系统),但是需要保证同一数据模型必须单向ODI开发;3、 源/目标系统建立物料架构时,如下两处地方需要设置为ODI用户:创建资料库ODI在ERP系统搭建环境,其TNS信息为:BEST=(DESCRIPTION= (ADDRESS=(PROTOCOL=tcp)(HOST=)(PORT=1522) (CONNECT_DATA= (SID=BEST) ) )l 资料库概念:摘自Oracle Data Integrator应用指南Master Repository,保存企业所有IT资源的Topology,保存项目和数据模型的安全信息、版本信息,
12、供ODI图形模块等使用。通常创建一个即可。Master Repository要尽可能独立存储,单独的Instance,或单独的Schema。Work Repository,保存项目和数据模型,供ODI图形模块等使用。可创建多个。一个Work Repository只能连接一个Master Repository。一个Schema只能存储一个Work Repository,不过Master Repository倒可与其安装在同一Schema。说明:在哪个服务器上创建资料库是没有明确要求,可按项目需求来,本案例是在ERP服务器创建资料库(原因是MDM数据库没有创建表空间的权限)。l 创建主资料库(Ma
13、ster Repository) ERP1、 创建Master Repository用户create user soam identified by soam default tablespace users; grant connect, resource to soam;2、 创建Master Repository通过开始菜单Master Repository Creation启动(或ODI安装目录下的ODIoracledibinrepcreate.bat),并按下图输入资料库信息:JDBC:Driver oracle.jdbc.driver.OracleDriver URL jdbc:o
14、racle:thin:1522:BEST用户/密码:soam/soam注:蓝颜色选中区域为ERP服务器TNS信息。点击按钮,如果出现连接成功信息,点击OK。3、 连接Master Repository(创建主资料库连接“soamFP”)通过开始菜单Topology Manager启动(或ODI安装目录下的ODIoracledibintopology.bat),点击新建按钮,并按下图输入资料库信息:用户/密码为SUPERVISOR/SUNOPSIS点击Test按钮,如果连接成功,点击OK,这样连接主资料库创建成功了。说明:1、 用户/密码为什么输入SUPERVISOR/SUNOPSIS ? 用户
15、/密码其实是Security Manager Users,就是说安全管理用户才有权限连接主资料库,这类用户作为Security Repository Connections Users。ODI提供了一个默认的安全管理用户SUPERVISOR/SUNOPSIS,如果你不知道有哪些用户可以使用,那么可选择默认的SUPERVISOR/SUNOPSIS。疑问:如果ODI首次搭建开发环境,是不是用户/密码必须使用默认的SUPERVISOR/SUNOPSIS?2、 如果想自己创建用户/密码,然后使用,该如何操作?前提是ODI已经搭建了开发环境,至少有个Security Repository Connect
16、ions用户。登录已经有的Designer,点击菜单中的(或ODI安装目录下的ODIoracledibinsecurity.bat)进入如下界面:通过添加自己需求的用户信息,就可以使用了。更多用户安全管理设置可参阅: l 创建工作资料库(Work Repository) ERP1、 创建Work Repository用户create user soaw identified by soaw default tablespace users; grant connect, resource to soaw;2、 创建Work Repository创建存储连接“soamFP”成功后,界面显示如下点
17、击OK按钮进入Security Manager窗口,点击菜单按钮,进入Topology Manager窗口,并切换至Repositories TAB页, 点击Insert Work Respository,就进入了创建工作资料库界面了,分别在Definition和JDBC TAB页输入如下信息,点击按钮Test,测试成功后,点击OK,弹出窗口,输入信息如下,点击OK,Work Repository创建完成了。3、 连接Work Repository(创建工作资料库连接“soawFP”)开始菜单Designer启动(或ODI安装目录下的ODIoracledibindesigner. bat),点
18、击新建按钮,并按下图输入资料库信息:用户/密码为SUPERVISOR/SUNOPSIS点击Test按钮,测试连接成功后,点击OK到登录界面,选择创建好的工作资料库连接“soamFP”,点击OK进入Designer模块。ODI架构搭建ODI中所使用的数据模型基础是逻辑架构,而逻辑架构对应了物理架构。物理架构属于数据服务器。创建数据服务器Topology ManagerPhysical ArchitectureTechnologiesOracle右键Insert Data ServerConnection那一栏中的User/Password,输入的是ODI用户/密码:soau/soau。Insta
19、nce/dblink(Data Server) 特别说明 - Oracle to Oracle 模式1、 Instance/dblink作用简单的说Instance/dblink其实就是两个数据库(源数据库和目标数据库)间建立DBLINK的媒介。当执行ODI接口时,ODI会根据源数据服务器的Instance/dblink信息匹配目标服务器tnsnames.ora文件中TNSNAME,如果匹配成功,ODI会自动根据TNS信息与源数据库之间创建DBLINK;如果匹配不成功,表示没有明确DBLINK建立对象,DBLINK创建后无法正常连接,导致ODI接口执行会抛出错误信息:TNS:could not
20、 resolve the connect identifier specified所以输入Instance/dblink(Data Server)信息前,请确保在目标服务器tnsnames.ora文件中已经添加源服务器TNS信息。2、 Instance/dblink输入要求在目标数据库的$ORACLE_HOMEnetworkadmin文件夹下,tnsnames.ora文件中必须有源数据库的一个TNS,而Instance/dblink(Data Server)必须填对应的TNSNAME。例如案例创建的是ERP系统的数据服务器,那么Instance/dblink(Data Server)必须输入M
21、DM系统TNS文件中对应ERP系统的TNSNAME:点击Test按钮,测试成功后,点击OK,创建ERP系统的数据服务器完成了。用相同的方式创建MDM系统的数据服务器。创建物理架构上面步骤确定后,会自动弹出创建物理架构的界面:说明:Schema 和 Work Schema的区别Schema(架构)是指数据源所在,也就是我们需要抽取的数据源或者是要把数据放进去的数据源;Work Schema(工作架构) 是指ODI开发存放临时表的地方。一般会指定某个Schema为Work Schema,比如案例中的SOAU,就是说所有系统的ODI开发都是规定使用SOAU Schema。而Schema可按照需求来选
22、择,比如ERP系统有多维数据库开发(即多个客户化用户)比如CUX、BSM、HADF等,都需要进行ODI开发,那么可以建立相对应的物理架构:ERP System.CUX、ERP System.BSM、ERP System.HADF等。本案例中我们创建的是物理架构是ERP System.CUX。点击OK按钮,会出现一个警告(提示需要指定上行文,因为逻辑架构还没创建,可以先忽略),点击OK物理架构的创建就完成了。用相同的方式创建MDM系统的物理架构。创建逻辑架构Topology ManagerLogical ArchitectureTechnologiesOracle右键Insert Logic S
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 工作总结 ODI 开发
限制150内