最新培训高级应用幻灯片.ppt

赛意科技赛意科技 http:/概述 部门维是DW常见的纬度，在业务系统维护基础数据，但业务系统一般只保留最新数据，因此DW需要保留历史数据，即实现缓慢变化维。 对于缓慢变化维，常见的做法是新增Begin_Date和End_Date两个字段，通过这两个字段配置记录的有效性；另外，对于在业务系统已经被删除的记录，可在DW新增DELETE_FLAG字段加以标识。 在业务系统里，部门表的唯一索引是DEPT_CODE，而在DW里，部门维表的唯一索引有两个：FIN_DEPT_ID、DEPT_CODE+BEGIN_DATE。赛意科技赛意科技 http:/赛意科技赛意科技 http:/赛意科技赛意科技 http:/赛意科技赛意科技 http:/赛意科技赛意科技 http:/赛意科技赛意科技 http:/赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用在Filter根据change_code对增删改数据进行分流 Output Link = 0 = Lnk_Edit_Data Output Link = 1 = Lnk_Ins_Del_DataDEPT_CODE作为Key字段这 一 块 分 流 用 作DEBUG，输出到Peek赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用在Orac_Target_Table通过SQL写入新增的数据到部门维表，更新被删除数据的Delete_Flag为Y赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用下面就是在部门维表里经过处理的新增、删除数据DEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CNVALID_FLAGBEGIN_DATEEND_DATEDELETE_FLAG0061079600美洲3康华为N2006-1-12008-12-18 10:16:58Y00610796001绿洲3康华为Y2008-12-19 10:16:58N赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用Lnk_Edt_Data的数据经过Copy_14拷贝后，一条输出数据流DSLink17与Src_Source的数据流在Join_46关联，取出Src_Source里被修改前的数据：FIN_DEPT_IDDEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CNVALID_FLAGBEGIN_DATEEND_DATEDELETE_FLAG3711070371107行政部浙江华为Y2006-1-1N赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用在Column_Generator_25给修改前的数据增加change_code字段：赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用设置change_code的数据生成规则赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用对于修改后的数据也需要新增字段与修改前数据进行匹配：在Column_Generator_47增加Begin_Date等字段赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用设置Begin_Date、End_Date等字段的数据生成规则赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用然后，在Funnel_27对两个数据流进行合并，输出数据流在Transformer_30根据change_code对Begin_Date等字段进行处理赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用在Oracle_Enterprise_32通过SQL写入修改后的数据到部门维表，更新修改前的数据的End_Date等字段赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用下面就是在部门维表里经过处理的修改前和修改后的数据FIN_DEPT_IDDEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CNVALID_FLAGBEGIN_DATEEND_DATE3711070371107行政部浙江华为N2006-1-12008-12-18 10:16:5810000000100371107行政部广东华为Y2008-12-19 10:16:58赛意科技赛意科技 http:/DataStage ETL 高级应用高级应用謝謝大家謝謝大家