DS的经验总结解析.pptx

《DS的经验总结解析.pptx》由会员分享，可在线阅读，更多相关《DS的经验总结解析.pptx（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、开发环境测试环境生产环境DSExport.dsx提交/反馈提交提交备份第1页/共42页DSDS的经验总结开发流程开发规范开发经验第2页/共42页数据流向及注释1 1所有的输入数据文件在左侧第3页/共42页数据流向及注释2 2主输入数据文件在左侧从输入数据文件在上方第4页/共42页JOBJOB属性说明 第5页/共42页JOBJOB属性说明第6页/共42页sequential filesequential file格式 第7页/共42页命名规则-JOBJOB名称存量以N开头，增量以I开头CIF层使用Cv，以源文件名结尾LDF层使用Tr，以目标文件名结尾LOD层使用Ld，以目标表名结尾要求目标文件名

2、和目标表名首写字母大写第8页/共42页命名规则-控件名称第9页/共42页命名规则-落地文件名称CIF层:源文件去掉Exp_，扩展名为.ds如：Exp_InsureVehc_TOther.EXFInsureVehc_TOther.ds Exp_InsureClaimVehc_CPay.EXFInsureClaimVehc_CPay.dsLDF层:首字母为大写的目标表名，扩展名为.dsReject文件的扩展名为.rej如：Agreement_request.ds Agreement_request_001.rej第10页/共42页命名规则-连线使用的名字为LKXX连线上的图标不发生重叠第11页/共

3、42页DSDS的经验总结开发流程开发规范开发经验第12页/共42页表定义的必要性字段名的定义，比如保单号，(polno，plc_no，policyno)使用多个不同的名称造成歧义null与not null的不一致，输出文件定义与输入文件定义，造成很多警告信息第13页/共42页EXFEXF文件格式-分隔符定义第14页/共42页EXFEXF文件格式-列从Table defineTable define导入第15页/共42页CIFCIF层的处理方法数字型可以直接赋予目标日期型可以直接赋予目标对不需要的列不做映射由于导入数据中CHAR型的长度不一，在CIF层CHAR型用VARCHAR型代替第一列若为V

4、ARCHAR型，使用col1,len(col)-1其他字符串列col2,len(col)-2第16页/共42页CIFCIF层的处理方法第17页/共42页LDFLDF层的处理方法对日期型或数字型赋空值时，使用函数SetNull()。由于rej文件为Sequential_File，对存在Null的列无法落地，需设置文件格式属性Null field value。若列设置为非空，但列中有Null值，不论是否设置Null field value，该行无法落地。第18页/共42页Sequential_File数字类型的处理Integer类型只能读入-21474836482147483647之间的整数Big

5、Int类型只能读入-92233720368547758089223372036854775807之间的整数Decimal类型读入的整数与Length设置有关。如当Length=5时，可以读入-9999999999之间的整数。第19页/共42页Sequential_File数字类型的处理当数字字符串中有非法字符时,若非法字符出现在首位,整条纪录被reject,若非法字符出现在中间或结尾,输出该字符左边的数字.当读取或落地为Null的数据时,需设置Null field value值,否则该条数据被reject第20页/共42页Sequential_File日期类型的处理当字符串与设置的格式不符时,

6、该行数据被reject.当读取或落地为Null的数据时,需设置Null field value值,否则该条数据被reject第21页/共42页TransformerTransformer的处理对需要计算的多个相似列可使用局部变量第22页/共42页TransformerTransformer的处理对Transformer的使用尽量少，做到尽量合并，以提高job运行效率。对于字符型字段，长度为零的字符串不等于NULL值；但导入数据库时会将该字符串认为是NULL。第23页/共42页TransformerTransformer的处理当源字段为Null值时无法做逻辑、数学、字符串运算，否则这条记录被dr

7、op掉。若有多条输出Link，当其中一条Link因为Null值运算时，也会使其他Link上的记录被drop。为避免被drop发生，可以根据情况使用IsNull(),NullToEmpty()等函数避免。第24页/共42页TransformerTransformer的处理增加常整型数据时，若该常量值过大，需使用StringToDecimal进行处理。第25页/共42页TransformerTransformer的处理在使用StringToDate时,若格式发生错误,数据会输出若干*符号,不会产生警告信息.在使用StringToDeciamal时,若源中有非法字符,返回0值.不会产生警告信息.第2

8、6页/共42页TransformerTransformer的处理当使用条件过滤数据时，对类似if_else的数据输出应该使用Otherwise/Log，而避免两条都使用逻辑判断。第27页/共42页JoinJoin的处理对INPUT列按KEY值HASH排序，且键值顺序相同。对不输出的列事先不做输入。注意内连接、左连接、右连接、全外连接的区别。第28页/共42页JoinJoin的处理在左连接时,为了能准确区分是否连接上从表,在从表端加入伪列常数,通过对该常数的值做判断第29页/共42页Change_CaptureChange_Capture的处理对两个具有相同列的数据做比较可以分别得到两个源文件行

9、数据全相同、行数据部分不同、以及只有一个源存在的行需要两个源做HASH排序第30页/共42页LookupLookup的处理对连接字段可否为空必须一致对没有查找到的数据需Continue处理第31页/共42页Sur_Key_GeneratorSur_Key_Generator的处理在多个结点运行时，可能产生跳号的现象，为避免这种情况，需做如下设置第32页/共42页Remove_DuplicatesRemove_Duplicates的处理输入源需做Hash排序，排序字段顺序与去重字段顺序和个数一致第33页/共42页Remove_DuplicatesRemove_Duplicates的处理当排序字段

10、与去重字段个数不一致时，顺序需一致，且控件需设置Option第34页/共42页多进程的处理对Parallel Job，需修改Job参数，选中Allow Multiple Instance第35页/共42页多进程的处理对Sequence Job，需修改Job参数，选中Allow Multiple Instance，此外还需修改控件参数Invocation Id，使调用ID能动态改变第36页/共42页相关优化-减少数据量第37页/共42页相关优化-减少不需要的列第38页/共42页相关优化-先执行减少数据量的操作第39页/共42页QuestionQuestion第40页/共42页Thank you第41页/共42页感谢您的欣赏！第42页/共42页