计算机网络软件及应用：kettle调研手记-技巧汇总.docx

《计算机网络软件及应用：kettle调研手记-技巧汇总.docx》由会员分享，可在线阅读，更多相关《计算机网络软件及应用：kettle调研手记-技巧汇总.docx（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、kettle调研手记-技巧汇总1、对于源数据后面自动添加“ .0 ”的问题可以通过在输入步骤“格式”栏中设置长度解决，如下图飞Excel琼入步骤名称Excel城入文件佃容储误处理 字段 Additional output fields4 #名称翱长度精度去脍空格类型重复货币符号,贺15actual_amountNumber-1-1none否16remarkString-1-1none否17flag_delString-1-1none否#18create_datetimeDate-1-1noneK19create_userString-1-1none否20update_datetimeDate-

2、1-1none否三21update_userString-1-1none否我取来目头厥辞的字段,.确定(O)预览记录脱肖(C)2、输入为excel文件时的设置说明目的地址：即收件人的地址。抄送、暗送：即抄送人、暗送人的垂B箱地址。回彳复名耦：道里的回彳复名耦指的是彝件人的名耦。 回彳复地址：道里的回彳复地址指的是彝件人的地址。 Reply to :封方回彳复垂B件畤的回厘地址。START4Test Mail Job注意：回彳复地址需要舆瞬起用户名保持一致。25、占eHMadJob1 .文件选择一个Excel文件或保存有Excel文件的目录。文件或目录：设置要读取的Excel文件的名称，或一个目

3、录。可以使用【浏览】按钮来选择文件或目录。正则表达式：设置一个正则表达式来匹配一个目录下的部分Excel文件。选择的文件：列出所有选中的文件，可以使用【增加】按钮将【文件或目录】中的文件添加到文件列表中。2 .工作表选择工作薄中的一个或多个工作表，并通过指定工作表中的开始行号和开始列号来设要读取的内容。工作表名称：设置要读取的工作表的名称，可以通过【获取工作表名称】按钮来获取Excel工作薄中的所有工作表。 起始行：设置工作表中数据的开始行号（从0开始） 起始列：设置工作表中数据的开始列号（从0开始）3 .内容内容中包含列名：如果内容中第一行是列名，则选中该选项。列名所占行数：如果内容中第一行

4、是列名，该选项可以设置列名一共占据儿行。在列名比较长的情况下，列名可能会 占据工作表的多行。输出中不包括空行：在输出中不包括空行。遇到空行停止读取：在读取工作表内容的过程中如果遇到了空数据行则读取结束。文件名称字段：在输出中增加一个字段来保存读取的Excel文件名。工作表名称字段：在输出中增加一个字段来保存读取的Excel工作表名。行号字段：在输出中增加一个字段来保存读取的Excel工作表中的每一行的行号，行号是在工作表中的实际行号。 行数限制：读取的最大行数,0代表所有行。4 .错误处理严格类型检查：如果选中该选项，当读取到的列数据类型和指定的列数据类型不一致时则读取失败.否则会进行数据 类

5、型的转换，如果转换失败则产生错误行（行中的一个或多个数据读取失败）。忽略错误：如果选中该选项，当读取数据行发生错误行时，则忽略发生的错误行。跳过错误行：如果选中该选项，将跳过发生错误的行。否则读取错误的数据将置为空值。警告文件保存目录：设置警告信息保存目录，用于保存在读取数据过程中发生的警告。错误文件保存目录：设置错误信息保存目录，用于保存在读取数据过程中发生的错误。 错误行号保存目录：设置错误行号保存目录，用于保存在读取数据过程中发生错误行的行号。5 .字段显示并设置从Excel工作表中读取到的所有字段，包括名称，类型，精度，刻度，转换掩码等信息。名称：列出要读取的字段名，用户可以通过【获取

6、字段名称】按钮获得所有字段名。类型：指定字段的期望数据类型，如果和实际数据类型不符，可能在读取时会产生错误。长度：该字段的长度。精度：该字段的精度（对于Number类型）。去除空格：去除空格的几种方式（不去除、左去除、右去除、全部去除）小数:小数点符号可以是n.H（10;000.00）或”,”（5.000,00）分组：数字的分组符号可以是,”（10,000.00）或”.”（5.000,00）Null if:如果是Null时设置为其他值.重复：如果是Null时重复上一个非空的值.格式：设置数据格式，一般用于数据转换的情况。Excel工作表中的数据，都有特定的数据类型，因此在读取数据时，需要为每个

7、字段设置和实际相符的正确的数据类 型。如果没有设置数据类型，则所有的数据都以字符串方式来读取，此时不同类型的数据转换为字符串时，会有不同 的转换方式。以数值类型转换为字符串类型为例：格式表达式格式描述#,#, #. #每二位使用逗号分割的数字（默认方式）#.#%数字后面添加百分号#取整数（四舍五入）0000000000十位整数，不足十位前面补0000. 00小数点前最少三位，不足前面补零， 小数点后最少两位，不足后面补03、根据入库单号把明细中的金额求和后，更新到主表中/旦是如果有的入库单号在主表中不存在则就会报错，这是数据问题,解决办法为,在更新步骤中设置一下忽略查询失败，则只对目标表中存在

8、数据进行更新用口下图:4、使用资源库(repository)登录时，默认的用户名和密码是admin/admin当job是存放在资源库（一般资源库都使用数据库）中时，使 用Kitchen.bat执行job时，需使用如下的命令行：Kitchen.bat /rep repository_name /user admin /pass admin /job job 名称 E:test.log其中 repository_nameo 为 repository.xml 中的 repository,在最下面当job没有存放在资源库而存放在文件系统时，使用 Kitchen.bat执行job时;需使用如下的命令行：

9、Kitchen.bat /norep /file user-transfer-job.kjb资源名称最好不要用中文,如果程序在保持时的字符集跟系统不一致,就会造成repositories. xml文件中出现乱码，导致无法启 动,解决方法是：到用户目录下找到repositories, xml。将.kettle 文件夹删除，重写用英文名称创建后，成功启动。5、 在WINDOWS下自动执行的配置：先建一个bat文件，内容为：E:workkettlepdi-ce-4.2.0-RCldata-integrationKitchen.bat /rep kettle_test /user admin /pas

10、s admin /job job 的名称 然后在windows中新建一个定时任务即可在LINUX下执行脚本命令：6、 KETTLE 所在目录 /data-integration/kitchen.sh /rep repository_name /user admin /pass admin /job job 名称 /opt/data_wash/log/test.log其中 repository_nameo 为 repository.xml 中的 repository,在最下面Repository.xml 在 linux 系统下的位置：$HOME/.kettle/repository.xml定义全

11、局变量：在.kettle目录下，打开kettle.properties文件，以键值对的方式添 加即可，如:变量名称=变量值，然后在kettle设置图中可以利用 Get Variables”步骤获取到在windows下，kettle的资源库中的数据库表名为小写，而 在linux下则为大写，这一点需要注意，以移植时需要所导出表 的插入sql脚本，否则会出现无法登录，找不到表的错误。（表中 的字段，在linux下与在windows下一样都大写的）7、 多人共同登录同一资源库时，在保存或打开一个转换时不会报错误，但会一直停留在那里不动，经过源码启动时后台出现错误uDeadlock found when

12、 trying to get lock; try restarting transaction,初步原因为表死锁，查看造成死锁的sql语句为: show engine innodb status在发生死锁现象时执行这句，结果中的laster detected deadlock可 以看到最近造成死锁的两条sql是什么8、 菜单相关对话框中的信息修改：kettle-ui-swt.jarorgpentahodiuispoonmessagesmessages_zh_C N.properties,需要注意转码.9、 修改启动加载界面中的文字信息位置：Src-ui/org/pentaho/di/ui/co

13、re/dialog/license/license.txtSrc-ui/org/pentaho/di/spoon/Spoon.javaspoon是启动IDE的，调度Job查找Kitchen Java,调度 transformation 查找 Pan.java10、 先用ant执行 源码下的build.xml文件，部署一下；修改标题：kettle-ui-swt.jar 包中orgpentahodiuispoonmessages messages_zh_CN.properties 中 “Spoon.Application.Name的值, 格 式为unicode编码修改启动界面中的版本信息：在 sr

14、c-ui 包中的 org.pentaho.di.ui.core.dialog.Splash.java 中在力口载 versionText之前，把它值为空(目前不显示版本信息)修改帮助菜单中的关于：在 src-ui 包中找至ll org.pentaho.di.ui.spoon.Spoon.java ,找至U helpAbout()函数并做修改jndi 设置M Database ConnectionGeneralAdvanced Opti ons Pooling ClusteringConnection Name：conn_ngoss_edwConnection Type：MS SQL Serve

15、rMS SQL Server QTative)MaxDB (SAP DB)MonetDBMySQLNeovi ewNetezzaOracleOracle RDB Palo MOLAP Server PostgreSQLRemedy Action Request SystemSAP ERP SystemSQLiteSybaseSybaselQTeradataUniVerse databaseVerti cadBase III, IV or 5Access:Native (JDBC)ODBC OCIJNDITest特征列表浏览OK Cancel data-integrati onsimple-jn

16、dijdbc. propertiesPROPERTIES 文件I KB多人共用同一数据资源库时锁表问题的解决：Kettle的锁表机制为：当一个用户登录资源库后,打开任何一个转换或任务后，系统就认 为该用户可能要修改打开的设计图，就为该用户锁定所有表，此时 其它用户再登录后就无法保存所做的修改，发生这种现象的原因是由kettle的设计机制所至,此时只要大家第一次登录并打开第一 个转换或任务后，先进行一下保存,则不会发生此问题.24 利用kettle发送邮件第一步：新建一job艮箱 视图 选湿国 侵裳 作业仍 向导侬 费助CTRLISpoon - TestMiH作业3 CTRL AirNCTRL

17、M从URL打开文件从XMl文件导入要出到XMI文件Export all linked resources to XML 保存另在力.另存大（VFSU去闭CTRL-SCTRL-F4CTKL-1 CTRI-2 CTRL-JCTRL-4CTRL-5CTRL-6CTRl-7 CTRL-S CTRL-9打印退出:J D:workspaceKettk TESTTe$ttlail.lijb D:worlspaceKettle stphen octopus-ieport ktr:1D:w0rl5paceKettle TESTsemaiHemp.ktr:(D:worlspaceKettk ECIFXlettle

18、 EClF-VPSACR.ktr:；D:worlspaceKettk stephncc$tinta5.kti:D:workspace Kettk ECIF Kettle baclupXECIF,VPSACR.iOLlOSOi.Ltr D:worlspace KettkEClF Jettie.bacliip ECIFVPSACR-201107U.ktr:；D:worLspaceKettkcup-bp cupbp-rebatejestltrC A Documents and Settings ;dmirv 桌面cup.bp.rebMjstltr第二步：在作渠中添加一彳固起始第粘和一彳固邺件套。粘，并接.文件缪3视图透源库段换作业U）向导理助主对象树:TestMailii) E a * POP第三步：在垂B件1评占配置相的性STARTiTest Mail Job