最新control-m使用手册0415.doc

《最新control-m使用手册0415.doc》由会员分享，可在线阅读，更多相关《最新control-m使用手册0415.doc（64页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精品资料control-m使用手册0415.Control-M使用手册中亦安图科技发展（北京）有限公司二零一二年十二月1 体系结构1.1 架构说明CONTROL-M生产管理建立在一个三层结构基础上，它包括CONTROL-M/Enterprise Manager，CONTROL-M/Server和CONTROL-M/Agents三个组件。 CONTROL-M/Enterprise Manager（以下简称：CONTROL-M /EM）提供一个统一的，适用于所有平台的GUI界面。它拥有自己的独立的数据库，通过Gateway与Control-M/Server进行连接，管理与控制所有的Control-

2、M/Server与Control-M/Agent。 Control-M的服务器（Server）Control-M 处理的核心，它是调度作业、管理作业处理流程、提供作业流状态信息的引擎。保存所有作业的定义及其调度规则。同一架构体系中Control-M/Server可以有多个（青岛银行目前只有一个）。 Control-M/Agent负责在应用服务器上执行具体的作业，如批量调度，文件传输等等。Control-M/Agent可安装在各种操作系统上，并提供如AFT（文件传输），DATABASES（数据库存储过程），SAP（SAP软件相关）等功能模块方便不同的应用进行作业执行。注：另外在CONTROL-M

3、/Server和CONTROL-M/EM Server支持高可用，保障整个系统的不受故障影响。作业生命周期：1. 作业在Control-M/EM提供的GUI界面中进行定义。2. 作业提交到Control-M/Server进行调度。3. Control-M/Server将作业提交到所需执行的Control-M/Agent进行执行。4. Control-M/Agent将作业执行信息返回到Control-M/Server。5. Control-M/Server将作业信息同步到Control-M/EM供GUI界面进行展示。青岛银行架构：青岛银行采用Control-M提供的DB-MIRROR进行灾备管理

4、。DB-MIRROR：通过Control-M的自身的数据库实时同步对作业调度信息进行实时备份。1.2 Control-M/EMClient components（EM客户端组件）（3个GUI）： Configuration Manager用于管理EM Server的相关组件以及Control-M/Server和Control-M/Agent。 Desktop定制作业，也可以视为编辑作业。 Enterprise Manager监控运行环境，必要时也可以介入（比如【hold】、【rerun】）。其实就是连接到EM上，看到的是Control-M Server上的Job（只有order或upload后

5、的job才能传到Control-M Server上，不然也就保存在EM Server上）Server components（EM Server组件）： Gateway处理EM Server与Control-M Server的通信。因为1个EM要对应多个Control-M Server，所以通过Gateway来处理EM具体和哪个Control-M Server通信。Gateway只负责管理谁和谁通信，具体的通信是由CMS来处理。 Configuration Management Server（CMS）与Control-M Server的Configuration Agent通信，通过它来处理管理

6、员发布的请求。 Global Alerts Server（GAS）管理报警信息给所有的EM GUI。 Global Conditions Server（GCS）发布全局条件给不同的Control-M/Server。 Batch Impact Manager（BIM）进行关键作业进行提前告警。 Forecast Server帮助查看未来某一天所需执行的作业。 Naming Service用于提供EM Server对外的服务接口。 Configuration Agent用于与Control-M/Server进行通信，下发作业调度指令。1.3 Control-M/Server 和 Control-M

7、/Agent Control-M/ServerControl-M/Server通过Gateway与Control-M/EM进行通信，通过Configuration Manager Server与EM进行指令交互。Control-M/Server拥有独立的数据库，通过server-to-agent与agent-to-server端口与执行作业的Control-M/Agent进行通信。 Control-M/Agent如之前所说，Control-M/Agent用于执行作业与收集作业执行情况，并可以在Control-M/Agent上安装如AFT，Databases等功能模块（CM）。 Remote H

8、ostRemote Host为Control-M/Agent的一种远程发送指令形式。即通过某一个Control-M/Agent向另一台未安装Control-M/Agent的应用服务器去下发作业。由于受网络以及用户的限制以及Remote Host无法加载功能模块，所以使用起来相对没有Control-M/Agent便捷。注：如果所需调度的作业为IBM的大机，则需要在大机上单独安装大机版Control-M/Server进行作业调度1.4 关键词1.4.1 Database，Definition file，Active Jobs file(AJF)Control-M/EM和Control-M/Serv

9、er都含有一个数据库，主要包含两部分信息：Definition file 和 Active Jobs file（AJF），其中Control-M/EM中：Definition file包含所有被定义的作业信息。AJF中包含所有正在调度的作业信息（包括执行情况），Control-M/Server会实时将AJF中的作业调度信息同步给Control-M/EM的AJF，供客户端能实时查看。Control-M/Server中：Definition file包含所有提交等待调度的作业信息。AJF中包含所有正在调度的作业信息（包括执行情况），即EM客户端组件Enterprise Manager所查看到的信息

10、总结，Control-M/Server中Definition file可以认为是所有需要被处理的作业的仓库，AJF就是从这个仓库中取出的马上要处理的作业。1.4.2 Schedule，order，forceSchedule为作业的调度日期。可理解为作业允许被调度的日期，可在作业配置的Scheduling页进行配置，如下如：Job被调度，即Job被放置在Control-M/Server的AJF中，分为自动和手动2种方式：自动调度，每天CONTROL-M会通过NEWDAY形式自动扫描符合调度日期（Schedule）的作业，将作业自动调度。手动调度，主要是通过【order】和【force】操作。【o

11、rder】方式必须符合调度日期（Schedule）【force】方式就不管作业的调度日期（Schedule）是否符合注：作业调度与作业运行是两个概念。作业被调度，并需要满足前置条件与执行时间的情况下才会运行。1.4.3 Write，upload，load and downloadWrite/Load：Write为将作业从本地客户端保存至Control-M/EM的Definition File中。可理解为仅仅将作业进行保存。Load则相反，从Control-M/EM的Definition File中将作业读取到本地。Upload/Download:upload为将作业从Control-M/EM的

12、Definition File上传到Control-M/Server的Definition File中。只有将作业上传，Control-M才能通过order或NewDay方式写入到Control-M/Server的AJF中进行调度。DownLoad则相反。注意：我们在新建一个job后，如果想直接upload操作，系统会返回错误。必须先write到EM Server上，然后在upload操作。1.4.4 New Day procedure，User Daily jobs每个Control-M/Server上会在每天的某一时刻运行一个处理过程，这个时刻就被称为New Day。主要的工作是，删除前一

13、天的所有job，然后增加新的job到AJF中。具体操作实现可查看2.2.7。说明：在银行系统中,工作日和实际日是不一定一致的.例如,如果每天晚上的批处理要在第二天的凌晨4点才能做完,那么就可以指定银行系统工作日的变更时间为凌晨四点,而不是自然日的凌晨0点.AJF的New Day运行时间就是这样一个切换时间,即工作日切换时间.工作日和实际日期的不同,是为了满足业务系统核算的要求.2 操作2.1 启停各组件2.1.1 Control-M/EM1. 使用emuser用户执行root_menu命令，并输入用户名密码进行登录。2. 选择1 - Activation Menu，其中2 - Start Al

14、l为启动 7- Stop All为停止3. 可通过选项1 Check All进行状态验证与查看。2.1.2 Control-M/Server1. 使用emuser用户执行ctm_menu命令。2. 选择1 - CONTROL-M Manager，其中2 - Start All为启动 5- Stop All为停止。3. 可通过选项1 Check All进行状态验证与查看。2.1.3 Control-M/Agent1. 使用root用户，在/home/ctmAgent/ctm/scripts目录下2. 执行./start-ag为启动Control-M/Agent，执行./shut-ag为停止Con

15、trol-M/Agent3. 可执行ps ef|grep p_ctm命令对Control-M/Agent进程进行查看验证，启动情况下有以下两进程root 14614668 1 0 17:42:26 pts/1 0:00 ./ctmAgent/ctm/exe/p_ctmat root 35586086 1 0 17:42:25 pts/1 0:00 ./ctmAgent/ctm/exe/p_ctmag2.2 作业管理（Desktop）2.2.1 Login（登录）登录前准备：在C:WindowsSystem32driversetchosts中配置所连接的Control-M服务器的IP与主机名映射

16、1. 打开Control-M Desktop 7.0.00，在Advanced中的填写主机名与端口号(默认13075)，点击apply，输入用户密码进行登录。2.2.2 Load（将作业从Control-M/EM展示到客户端）1. 点击File = Load job form CONTROL-M/EM2. 选择所需修改或查看的作业表，点击Load2.2.3 Write（客户端界面上的作业保存到Control-M/EM）1. 点击菜单栏File = Write to CONTROL-M/EM2. 选择所要保存的作业表，点击write（右下角）2.2.4 Upload与Download（向CTM/

17、Server提交与下载作业）Upload为:将作业从Control-M/EM的Definition file上传到Control-M/Server的Definition file，DownLoad则相反点击菜单栏tools = Table Manager，选中一张作业表，在菜单栏上可进行upload与download操作。另外upload也可在作业界面上通过右键作业表进行操作2.2.5 Order（将作业进行手动调度）1. 对单个作业进行order，可选中单个作业，右键点击order JobUpload Table before ordering：调度作业前先进行upload操作Force：忽

18、略调度日期，强制执行作业Order/Force with Hold：强制调度作业并且将作业初始为hold状态2. Order一个作业表点击菜单栏tools = Table Manager，选中一张作业表，在菜单栏上点击order2.2.6 DELETE（删除作业）点击菜单栏tools = Table Manager，选中一张作业表，在菜单栏上点击deleteDelete（Remote + Local）：同时删除Control-M/EM与Control/Server中的该作业表Force Delete（Remote + Local）：强制删除Local Delete：只删除Control-M/E

19、M中的该作业表，如果该已设置成每日调度作业表，则调度仍然会正常执行Remote Delete：删除Control-M/Server中的该作业表，在Control-M/EM中仍会保存。2.2.7 设置作业表为每日NEWDAY自动加载1. 点击菜单栏tools = Table Manager，选中一张作业表，在菜单栏上点击Table Details2. 在User Daily栏中设置SYSTEM（大写）并保存3. 保存后一定要将该作业表进行upload操作，将User Daily信息上传到Control-M/Server4. 通过终端，以ctmuser登录CTM服务器。执行ctmpsm 71 sc

20、hedule table检验已成功设置。确认作业表的Daily Name为“SYSTEM”，如下图所示。2.2.8 Save，Open（将作业保存为本地文件与读取作业文件）1. 点击File = Save将当前界面上的作业保存为本地文件，Open则为打开本地作业文件。2.2.9 Find Jobs（查询作业）1. 点击菜单栏Edit = Find Jobs，可对当前界面上的作业进行搜索。2. 填写过滤条件，可使用通配符，点击Find Next进行搜索。2.2.10 Find and Update（作业批量修改）1. 点击菜单栏Edit = Find and Update，可对当前界面上的作业进

21、行搜索。2. 上边Find为搜索所要修改的作业条件设置，点击右边Find可查出所有作业列表。3. 中间Update为填写需要批量修改的内容，点击右侧update进行修改。4. 下图修改内容为：修改当前界面上所有作业的Max Wait参数为1.2.2.11 Job Template（作业模板）1. 点击菜单栏Tools = Template Manager，可对当前界面上的作业进行搜索2. 点击Add Job Template进行模板设置3. 在作业定义时可以选择模板，也可将目前作业设置成模板。2.2.12 Authorization（用户权限设置）1. 点击菜单栏Tools = Authori

22、zations，进行用户权限设置2. 权限分为用户与组，如果改用户属于该组，那该组的所有权限该用户都将默认拥有3. 权限配置：General：用户基本信息及密码设置Member Of：用户所属组Active：用户在监控视图中Control-M Enterprise Manager 7.0.00 (Default)所能查 看的作业与执行的权限Privileges：用户对各组件的操作权限Tables：用户对作业表的操作权限Prerequstite Conditions：用户对Condition条件的操作权限Owmer：允许调度的作业定义用户Control Resources：用户对控制资源设置的权

23、限Quantitave Resources：用户对定量资源设置的权限Gblbal Condition：用户对全局变量设置的权限Calenders：用户对日历表的设置权限2.2.13 Load Forecast（查看未来某一天将调度的作业）1. 点击菜单栏File = Load Forecast，可对当前界面上的作业进行搜索。2. 选择调度日期，点击Load进行打开。3. 展示结果。2.3 普通类型作业定制2.3.1 GeneralControl-M：作业所属的Control-M/Server名Job Type：作业类型，例如：OS（普通作业），AFT（文件传输），FileWatch（文件监测）

24、Databases（数据库存储过程）Job Name：作业名（系统名_操作简称）Task Type：Job 后台运行的脚本等等。Detached 运行可执行的文件。Command 执行操作系统命令。Dummy 不负责job和系统命令的执行，而是指示control-M执行后续动作，如增加输出条件等。File Name：文件名（脚本程序名）File Path：路径Command：命令（也可用于全路径执行脚本）Description：作业描述（可使用中文）Parent Table，Application，Group：三层分类分组。Parent Table就是该作业的Table名Owner：脚本或命令

25、执行用户Author：作业的制定人（用于描述）2.3.2 Scheduling作业允许调度日期，如允许每天调度，则选择所有的Month Days与Months即可2.3.3 ExecutionNode ID/Group：填写该作业所需运行CTM/Agent的名字（该名字可在CCM中查看）Wait for confirmation：作业运行时是否需要进行手动确认（测试时可进行勾选）Priorit：作业抢占系统资源优先级（09azAZ Quantitative Resources中设置资源名与数量作业配置时可配置该作业使用该资源的份额。2. Control Resources 控制资源，类似文件、

26、数据库，将其设置为共享或者独享形式。控制资源则用于控制不同的作业对系统共享资源的使用.假设一个作业A在写一个文件时,另外两个需要从此文件中读数据的的作业B,C不能启动,于是你可以为此文件定义一个控制资源,作业A定义此资源为排它性资源(exclusive),作业B,C中定义此资源为共享资源,这样,当作业调度执行时,如果A在执行,则B, C不能被调度执行，同一时间只能有一个作业占有该资源。2.3.6 Set1. 设置变量，供作业定义或作业执行的脚本中使用。常用：%$CALCDATE %DATE-1 代表作业运行时当前系统日期的前一天，格式为YYYYMMDD%CALCDATE %ODATE-1 代表

27、作业运行时当前系统日期的前一天，格式为YYMMDD%$ODATE代表作业的调度日期，格式为YYYYMMDD%ODATE代表作业的调度日期，格式为YYMMDD在作业定义时，如命令行中可用%PARM形式使用。在执行的脚本中也可通过$PARM进行读取。2.3.7 Steps用于作业的异常逻辑处理例如 ON Statement Statement=* Code=COMPSTAT=1DO OK以上代表当作业返回码是1的情况下 作业标识为成功ON Statement Statement=* Code=NOTOKDO Force-Job Table=XXXX JobName=XXX Date=ODAT以上代

28、表作业执行出错的情况下强制执行Force-Job所配置的作业DO操作中说明： OK 作业执行成功NOTOK 作业执行失败Rerun作业重跑Stop Cyclic停止循环Set-Var 设置变量Shout告警Force-Job 强制执行作业Sysout屏幕输出Condtiion对Condition进行添加或删除Mail发送邮件RemedyRemedy软件相关2.3.8 PostProc 作业处理结束后来发送告警（在alert告警台生成告警信息）【PostProc】when中,例如late sub 9:00 这个作业晚于9:00还未被agent执行，进行告警。late time 9:00 这个作业

29、完成时间晚于9:00，进行告警。executing 30 执行时间超过30分钟，进行告警。Urgency中选择告警级别。在Message中可以设置自定义告警信息。2.4 特殊类型作业的配置2.4.1 AFT（文件传输类型作业）帐号配置：1. 登陆Control-M Configuration Manager，点开Agent on control（control某Control-M/Agent的名字），选择CM(FILE_TRANS)。2. 右键点击右侧CM(FILE-TRANS)行，列出对话框，选择Account Management，弹出AFT账户管理菜单：3. 添加账户：点击左上角“+”号

30、（New Account），输入一个Account Name，选择一个EM Users，点击“Add”将其加到右侧栏：4. 设置host1的信息。通讯协议缺省为FTP，可修改为SFTP：（如为Agent本机则直接勾选Local CM）5. 设置host2的信息：6. 点击“Next”：7. 点击“Next”，显示之前的配置信息：8. 点击“Test”，测试设置是否正确：9. 点击“Finish”，完成AFT账号设置。作业配置：10. 创建一个新的作业，选择CONTROL-M，选择Job Type为AFT。点开Execution栏，填写Node ID:XXX(XXX为账号所在Control-M/

31、Agent名字)11. 打开FILE_TRANS栏，点击“Load”，选择账号，点击“OK”。12. 填写传输的指定路径和文件，Adcanced中可对传输的源文件与目标文件进行特殊处理设置（如传输完成后进行权限修改等）。13. 其他信息与普通作业一样，正常填写。2.4.2 FileWatch（文件监测作业）监测单个文件1. 将作业Job Type选择File Watcher，注：owner一定要填写Control-M/Agent安装时所创建的用户（ctmAgent/ctmagent）2. 填写FileWatch栏：Path：所检测文件的绝对路径；备注：每层路径必须是ctmagent用户有权限访

32、问的；Mode：CREATE检测文件生成；DELETE检测文件删除（不常用）Min detected size：文件有效检测的最小容量，单位字节。通常可设置为0；Interval between file searches：检测文件生成的轮询时间，单位秒；Interval between filesize comparison iterations：检测文件容量变化的轮训时间，单位秒；Number of iterations：检测文件容量变化的轮询次数Time limit for the process：作业执行时间，单位分；或设置时间段，如下：Starting time for detect

33、ing files：作业开始时间；Absolute stop time：作业结束时间；监测多个文件1. 轮询多个文件需要使用底层utility来实现，配置作业为普通类型，执行命令ctmfw input 配置文件(全路径)该配置文件需放置在所需轮询文件的应用服务器上2. 配置文件编写如下：INTERVAL：轮询间隔时间设置MIN_SIZE：文件监测最小SIZEMIN_DETECT：轮询到文件后文件大小比较次数WAIT_TIME：最长监测时间（分钟），超过该事件，如有文件未监测到则作业报错。2.4.3 DataBase存储过程数据库存储过程帐号配置：1. 需要首先在需要调用存储过程的Control

34、-M/Agent上安装存储过程插件。然后选择帐号管理2. 选择数据库类型与版本：3. 填写相关数据库连接信息：4. 设置相关连接参数：数据库存储过程作业配置：5. 创建一个新的作业，选择CONTROL-M，选择Job Type为Databases。点开Execution栏，填写Node ID:例如PAM_81_50(PAM_81_50为账号所在Control-M/Agent名字)6. 打开Databases栏，点击“Load”，选择账号，点击“OK”。7. 填写或选择存储过程的SCHEMA与NAME：8. 其他作业参数正常配置2.4.4 AS400类型作业1. 选择Job Type为OS/40

35、0 Program或OS/400 Full。2. 详细配置可请OS400工程师参与进行作业配置。3. 其他页配置与普通作业相同。2.5 监控管理（Enterprise Manager）2.5.1 查看当天作业（AJF）1. 菜单栏File = Open ViewPoint = 选择All Active Job(当前正在调度的作业)2. 点击OK后如下显示：2.5.2 查看历史作业运行情况1. 菜单栏File = Open Archived ViewPoint = 选择All Active Job2. 选择所需查看的日期3. 作业展示2.5.3 统一监控控制台1. 工具栏点击alerts(红色感

36、叹号)。2. 点击connect。3. 监控台中可以对报错作业的时间，作业名，以及自定义报错信息和作业的其他相关信息等（值班人员通过查看监控台即可进行作业监控）。PS：信息列的排列顺序可通过拖拽进行调整。4. 右键单条报错信息，可点击Find Job直接查询到报错作业，可点击Handle对已处理的报错进行标识。2.5.4 作业操作1. 作业呈现不同颜色代表如下情况：灰色等待执行（运行时间未到或前置条件未生成，可通过右键=why查看详细信息）粉红色需要人工确认才能执行的作业黄色正在执行绿色作业执行成功红色 作业执行出错蓝色等待资源或该作业所需CTM/Agent不可用2. 右键相关作业操作功能如下

37、：properties查看作业配置信息hold锁定当前作业(暂停)free释放当前作业(与hold相反)confirm作业确认，只有作业为等待确认(粉红色)才能点击rerun作业重跑，只有作业为出错(红色)时才能点击delete/undelete删除/恢复作业，将作业从当前作业调度视图中删除kill强行中止正在执行的作业，只有作业正在执行(黄色)时并且需要先hold才能中止进程Force OK强制将作业设置成运行成功(作业不会执行)Bypass=run now忽略任何时间与条件限制，立即执行该作业Sysout查看当前作业的屏幕输出Statistics查看当前作业历史运行记录View JCL/S

38、cripts查看当前作业脚本，只有配置为job类型的shell脚本作业才能查看Why查看当前作业未能运行的理由，只有未执行(灰色)作业才能点击Neighbourhood查询当前作业相邻近的作业2.5.5 Condition管理1. 工具栏点击Tools = Prerequisite Condition2. Condition条件与日期相绑定，正常生产环境中同一Condition每天生成一次，不会相互冲突。测试环境中如需要将一个批量流程重复跑多次，则需要每次将相应的Condition进行删除，否则作业将会不安Condition逻辑同时执行。3. 在Condition管理器中可以对Condition进行搜索，添加与删除动作。2.5.6 Resource管理1. 工具栏点击Tools = Quantitative Resources2. 在资源管理器中可对资源进行定义，用于作业定义时的资源使用（控制并发）