最新AIX操作系统运行维护手册-Ver1.0.docx

《最新AIX操作系统运行维护手册-Ver1.0.docx》由会员分享，可在线阅读，更多相关《最新AIX操作系统运行维护手册-Ver1.0.docx（211页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Four short words sum up what has lifted most successful individuals above the crowd: a little bit more.-author-dateAIX操作系统运行维护手册-Ver1.0AIX操作系统运行维护手册-Ver1.0AIX操作系统工作手册文件编号版本0.1作 成 日2013年10月24日修 订 日发 布 日修改履历序号版本修改日期章节号修改记录修改人批准人10.12013/10/23创建修游目录1引言51.1编写目的51.2适用范围51.3预期读者51.4文档说明52操作系统健康性检查62.1系统日志

2、62.1.1系统硬件错误日志检查62.1.2系统所有错误日志检查72.1.3系统错误日志Core_dump检查82.1.4系统错误日志DELAYED_INT检查92.1.5系统邮件日志内容检查92.1.6系统邮件日志大小检查112.1.7登录失败日志文件大小检查112.1.8登录日志文件大小检查122.1.9su日志文件大小检查132.1.10异常终止的vi日志文件大小检查132.2系统性能142.2.1系统CPU使用率检查142.2.2查看占用CPU资源最多的进程172.2.3系统内存使用率检查182.2.4系统占用内存资源最多的进程202.2.5系统磁盘繁忙程度检查222.3交换空间232

3、.3.1交换空间使用率检查232.4进程状态242.4.1僵尸进程检查242.5网络状态242.5.1网卡状态检查242.5.2路由状态检查252.5.3网络传输检查262.5.4网络连接数量及状态检查302.5.5主机解析检查322.6存储状态322.6.1HBA卡状态检查322.7文件系统状态332.7.1文件系统使用率检查332.7.2文件系统挂载检查342.7.3NFS文件系统挂载检查352.7.4dump设备空间检查352.8逻辑卷状态362.8.1Rootvg的剩余空间检查362.8.2PV状态检查372.8.3是否存在stale的pp检查372.9系统安全382.9.1系统登录情

4、况检查382.9.2特权用户检查392.9.3Su操作次数检查402.9.4失败登录记录检查402.10双机状态412.10.1双机心跳状态检查412.10.2Hacmp.out日志检查422.10.3Cluster.log日志检查422.10.4双机节点状态检查432.11其它442.11.1操作系统时间检查443操作系统异常快速排查规范443.1系统日志检查453.2CPU使用率检查453.3内存使用率检查453.4I/O使用率检查463.5网络检查463.6交换区检查473.7文件系统检查473.8双机检查481 引言1.1 编写目的为了保证项目组所运维系统的持续健康运行，降低操作系统的

5、出错几率，并在出现问题时及时且有效的进行排查、处理，故编写本手册。本手册是以AIX操作系统管理员的技术为基础，并结合四年项目运营的实际经验进行编写。有关AIX操作系统的主要工作包括：操作系统健康性检查、操作系统异常快速排查。本运维手册按照以上两个方面的内容进行编写。1.2 适用范围IBM AIX5/6操作系统日常运维1.3 预期读者国家外汇管理局项目组运维工程师。1.4 文档说明1、 粗体表示注意事项、操作命令；2、 所有命名规范中所用字母，未特殊标注的，均使用小写；3、 本文所有截图是为了配合文字说明，图片内容仅供参考。2 操作系统健康性检查对于IBM AIX操作系统的健康性，主要从以下几个

6、方面进行检查：l 系统日志l 系统性能l 交换空间l 进程状态l 网络状态l 存储状态l 逻辑卷状态l 文件系统状态l 系统安全l 双机状态l 其它2.1 系统日志2.1.1 系统硬件错误日志检查 检查点： 操作系统错误日志是否含有硬件错误 检查方法： #errpt -dH 标准： 检查结果如存在硬件错误则为系统不健康 检查结果如不存在硬件错误则为系统健康 重点关注输出信息第三列为P的错误日志 示例：# errpt -dHIDENTIFIER TIMESTAMP T C RESOURCE_NAME DESCRIPTIONE142C6D4 0802115413 T H sysplanar0 EE

7、H temporary error for adapterE142C6D4 0802115413 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115413 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115313 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115313 T H sysplanar0 EEH temporary error for adapter49A8321

8、6 0802115313 T H hdisk0 DISK OPERATION ERRORF3931284 0802115313 I H ent0 ETHERNET NETWORK RECOVERY MODE 输出信息说明:第三列：类型TYPE 错误的类型或者说严重的程度类型说明简写PEND设备或功能组件可能丢失PPERF性能严重下降PPERM硬件设备或软件模块损坏PTEMP临时性错误，经过重试后已经恢复正常TINFO一般消息，不是错误IUNKN不能确定错误的严重性U2.1.2 系统所有错误日志检查 检查点： 操作系统错误日志是否含有错误 检查方法： #errpt 标准： 检查结果如存在错误则为

9、系统不健康 检查结果如不存在错误则为系统健康 重点关注输出信息第三列为P 第四列为H、S的错误日志 示例：# errptIDENTIFIER TIMESTAMP T C RESOURCE_NAME DESCRIPTIONE142C6D4 0802115413 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115413 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115413 T H sysplanar0 EEH temporary error for

10、 adapterE142C6D4 0802115313 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115313 T H sysplanar0 EEH temporary error for adapter49A83216 0802115313 T H hdisk0 DISK OPERATION ERRORF3931284 0802115313 I H ent0 ETHERNET NETWORK RECOVERY MODEE142C6D4 0802115313 T H sysplanar0 EEH temporary e

11、rror for adapter49A83216 0802115313 T H hdisk0 DISK OPERATION ERRORE142C6D4 0802115213 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115213 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115213 T H sysplanar0 EEH temporary error for adapterE142C6D4 0802115213 T H sysplanar0

12、EEH temporary error for adapter49A83216 0802115213 T H hdisk0 DISK OPERATION ERRORE142C6D4 0802115113 T H sysplanar0 EEH temporary error for adapterA6DF45AA 0802115113 I O RMCdaemon The daemon is started.E142C6D4 0802115113 T H sysplanar0 EEH temporary error for adapter 输出信息说明:第四列：种类CLASS 指错误源类型说明简写

13、HardWare硬件错误HSoftWare软件错误SOperation用户操作错误OUnKnown不能确定的错误U2.1.3 系统错误日志Core_dump检查 检查点： 操作系统错误日志是否含有应用程序Core_dump错误 检查方法： #errpt -a|grep CORE_DUMP 标准： 检查结果如存在Core_dump错误则为系统不健康 检查结果如不存在Core_dump错误则为系统健康 示例：# set -o vi# errpt -a|grep CORE_DUMP# 输出信息说明: 无2.1.4 系统错误日志DELAYED_INT检查 检查点： 操作系统错误日志是否含有应用程序DE

14、LAYED_INT错误 检查方法： #errpt -a|grep DELAYED_INT 标准： 检查结果如存在DELAYED_INT错误则为系统不健康 检查结果如不存在DELAYED_INT错误则为系统健康 示例：# # errpt -a|grep DELAYED_INT# 输出信息说明:1. DELAYED_INT 错误是版本BUG，出现该错误需要进行版本补丁升级2.1.5 系统邮件日志内容检查 检查点： 操作系统邮件日志是否含有异常错误信息 检查方法： #mail 标准： 检查结果如存在异常错误信息则为系统不健康 检查结果如不存在异常错误信息则为系统健康 示例：# mailMail 5.

15、2 UCB AIX 5.X Type ? for help./var/spool/mail/root: 1 message 1 newN 1 root Thu Jul 25 19:21 28/1144 diagela message from aix1? Message 1:From root Thu Jul 25 19:21:48 2013Date: Thu, 25 Jul 2013 19:21:47 -0500From: rootTo: esaadmin, pconsole, rootSubject: diagela message from aix1A PROBLEM WAS DETEC

16、TED ON Thu Jul 25 19:20:38 CDT 2013 801014 The Service Request Number(s)/Probable Cause(s)(causes are listed in descending order of probability): B17CE433: Surveillance Error Predictive Error, general. Refer to the system service documentation for more information. Additional Words: 2-030000F0 3-833

17、01510 4-C13920FF 5-40000000 6-00000000 7-000017F9 8-00001858 9-00000000 Error log information: Date: Thu Jul 25 19:19:03 CDT 2013 Sequence number: 132 Label: SCAN_ERROR_CHRP Priority: H Maintainence Procedure: FSPSP33 Priority: M Maintainence Procedure: FSPSP04 Priority: L FRU: 80P6787 S/N: YL122603

18、9202 CCIN: 293A Location: U787F.001.DPM0BYH-P1-C7?# mailNo mail for root 输出信息说明:1. 关键的错误信息会以mail形式发送给用户2. 特别关注crontab定时执行任务异常时会有mail产生2.1.6 系统邮件日志大小检查 检查点： 操作系统邮件日志大小是否超过阀值 检查方法： #ls -l /var/spool/mail 标准： 检查结果如目录下存在文件大小超过基线阀值则为系统不健康 检查结果如目录下不存在文件大小超过基线阀值则为系统健康 示例：# ls -l /var/spool/mailtotal 0-rw-r

19、w- 1 esaadmin mail 1144 Jul 25 19:21 esaadmin-rw-rw- 1 pconsole mail 1144 Jul 25 19:21 pconsole-rw-rw- 1 root mail 0 Aug 02 12:27 root# 输出信息说明:1. crontab中的定时任务脚本输出没有重定向，系统会将这些输出信息以mail形式发给这个用户，时间长了mail会越来越大2.1.7 登录失败日志文件大小检查 检查点： 检查登录失败日志文件大小是否超过阀值 检查方法：# ls -l /etc/security/failedlogin 标准： 登录失败日志大小

20、超过基线阀值则为系统不健康 登录失败日志大小未超过基线阀值则为系统健康 示例：# ls -l /etc/security/failedlogin-rw-r- 1 root system 648 Jul 15 13:09 /etc/security/failedlogin# 输出信息说明:1. 日志大小建议不超过64M(默认PP大小)2.1.8 登录日志文件大小检查 检查点： 检查登录日志文件大小是否超过阀值 检查方法：# ls -l /var/adm/wtmp 标准： 登录日志大小超过基线阀值则为系统不健康 登录日志大小未超过基线阀值则为系统健康 示例：# ls -l /var/adm/wtm

21、p-rw-rw-r- 1 adm adm 935064 Aug 02 12:28 /var/adm/wtmp# du -m /var/adm/wtmp 0.90 /var/adm/wtmp# 输出信息说明:1. 日志大小建议不超过64M(默认PP大小)2.1.9 su日志文件大小检查 检查点： 检查su日志文件大小是否超过阀值 检查方法：# ls -l /var/adm/sulog 标准： su日志大小超过基线阀值则为系统不健康 su日志大小未超过基线阀值则为系统健康 示例：# ls -l /var/adm/sulog-rw- 1 root system 1291 Aug 02 12:52 /

22、var/adm/sulog 输出信息说明:1. su日志大小建议不超过64M(默认PP大小)2.1.10 异常终止的vi日志文件大小检查 检查点： 检查异常终止的vi日志文件大小是否超过阀值 检查方法：# du -sm /var/preserve 标准： 异常终止的vi日志大小超过基线阀值则为系统不健康 异常终止的vi日志大小未超过基线阀值则为系统健康 示例：# du -sm /var/preserve 0.16 /var/preserve# ls -l /var/preserve total 0-rw- 1 root system 163840 Aug 02 13:06 Exaaa49168

23、# vi -rOn Fri Aug 02 at 13:06 saved 525 lines of file /tmp/smit.log# vi -r /tmp/smit.log# ls -l /var/preservetotal 0# 输出信息说明:1. 异常终止的vi日志大小建议不超过64M(默认PP大小)2. 异常终止的vi操作可通过 vi r显示查看,同样通过#vi r filepath/filename 继续上次终止的操作3. 执行#vi r filepath/filename后，/var/preserve文件夹下的文件自动清除2.2 系统性能2.2.1 系统CPU使用率检查 检查点：

24、 操作系统CPU使用率是否存在高于正常基线的情况 检查方法： # vmstat 2 30 # sar 2 30 # mpstat 2 30 # topas 标准： 检查结果如存在CPU空闲率小于30%则为系统不健康 检查结果如不存在CPU空闲率小于30%则为系统健康 示例：# vmstat 2 30System configuration: lcpu=2 mem=1536MBkthr memory page faults cpu - - - - - r b avm fre re pi po fr sr cy in sy cs us sy id wa 2 0 163050 184248 0 0

25、0 0 0 0 9 91 220 0 0 99 1 2 0 163050 184248 0 0 0 0 0 0 0 44 201 0 0 99 0 2 0 163049 184249 0 0 0 0 0 0 0 163 203 0 0 99 0 2 0 163049 184249 0 0 0 0 0 0 0 44 218 0 0 99 0 2 0 163049 184249 0 0 0 0 0 0 0 28 212 0 0 99 0 2 0 163053 184245 0 0 0 0 0 0 2 972 228 0 0 99 0 2 0 163053 184245 0 0 0 0 0 0 0

26、28 215 0 0 99 0 3 0 163053 184245 0 0 0 0 0 0 0 23 215 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 24 217 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 8 84 229 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 25 216 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 35 220 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 31 226 0 0 9

27、9 0 2 0 163052 184246 0 0 0 0 0 0 0 28 218 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 28 215 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 24 218 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 28 224 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 24 221 0 0 99 0 2 0 163052 184246 0 0 0 0 0 0 0 24 216 0 0 99 0 2 0 1630

28、52 184246 0 0 0 0 0 0 0 27 211 0 0 99 0kthr memory page faults cpu - - - - -# sar 2 30AIX aix1 1 6 0000682ED700 08/02/13System configuration: lcpu=2 mode=Capped 15:47:46 %usr %sys %wio %idle physc15:47:48 0 0 0 100 1.0015:47:50 0 0 0 99 1.0015:47:52 0 0 0 100 1.0015:47:54 0 0 0 99 1.0015:47:56 0 0 0

29、 100 1.0015:47:58 0 0 0 100 1.0015:48:00 0 0 0 100 1.0015:48:02 0 0 0 100 1.0015:48:04 0 0 0 100 1.0015:48:06 0 0 0 100 1.0015:48:08 0 0 0 99 1.0015:48:10 0 0 0 100 1.0015:48:12 0 0 0 100 1.0015:48:14 0 0 0 100 1.0015:48:16 0 0 0 100 1.0015:48:18 0 0 0 100 1.0015:48:20 0 0 0 100 1.0015:48:22 0 0 0 1

30、00 1.00# mpstat 2 30System configuration: lcpu=2 mode=Capped cpu min maj mpc int cs ics rq mig lpa sysc us sy wa id pc 0 0 0 0 178 162 76 0 0 100 69 0 0 0 100 0.53 1 0 0 0 18 10 10 0 0 - 0 0 0 0 100 0.47ALL 0 0 0 196 172 86 0 0 100 69 0 0 0 100 1.00- 0 2 0 0 182 163 77 0 0 100 32 0 0 0 100 0.53 1 0

31、0 0 18 10 10 0 0 - 0 0 0 0 100 0.47ALL 2 0 0 200 173 87 0 0 100 32 0 0 0 100 1.00- 0 0 0 0 182 162 77 0 1 100 26 0 0 0 100 0.53 1 0 0 0 18 11 11 0 1 100 0 0 0 0 100 0.47ALL 0 0 0 200 173 88 0 2 100 26 0 0 0 100 1.00- 0 0 0 0 180 161 76 0 0 100 27 0 0 0 100 0.53 1 0 0 0 18 10 10 0 0 - 0 0 0 0 100 0.4

32、7ALL 0 0 0 198 171 86 0 0 100 27 0 0 0 100 1.00- 0 0 0 0 180 162 76 0 0 100 32 0 0 0 100 0.53 1 0 0 0 18 10 10 0 0 - 0 0 0 0 100 0.47ALL 0 0 0 198 172 86 0 0 100 32 0 0 0 100 1.00-Topas Monitor for host: aix1 EVENTS/QUEUES FILE/TTYFri Aug 2 15:51:25 2013 Interval: 2 Cswitch 191 Readch 0 Syscall 56 W

33、ritech 67CPU User% Kern% Wait% Idle% Reads 0 Rawin 0ALL 0.0 0.2 0.0 99.8 Writes 1 Ttyout 67 Forks 0 Igets 0Network KBPS I-Pack O-Pack KB-In KB-Out Execs 0 Namei 1Total 0.2 1.5 1.0 0.1 0.1 Runqueue 0.0 Dirblk 0 Waitqueue 0.0Disk Busy% KBPS TPS KB-Read KB-Writ MEMORYTotal 0.0 0.0 0.0 0.0 0.0 PAGING Real,MB 1536 F aults 0 % Comp 42FileSystem KBPS TPS KB-Read KB-Writ Steals 0 % Noncomp 10Total 0.0 0.0 0.0 0.0 PgspIn 0 % Client 10 PgspOut 0Name PID CPU% PgSp Owner PageIn 0