系统故障分析和排除.ppt

Sun系统及硬件维护培训内容n nOpenBootOpenBoot 的使用的使用n n系统故障分析和排除系统故障分析和排除OpenBoot的使用内容n nOpenBootOpenBoot概述概述n n启动并测试系统启动并测试系统n n设置环境变量设置环境变量n nEmergency ProcedureEmergency Proceduren n建立建立TIPTIP连接连接什么是OpenBoot?n nIEEEIEEE的的Boot FirmwareBoot Firmware标准标准 1275-19941275-1994n n独立于处理器设计独立于处理器设计n n开机后立即执行开机后立即执行n n可升级可升级OpenBoot的基本任务n n测试和初始化系统硬件测试和初始化系统硬件n n确定硬件配置确定硬件配置n n从网络或磁盘设备引导操作系统从网络或磁盘设备引导操作系统n n提供交互式的软硬件调试工具提供交互式的软硬件调试工具设备树n n设备通过总线连接在计算机主机上设备通过总线连接在计算机主机上n nOpenBootOpenBoot 把总线和通过总线互连的设备表示成设把总线和通过总线互连的设备表示成设备树上的节点备树上的节点设备路径、地址和参数n n每个设备有唯一的名字，代表设备种类和设备在系统地址每个设备有唯一的名字，代表设备种类和设备在系统地址结构中的位置结构中的位置n n全路径设备名（物理设备名）是用全路径设备名（物理设备名）是用“/”/”分割的一系列节分割的一系列节点名点名n n设备树的根及机器本身，表现为设备树的根及机器本身，表现为“/”/”n n每个节点名的形式：每个节点名的形式：driver-driver-nameunitnameunit-address:device-arguments-address:device-arguments egeg:sd6,0:a:sd6,0:a设备树、地址和参数n ndriver-namedriver-name 包含包含1-311-31位字母或数字，区分大小写。位字母或数字，区分大小写。符号放在地址信符号放在地址信息之前息之前 le lance le lance ethernetethernet sdsd scsiscsi disk disk，cdromcdrom st st scsiscsi tape tape设备路径、地址和参数n nunit-addressunit-address 一个字符串，代表其在父节点设备的地址空间中的物理位一个字符串，代表其在父节点设备的地址空间中的物理位置。字符串的格式与总线有关。置。字符串的格式与总线有关。n ndevice-argumentsdevice-arguments 一个字符串，其格式与具体的设备有关。它可以用来给设一个字符串，其格式与具体的设备有关。它可以用来给设备的软件传递更进一步的信息。备的软件传递更进一步的信息。设备路径、地址和参数Example:Example:/sbus1f,0/esp0,4000/sd3,0:a/sbus1f,0/esp0,4000/sd3,0:an nSbus&SUNW,fas&sdSbus&SUNW,fas&sd为为driver-namedriver-namen n1f,01f,0代表主系统总线上的一个地址，因为在这个例子中代表主系统总线上的一个地址，因为在这个例子中sbussbus直接与主系直接与主系统总线相连统总线相连n n0,4000 0,4000 SbusSbus插槽号插槽号(0)(0)和一个偏移量和一个偏移量(4000),(4000),因为因为espesp设备在设备在SbusSbus 0 0 号插号插槽的卡上的地址偏移量为槽的卡上的地址偏移量为40004000n n3,03,0是是SCSISCSI设备号和逻辑单元号，因为磁盘连在设备号和逻辑单元号，因为磁盘连在SCSISCSI总线上的设备号总线上的设备号为为3 3，逻辑单元号为，逻辑单元号为0 0浏览设备树的命令show-show-devsdevs.properties.properties（查看设备特性）（查看设备特性）cdcd/cdcd device-name device-namepwdpwdwords words （查看本节点的访问方法）（查看本节点的访问方法）see see wordnamewordname设备别名n nA shorthand representation of a A shorthand representation of a device pathdevice path Example:/sbus1f,0/esp0,4000/sd3,0:a Example:/sbus1f,0/esp0,4000/sd3,0:an ndevaliasdevalias command command devaliasdevalias devaliasdevalias aliasalias devaliasdevalias alias device-pathalias device-path nvaliasnvalias alias device-pathalias device-path nvunaliasnvunalias aliasaliasGetting Helpn nHelpHelp command command help list main help categorieshelp list main help categories help categories show help for all commands in the category.help categories show help for all commands in the category.Use only the first word of the category description.Use only the first word of the category description.n nHelp is available only for commands that are used Help is available only for commands that are used frequency.frequency.使用一些OpenBoot命令时要注意n n操作系统开始运行后，操作系统开始运行后，OpenBootOpenBoot运行有可能不正确运行有可能不正确n n解决办法解决办法 1 1、用、用printenvprintenv 查看查看auto-boot?auto-boot?的值。如果为的值。如果为truetrue，用，用setenvsetenv 把把 它设置成它设置成falsefalse 2 2、用、用resetreset复位系统复位系统 3 3、当系统停在、当系统停在okok状态下时，执行用户命令状态下时，执行用户命令 4 4、用、用setenvsetenv把把auto-boot?auto-boot?重新设置成重新设置成truetrue 5 5、Reset the systemReset the system引导和测试系统经常用经常用OpenBootOpenBoot命令做的工作命令做的工作n n引导系统引导系统n n运行系统自检运行系统自检n n显示系统信息显示系统信息n n复位系统复位系统引导系统n n引导参数引导参数 auto-boot?boot-commandauto-boot?boot-command diagdiag-switch?boot-device-switch?boot-device boot-file boot-file diagdiag-device-device diagdiag-file-filen nBoot processBoot process auto-boot?=auto-boot?=true/falsetrue/falsen nBoot CommandBoot Command ok boot device-ok boot device-specifierargumentsspecifierarguments Boot命令的可选参数n ndevice-device-specifierspecifier cdromcdrom disk disk net netn nargumentsarguments 如果没给出如果没给出argumentsarguments并且并且diagdiag-switch?-switch?为为false,bootfalse,boot过程使用过程使用 boot-fileboot-file作为作为arguments;arguments;如果没给出如果没给出argumentsarguments并且并且diagdiag-switch?-switch?为为true,boottrue,boot过程使用过程使用 diagdiag-file-file作为作为arguments;arguments;取值：取值：-v a r s.-v a r s.诊断测试命令n nProbe-Probe-scsiscsi Identify devices attached to a SCSI busIdentify devices attached to a SCSI busn nTest device-Test device-specifierspecifier Execute the specified devices Execute the specified devices selftestselftest methordmethord Ex:test net test the network connection Ex:test net test the network connectionn nWatch-clockWatch-clock Test a clock functionTest a clock functionn nWatch-netWatch-net Mo Monitor a network connectionnitor a network connectionn nNot all of these tests are available in all Not all of these tests are available in all OpenBootOpenBoot implementation.implementation.显示和修改参数设置n nprinetenvprinetenv Display current variables and current default valuesDisplay current variables and current default valuesn nprinetenvprinetenv variablevariable shows the current value of the named shows the current value of the named valiablevaliablen nsetenvsetenv variable variable valusevaluse set set variablevariable to the given decimal or text to the given decimal or text valuevalue(changes are permanent,(changes are permanent,but often take effect only after a reset)but often take effect only after a reset)显示和修改参数设置n nSet-default Set-default variablevariable reset the value of reset the value of variablevariable of the factory default of the factory defaultn nSet-defaultsSet-defaults reset variable values to the factory defaultreset variable values to the factory defaultn nPasswdPasswd set security-passwordset security-passwordn n操作系统命令操作系统命令#eepromeeprom variable=value variable=value#eepromeeprom“variable=value”“variable=value”Setting security valiablesn nsecurity-modesecurity-mode full all commands except for go require the full all commands except for go require the passwdpasswd command all commands except for boot and go require the command all commands except for boot and go require the passwdpasswd none no password require(default)none no password require(default)n nsecurity-password security-password n nsecurity-#security-#badloginsbadlogins 保存错误输入口令的次数保存错误输入口令的次数Using nvramrcn nIts contents are called the scriptIts contents are called the scriptn nStore user-defined commands executed during start-upStore user-defined commands executed during start-up device driver to save start-up variables;device driver to save start-up variables;define installation-specific device configuration and device aliases define installation-specific device configuration and device aliases n nCommands are stored in ASCII,just as the user would Commands are stored in ASCII,just as the user would type them at the consoletype them at the console相关参数和命令：相关参数和命令：use-use-nvramrcnvramrc?nveditnvedit nvstorenvstore nvquitnvquit nvrunnvrun 等等Using nvramrcExampleExampleok ok nveditnvedit0:hello (-)0:hello (-)1:.“Hello,world.”1:.“Hello,world.”crcr2:;2:;3:C3:Cok ok nvstorenvstoreok ok setenvsetenv use-use-nvramrcnvramrc?True?Trueok reset-allok reset-allok hellook helloHello,world.Hello,world.okokEmergency Proceduresn nStopStop 跳过跳过POSTPOST（只适用于设成诊断模式时）。（只适用于设成诊断模式时）。This command does not depend This command does not depend on the security-mode.on the security-mode.n nStop-AStop-A 退回到监控状态的缺省提示符退回到监控状态的缺省提示符okokn nStop-DStop-D 进入诊断模式（进入诊断模式（set set diagdiag-switch?to true)-switch?to true)n nStop-FStop-F 在监控在监控probeprobe设备之前进入设备之前进入OpenBootOpenBoot monitor.(useful if hardware is broken)monitor.(useful if hardware is broken)n nStop-NStop-N 把把NVRAMNVRAM的内容设为缺省值的内容设为缺省值 建立TIP连接n nConnect the Sun workstation TTYB serial port to your SPARC system Connect the Sun workstation TTYB serial port to your SPARC system TTYA serial port using a serial connection cable.TTYA serial port using a serial connection cable.n nAt the Sun workstation,edit the following lines to the At the Sun workstation,edit the following lines to the/etc/remote/etc/remote file file hardwire:hardwire:dvdv=/dev/term/b:br#9600:el=/dev/term/b:br#9600:el=CSQUD:ieCSQUD:ie=%$:=%$:oeoe=D:=D:n nIn the Shell Tool window on the Sun workstation,type:In the Shell Tool window on the Sun workstation,type:hostname%hostname%tip hardwiretip hardwire connected connectedn n#in the TIP window is#in the TIP window is enquivalentenquivalent to pressing to pressing Stop-AStop-A系统故障分析和排除监视系统资源n nCPU CPU vmstatvmstat,mpstatmpstatn nMemory Memory vmstatvmstatn nDisk Disk iostatiostatn nNetwork Network netstatnetstatn nOther command Other command sarsar,nfsstatnfsstat,swap,swap,prtconfprtconf,prtdiagprtdiag,pkginfopkginfo,showrev(patchaddshowrev(patchadd)用mpstat监视CPUn nmpstatmpstat 以表格形式报告每一个以表格形式报告每一个CPUCPU的统计数据的统计数据 example#example#mpstatmpstat 30 30 CPU CPU minfminf mjfmjf xcalxcal intrintr ithrithr cswcsw icswicsw migrmigr smtxsmtx srwsrw sysclsyscl usrusr sys wt sys wt idlidl 0 5 0 0 414 314 91 7 0 0 0 202 0 2 0 97 0 5 0 0 414 314 91 7 0 0 0 202 0 2 0 97 0 5 0 0 441 341 147 8 0 0 0 299 0 2 0 97 0 5 0 0 441 341 147 8 0 0 0 299 0 2 0 97 0 1 0 0 433 333 124 8 0 0 0 264 0 3 0 97 0 1 0 0 433 333 124 8 0 0 0 264 0 3 0 97用mpstat监视CPU主要输出参数说明：主要输出参数说明：n ncpucpu:cpucpu编号编号n nsmtxsmtx:锁没有在第一次请求时获得锁没有在第一次请求时获得n nusrusr:用户进程占用用户进程占用CPUCPU的比例的比例n nsyssys：系统进程占用：系统进程占用CPUCPU的比例的比例n nwt:wt:等待等待I/OI/O操作完成的空闲时间操作完成的空闲时间n nid:CPUid:CPU空闲的比例空闲的比例用vmstat查看CPU和内存状态n nvmstatvmstat 报告虚拟内存、磁盘、陷阱和报告虚拟内存、磁盘、陷阱和CPUCPU活动的统计数活动的统计数example:#example:#vmstatvmstat 30 30 procsprocs memory page disk faults memory page disk faults cpucpu r b w swap free re mf pi r b w swap free re mf pi popo fr fr de de sr sr s0 s6 s7-in s0 s6 s7-in sysy cscs us us sysy id id 0 0 0 1344368 296648 1 5 1 0 0 0 0 0 0 1 0 314 202 91 0 2 97 0 0 0 1344368 296648 1 5 1 0 0 0 0 0 0 1 0 314 202 91 0 2 97 0 0 0 1319752 268632 24 90 0 0 0 0 0 1 0 2 0 349 456 155 3 3 94 0 0 0 1319752 268632 24 90 0 0 0 0 0 1 0 2 0 349 456 155 3 3 94 0 0 0 1324032 269336 1 7 0 0 0 0 0 1 0 3 0 353 303 144 0 3 97 0 0 0 1324032 269336 1 7 0 0 0 0 0 1 0 3 0 353 303 144 0 3 97用vmstat查看cpu和内存状态主要输出参数说明：主要输出参数说明：n nR:R:运行队列中进程的个数（已经准备好数据等待运行的进程）。数值运行队列中进程的个数（已经准备好数据等待运行的进程）。数值大表示大表示CPUCPU忙。忙。n nSwap:Swap:当前可用的交换区空间，单位当前可用的交换区空间，单位KbytesKbytesn nSrSr:页扫描的次数。数值大表示物理内存不够页扫描的次数。数值大表示物理内存不够n nUs:Us:用户进程占用用户进程占用CPUCPU的比例的比例n nSySy:系统进程占用系统进程占用CPUCPU的比例的比例n nId:CPUId:CPU空闲的比例空闲的比例用iostat查看I/O资源n niostatiostat 反复报告终端、磁盘、磁带机的反复报告终端、磁盘、磁带机的I/OI/O活动和活动和CPUCPU的利用率。的利用率。使用使用iostatiostat查看各控制器和磁盘的负载。如果磁盘负载不均查看各控制器和磁盘的负载。如果磁盘负载不均衡，考虑移走一部分消耗衡，考虑移走一部分消耗I/OI/O多的行为（例如：虚拟内存）多的行为（例如：虚拟内存）到另外的磁盘或控制器上，或增加一些磁盘、控制器等。到另外的磁盘或控制器上，或增加一些磁盘、控制器等。用iostat查看I/O资源example:#example:#iostatiostat 30 30 extended devices statistics extended devices statistics ttytty cpucpu device device r/sr/s w/sw/s kr/skr/s kw/skw/s wait wait actvactv svc_tsvc_t%w%b tin tout us%w%b tin tout us sysy wt id wt id sd0 0.4 0.3 10.4 8.0 0.0 sd0 0.4 0.3 10.4 8.0 0.0 0.00.0 36.9 0 1 0 10 0 0 1 99 36.9 0 1 0 10 0 0 1 99 sd1 0.0 sd1 0.0 0.00.0 0.3 0.4 0.0 0.3 0.4 0.0 0.00.0 35.0 0 0 35.0 0 0 sd6 0.0 sd6 0.0 0.00.0 0.00.0 0.00.0 0.00.0 0.00.0 0.00.0 0 0 0 0 nfs1 0.0 nfs1 0.0 0.00.0 0.00.0 0.00.0 0.00.0 0.00.0 0.00.0 0 0 0 0 nfs2 0.0 nfs2 0.0 0.00.0 0.00.0 0.1 0.0 0.1 0.0 0.00.0 35.6 0 0 35.6 0 0用iostat查看I/O资源主要参数说明：主要参数说明：n nsdsd为硬盘，为硬盘，st st为磁带机，后面的编号是为磁带机，后面的编号是SCSI IDSCSI IDn nservserv:平均服务时间，单位平均服务时间，单位msms。数值大表示数据存储分散，需要整理磁。数值大表示数据存储分散，需要整理磁盘。盘。n n%b:%b:硬盘忙的时间比例硬盘忙的时间比例n nWait:Wait:硬盘等待的时间（等待硬盘等待的时间（等待SCSISCSI等接口总线空闲）等接口总线空闲）网络资源n nnetstatnetstat 根据选项不同，以各种形式显示与网络有关的各种数据结根据选项不同，以各种形式显示与网络有关的各种数据结构。用构。用netstatnetstat I I 显示网络接口的统计信息。如果输入输显示网络接口的统计信息。如果输入输出错误比较多，可能是由于网络拥塞或网口问题引起的。出错误比较多，可能是由于网络拥塞或网口问题引起的。网络资源example:#example:#netstatnetstat 30 30 input hme2 output input (Total)output input hme2 output input (Total)outputpackets errs packets errs packets errs packets errs collscolls packets errs packets errs packets errs packets errs collscolls 895129 0 1069518 1 5026 3890808 2 2506103 1 5026 895129 0 1069518 1 5026 3890808 2 2506103 1 5026 46 0 33 0 0 482 0 413 0 0 46 0 33 0 0 482 0 413 0 0 80 0 77 0 0 529 0 476 0 0 80 0 77 0 0 529 0 476 0 0 主要输出参数说明：主要输出参数说明：packets:packets:通过的包的数量通过的包的数量 errs:errs:错误的包的数量错误的包的数量 collscolls:网络碰撞的数量网络碰撞的数量进程资源n n系统中最多允许系统中最多允许3000030000个进程运行个进程运行n nZombie Zombie 进程不会造成性能问题进程不会造成性能问题n npsps 1 1、显示活动进程的信息、显示活动进程的信息 2 2、%/%/usr/bin/psusr/bin/ps eoeo pidpid,pcpupcpu,argsargs|sort+1n|sort+1n 按消耗按消耗CPUCPU由多到少排列各进程由多到少排列各进程 3 3、%/%/usr/ucb/psusr/ucb/ps aux|more aux|more 由大到小排列，显示各进程消耗由大到小排列，显示各进程消耗CPUCPU和内存的情况和内存的情况进程资源(cont.)%/%/usr/ucb/psusr/ucb/ps aux|head-5 aux|head-5USER PID%CPU%MEM SZ RSS TT S START TIME COMMANDUSER PID%CPU%MEM SZ RSS TT S START TIME COMMANDadrcadrc 333 1.0 8.2 8372 51290 console S 09:28:38 0:29 /333 1.0 8.2 8372 51290 console S 09:28:38 0:29 /usr/bin/vmstatusr/bin/vmstatroot 483 0.4 1.4 1016 872 pts/1 O 09:56:36 0:00 /root 483 0.4 1.4 1016 872 pts/1 O 09:56:36 0:00 /usr/ucb/psusr/ucb/ps-auxauxadrcadrc 433 0.3 15.8 13295 9832?S 09:31:47 0:26/433 0.3 15.8 13295 9832?S 09:31:47 0:26/usrusr/bin/find/bin/findroot 240 0.3 5.3 3688 3260?S 09:27:32 0:07/root 240 0.3 5.3 3688 3260?S 09:27:32 0:07/usr/sbin/nscdusr/sbin/nscdadrcadrc 367 0.2 4.2 3472 2620?S 09:28:56 0:00/367 0.2 4.2 3472 2620?S 09:28:56 0:00/usr/lib/lpschedusr/lib/lpsched主要输出参数说明：主要输出参数说明：%CPU%CPU：进程近来的：进程近来的CPUCPU利用率的平均值利用率的平均值%MEM%MEM：进程占用内存的比例：进程占用内存的比例 SZSZ：进程地址空间的大小，指示了该进程需要的：进程地址空间的大小，指示了该进程需要的swapswap空间的大小空间的大小 其他命令或工具n nsarsar 提供一些通用的系统统计数据。提供一些通用的系统统计数据。SarSar通常运行在批处理模式而不是被通常运行在批处理模式而不是被solarissolaris维护命令使用的交互式模式。它提供很多关于系统资源利用方维护命令使用的交互式模式。它提供很多关于系统资源利用方面的相同的信息。面的相同的信息。n nnfsstatnfsstat 显示显示NFSNFS和和RPCRPC与核心接口的统计信息与核心接口的统计信息n nprtconfprtconf 显示系统配置信息。包括物理内存的大小。显示系统配置信息。包括物理内存的大小。其他命令或工具n nprtdiagprtdiag 显示系统配置和诊断信息显示系统配置和诊断信息 用于检测硬件错误或故障用于检测硬件错误或故障n nswap lswap l 显示所有显示所有swapswap区的状态。如果怀疑虚拟内存缺乏时使用此命令区的状态。如果怀疑虚拟内存缺乏时使用此命令n npkginfopkginfo l l pkg_namepkg_name或或pkginfopkginfo d path l d path l pkg_namepkg_name 以长格式显示软件包的信息，包括安装时间，占用空间大小，共享路以长格式显示软件包的信息，包括安装时间，占用空间大小，共享路径，版本号等。径，版本号等。其他命令工具n nShowrevShowrev p p 或或 patchaddpatchadd p p 显示系统中安装的所有显示系统中安装的所有patchpatch及版本及版本n n/usrusr/proc/bin/proc/bin目录下的所有命令都可从目录下的所有命令都可从/proc/proc目录下提取目录下提取关于进程的信息关于进程的信息 egeg:ptreeptree 按父子关系显示系统中的进程按父子关系显示系统中的进程 pfilespfiles PID PID 显示进程调用的文件信息显示进程调用的文件信息从solaris日志和文件中查问题n n/etc/system/etc/system 系统核心配置文件。修改如果怀疑性能问题是由于修改了该文件而导系统核心配置文件。修改如果怀疑性能问题是由于修改了该文件而导 致，查看一下其中的参数。致，查看一下其中的参数。n n/var/adm/messagesvar/adm/messages syslogsyslog进程在该文件中做日志。在其中查看含有进程在该文件中做日志。在其中查看含有WARNING,error,reboots,WARNING,error,reboots,panicspanics等字样的行。因为这类报错可能表示出一些潜在的影响系统性能的等字样的行。因为这类报错可能表示出一些潜在的影响系统性能的软硬件问题。软硬件问题。n n/etc/release/etc/release 包含操作系统版本信息包含操作系统版本信息与故障检测有关的命令dmesg 分析最近的日志信息devfsadm 配置/device目录和设备树的信息，以及创建/dev/dsk和 /dev/rdsk的符号链接df k 显示磁盘使用情况，包括剩余空间的检测eeprom 分析和改变PROM设置file 查看文件类型find 在系统中查特定的文件fstyp-v file-system 显示详细的文件系统参数：文件系统状态、参 数，每个柱面组的参数，已用I 节点号，空闲节点号。与故障检测有关的命令(cont.)grepgrep 分析文件内容，查找特定字符串分析文件内容，查找特定字符串last last 根据根据/var/adm/utmpxvar/adm/utmpx和和/var/adm/wtmpxvar/adm/wtmpx文件的记录，显示系统文件的记录，显示系统login login 和和reboot reboot 事件的历史事件的历史nddndd 显示和设置驱动器的参数显示和设置驱动器的参数egeg:#:#nddndd get/dev/get/dev/hmehme?查看和网卡有关的参数查看和网卡有关的参数#nddndd get/dev/get/dev/hmehme adv_100fdx_cap adv_100fdx_cap 查看查看100M100M全双工的设置全双工的设置#nddndd set/dev/set/dev/hmehme adv_100fdx_cap 0 adv_100fdx_cap 0 关掉关掉100M100M全双工的设置全双工的设置#nddndd get/dev/get/dev/ipip?查看和查看和IPIP包处理有关的参数包处理有关的参数#nddndd set/dev/set/dev/ipip ip_forwardingip_forwarding 1 1 关掉关掉IP