LINUX系统故障诊断与排除14400.docx

LINUX系统故障诊断与排除 htttp:/bookk.csddn.neet/ 22007-4-177 14:30:000 图书导读 ·3.1top·3.2sar·3.4iosttat·3.5freee本章解释如如何使用适适用于Liinux的的大量性能能工具及每每个工具中中信息的意意义。即使使已经使用用top或或者sarr，也可能能从本章学学到相关知知识。应该养成使使用这些工工具的习惯惯。当然要要知道如何何诊断性能能问题，但但也应该定定期寻找可可能指示问问题的关键键指标的变变化。可以以使用这些些工具衡量量新应用程程序对性能能的影响。就就如同查看看车内的温温度表一样样，要注意意Linuux系统的的性能指标标。本章介介绍的工具具有：·   ttop·   ssar·   vvmstaat·   iiostaat·   ffree可以作为普普通用户运运行这些工工具。它们们都利用/procc文件系统统得到它们们的数据。这这些性能工工具和几个个rpm一一起提供。pprocpps rppm提供ttop、ffree和和vmsttat。ssyssttat rrpm提供供sar和和iosttat。top命令令是一个优优秀的交互互式实用工工具，用于于监视性能能。它提供供关于整体体Linuux性能的的几个概要要行，但是是报告进程程信息才是是top真真正的长处处。可以广广泛自定义义进程显示示，也可以以添加字段段，按照不不同指标排排序进程列列表，甚至至从topp注销进程程。sar实用用工具提供供监视每一一事件的能能力。它至至少有155个单独的的报告类别别，包括CCPU、磁磁盘、网络络、进程、交交换区等等等。vmstaat命令报报告关于内内存和交换换区使用的的广泛信息息。它也报报告CPUU和一些II/O信息息。iosstat报报告存储输输入/输出出（I/OO）统计资资料。这些命令覆覆盖许多相相同的地方方。本节讨讨论如何使使用这些命命令并解释释每个命令令产生的报报告，并不不讨论所有有15种ssar语法法，但是介介绍了其中中最常见的的。3.1  toptop命令令是最流行行的性能工工具之一。大大多数系统统管理员运运行topp查看Liinux和和UNIXX系统的运运行情况。ttop实用用工具提供供一种监视视进程和LLinuxx整体性能能的理想方方法。将LLinuxx进程称作作任务更准准确，但是是在本章中中我们还是是将它们称称作进程，因因为这个工工具也这样样称呼它们们。1普通用户户和rooot用户都都可以运行行top。图图3-1显显示一个空空闲系统的的典型toop输出。图3-1  topp输出top显示示有两个部部分。大约约前三分之之一显示关关于Linnux的整整体信息，其其余行为各各个进程信信息。如果果扩展窗口口则显示更更多进程而而填充整个个屏幕。更全面的LLinuxx信息可以以通过使用用top之之外的几个个命令来得得到。不过过，通过一一个命令在在一个屏幕幕上显示所所有信息比比较理想。第第一行显示示最近1分分钟、5分分钟和155分钟的负负载平均值值。负载平平均值表示示在CPUU上运行或或者等待运运行多少进进程。upptimee命令也可可以用来显显示负载平平均值。接接下来是进进程信息，之之后是CPPU、内存存和交换区区。内存和和交换区信信息与frree命令令输出类似似。在我们们确定内存存和CPUU使用之后后的下一个个问题是哪哪些进程正正在使用它它。大部分进程程信息也可可以通过pps命令得得到，但是是top提提供一种更更易于阅读读的格式。最最有用的是是用于提供供帮助的hh，它列出出top的的其他交互互式命令。3.1.11  添加加和移除字字段字段可以从从显示中添添加或移除除。进程输输出可以按按照CPUU、内存或或者其他指指标排序。这这是一个查查看什么进进程抢夺内内存的理想想方法。各各个Linnux发布布版本的ttop语法法和交互式式选项不同同，帮助命命令可以快快速列出什什么命令可可用。有许许多交互式式选项可用用，用户应应该花费一一些时间来来试验它们们。图3-2显显示Redd Hatt Entterprrise Linuux ESS relleasee 3的帮帮助屏幕。图3-2   topp的帮助屏屏幕f命令用来来从topp输出中添添加或者移移除字段。图图3-3是是一个Reed Haat Ennterpprisee Linnux EES reeleasse 3的的帮助屏幕幕，显示什什么字段可可以添加。图3-3   topp添加/移移除字段的的屏幕图3-4显显示一个SSUSE Linuux 9.0 toop的帮助助屏幕，可可见它们提提供的命令令差别非常常大。图3-4   SUSSE toop的帮助助屏幕3.1.22  解释释输出让我们研究究top信信息的意义义，以toop的如下下输出为例例：top输出出的第一行行显示负载载平均值信信息：这个输出与与uptiime的输输出类似。从从中可看到到Linuux已经运运行时间、当当前时间和和用户数量量，以及11分钟、55分钟和115分钟负负载平均值值。接下来来显示进程程概要：我们看到总总共有733个进程，其其中72个个进程正在在休眠，一一个进程正正在运行，没没有僵化进进程或者被被停止的进进程。当一一个进程退退出并且它它的父进程程没有通过过waitt（2）或或者waiitpidd（2）函函数等待它它时，它就就会成为僵僵化进程。这这通常是由由于父进程程在它的子子进程之前前退出造成成的。不同同于进程表表中的项，僵僵化进程不不使用资源源。停止的的进程是已已经向它发发送STOOP信号的的进程。更更多信息，请请参见siignall（7）手手册页。接下来是CCPU信息息：CPU行描描述CPUU如何使用用它们的CCPU周期期。topp命令报告告CPU在在用户或者者内核模式式、运行良良好进程以以及处在空空闲状态时时所花费时时间的百分分比。ioowaitt列显示没没有进程在在CPU上上运行时，处处理器等待待I/O完完成的时间间的百分比比。irqq和sofftirqq列表示处处理硬件和和软件中断断所花费的的时间。早早于2.66版本的LLinuxx内核不报报告irqq、sofftirqq和iowwait。接下来是内内存信息：前三个指标标提供内存存使用的概概要，列出出了总的可可用内存、已已使用内存存和自由内内存，它们们都是确定定对于Liinux内内存是否足足够所需信信息。接下来五个个指标标识识已使用的的内存如何何分配。sshrd字字段显示共共享的内存存使用，bbuff是是缓冲使用用的内存。分分配给内核核或者用户户进程的内内存可以处处在三种不不同状态：活动（aactivve）、不不活动脏（iinacttive dirtty）和不不活动干净净（inaactivve cllean）。活活动在toop中用aaotv表表示，表示示该内存最最近被使用用。不活动动脏在toop中用iin_d表表示，表示示该内存最最近没有使使用，可以以回收。要要回收内存存，必须将将它的内容容写到磁盘盘，这个进进程命名为为“清洗”，也也可称作内内存的第四四种临时状状态。一旦旦被清洗，不不活动脏内内存成为不不活动干净净内存，在在top中中用in_c表示。由由Normm Murrray和和Neill Horrman合合著的Unndersstandding Virttual Memoory iin Reed Haat Ennterpprisee Linnux 33是一本优优秀的参考考书，网址址为htttp: rhell3_vmm.pdff。接下来是交交换区信息息：av字段是是可用的交交换区总量量，之后是是已用数量量和自由数数量，最后后是内核用用于缓存的的内存数量量。top显示示的其余部部分是进程程信息：top显示示尽可能多多的能适合合屏幕的进进程。toop（1）手手册页中提提供了字段段说明的描描述。表33-1提供供了这些字字段的概要要。表3-1                                                                    topp进程字段段字    段说    明PID进程id编编号USER进程所有者者的用户名名PRI进程的优先先级SIZE进程大小，包包括它的代代码、栈和和数据区域域，以千字字节为单位位RSS进程使用的的内存总量量，以千字字节为单位位SHAREE进程使用的的共享内存存数量STAT进程的状态态，通常RR表示运行行，S表示示休眠%CPU自从最近的的屏幕更新新以来，这这个进程使使用的CPPU百分比比%MEM这个进程使使用的内存存百分比TIME自从进程启启动以来，这这个进程使使用的CPPU时间量量CPU最近执行进进程的CPPUCOMMAAND正在执行的的命令3.1.33  保存存自定义一个非常好好的topp功能是保保存当前配配置。可以以使用交互互式命令ss任意更改改显示，然然后按w保保存该视图图。top在用用户的主目目录中写入入一个.ttoprcc文件，用用来保存配配置，以便便下一次这这个用户启启动topp时使用相相同的显示示选项。top也寻寻找默认配配置文件/etc/toprrc。这是是一个全局局配置文件件，当任何何用户运行行实用工具具时，toop将读取取该文件。这这个文件可可以使toop以安全全模式运行行，也可以以设置刷新新延迟。安安全模式阻阻止非rooot用户户注销或者者更改进程程的正常值值，也阻止止非rooot用户更更改topp的刷新值值。Redd Hatt Entterprrise Linuux ESS relleasee 3的一一个/ettc/tooprc示示例文件如如下所示：s表示安全全模式，33定义三秒秒钟刷新间间隔。其他他发布版本本可能有不不同的/eetc/ttoprcc格式。注注销进程是是一个非常常实用的功功能。如果果用户有一一个失控的的进程，通通过topp命令可以以轻易找到到并注销它它，具体步步骤为：运运行topp，通过uu命令显示示用户的所所有进程，然然后使用kk注销它。ttop不只只是一个优优秀的性能能监视工具具，它也可可以用来通通过注销那那些产生问问题的进程程从而改进进性能。3.1.44  批处处理模式top也可可以以批处处理模式运运行。尝试试运行以下下命令：-n 1告告诉topp只显示一一次迭代，-b选项表表示以适合合写入文件件的文本形形式输出或或者定向到到另一个程程序（例如如lesss）。类似似以下两行行脚本的命命令可以顺顺利完成ccron工工作：可以将它添添加到crrontaab，并每每隔15分分钟收集一一次输出。通过批处理理可以轻松松完成所有有任务，无无需用户的的干涉。所所有进程都都被列出，输输出并不是是每5秒钟钟刷新一次次。如果用用户的主目目录中存在在一个.ttoprcc配置文件件，那么它它用来格式式化显示。以以下是在一一个多CPPU Liinux服服务器上运运行topp批处理模模式的输出出。注意，其其中没有显显示topp输出的所所有2588个进程。现在读者可可能明白了了为什么ttop会如如此流行。ttop的交交互式本质质和容易自自定义输出出的能力使使它成为诊诊断问题的的优秀工具具。3.2  sarsar是一一个优秀的的一般性能能监视工具具，它可以以输出Liinux所所完成的几几乎所有工工作的数据据。sarr命令在ssysettat rrpm中提提供。示例例中使用ssyssttat版本本5.0.5，这是是稳定的最最新版本之之一。关于于版本和下下载信息，请请访问syysstaat主页hhttp:/peerso.wanaadoo.fr/ssebasstienn.goddard/。sar可以以显示CPPU、运行行队列、磁磁盘I/OO、分页（交交换区）、内内存、CPPU中断、网网络等性能能数据。最最重要的ssar功能能是创建数数据文件。每每一个Liinux系系统都应该该通过crron工作作收集saar数据。该该sar数数据文件为为系统管理理员提供历历史性能信信息。这个个功能非常常重要，它它将sarr和其他性性能工具区区分开。如如果一个夜夜晚批处理理工作正常常运行两次次，直到下下一个早上上才会发现现这种情况况（除非被被叫醒）。我我们需要具具备研究112小时以以前的性能能数据的能能力。saar数据收收集器提供供了这种能能力。有许许多报告语语法，我们们首先讨论论数据收集集。3.2.11  saar数据收收集器sar数据据收集通过过/usrr/libb/sa中中的一个二二进制可执执行文件和和两个脚本本来完成。ssar数据据收集器是是一个位于于/usrr/libb/sa/sadcc的二进制制可执行文文件。saadc的工工作是写入入数据收集集文件/vvar/11og/ssa/。可可以为saadc提供供几个选项项。常见语语法是：间隔是取样样间的秒数数，iteeratiions是是要取得的的样本数量量，fille naame定义义输出文件件。简单的的sadcc语法是/usr/lib/sa/ssadc 360 5/tmmp/saadc.oout。这这个命令在在5分钟间间隔取得55个样本并并将它们保保存在/ttmp/ssadc.out。我我们应该定定期收集样样本，因此此需要一个个由croon运行的的脚本。应应该把样本本放在一个个有意义的的地方，如如在前一节节中使用ttop脚本本时那样。ssyssttat rrpm提供供/usrr/libb/sa/sa1脚脚本来完成成所有这些些事情。sa1（88）手册页页比sa11脚本本身身要长得多多。/ussr/liib/saa/sa11是一个非非常简单的的脚本，使使用语法ssadc -F -L 1 1 /vvar/llog/ssa/saa#来运运行saddc，其中中#是某某月的日期期。较老版版本的saa1使用ddate+.%Y_%m_%d的输出出作为文件件后缀。如如果需要，可可以使用-F选项使使sadcc强制创建建输出文件件。-L在在写入输出出文件之前前锁定它，以以防止两个个sadcc进程同时时运行时损损坏该文件件。较老版版本的saadc没有有-L选项项，因此ssa1脚本本执行手工工锁定。ssa1脚本本的选项只只是样本之之间的间隔隔和取样迭迭代的次量量。croon文件（/etc/cronn.d/ssyssttat）和和syssstat一一起提供，在在各syssstatt版本之间间它有所不不同。以下下是5.00.5版本本的syssstatt的条目：可见，在ssyssttat rrpm安装装之后，ssadc开开始取得样样本。syysstaat主页是是httpp:/ppersoo.wannadooo.fr/ sebbastiien.ggodarrd/2。文档链链接提供以以下类似22006年年1月144日的crrontaab方案：Sebasstienn Goddard的的网站的ccronttab示例例建议周一一至周五从从早晨8点点到下午66点每100分钟取一一次样本，其其他时间每每小时取得得一个样本本（注意，ccronttab注释释为下午77点，但实实际上是118:000，即下午午6点）。如如果/vaar中的磁磁盘空间足足够，可以以每天都每每小时的每每10分钟钟取样一次次。如果周周末备份较较慢，每小小时一次ssadc取取样可能帮帮助不大。现在让我们们研究更流流行的报告告语法。3.2.22  CPPU统计数数据sar -u输出显显示CPUU信息。-u选项是是sar的的默认选项项。该输出出以百分比比显示CPPU的使用用情况。表表3-2解解释该输出出。表3-2                                                                   sarr -u字字段字     段说     明CPUCPU编号号%userr在用户模式式中运行进进程所花的的时间%nicee运行正常进进程所花的的时间%systtem在内核模式式（系统）中中运行进程程所花的时时间%iowaait没有进程在在该CPUU上执行时时，处理器器等待I/O完成的的时间%idlee没有进程在在该CPUU上执行的的时间这些看起来来应该比较较熟悉，它它和topp报告中的的CPU信信息内容相相同。以下下显示输出出格式：其中的5 10导致致sar以以5秒钟间间隔取得110个样本本。任何ssar报告告的第一列列都是时间间戳。我们本来可可以研究使使用-f选选项通过ssadc创创建的文件件。这个ssar语法法显示saar -ff/varr/logg/ saa/sa221的输出出：在多CPUU Linnux系统统中，saar命令也也可以为每每个CPUU分解该信信息，如以以下sarr -u -P AALL 55 5输出出所示：3.2.33  磁盘盘I/O统统计数据sar是一一个研究磁磁盘I/OO的优秀工工具。以下下是sarr磁盘I/O输出的的一个示例例。第一行-dd显示磁盘盘I/O信信息，5  2选项是是间隔和迭迭代，就像像sar数数据收集器器那样。表表3-3列列出了字段段和说明。表3-3                                                                     saar -dd字段字    段说    明DEV磁盘设备tps每秒传输数数（或者每每秒IO数数）rd_seec/s每秒5122字节读取取数wr_seec/s每秒5122字节写入入数512只是是一个测量量单位，不不表示所有有磁盘I/O均使用用512字字节块。DDEV列是是dev#-#格式式的磁盘设设备，其中中第一个#是设备主主编号，第第二个#是是次编号或或者连续编编号。对于于大于2.5的内核核，sarr使用次编编号。例如如，在saar -dd输出中看看到的deev3-00和devv3-1。它它们对应于于/devv/hdaa和/deev/hddal。请请看/deev中的以以下各项：/dev/hda有有主编号33和次编号号0。hdda1有主主编号3和和次编号11。3.2.44  网络络统计数据据sar提供供四种不同同的语法选选项来显示示网络信息息。-n选选项使用四四个不同的的开关：DDEV、EEDEV、SSOCK和和FULLL。DEVV显示网络络接口信息息，EDEEV显示关关于网络错错误的统计计数据，SSOCK显显示套接字字信息，FFULL显显示所有三三个开关。它它们可以单单独或者一一起使用。表表3-4显显示通过-n DEEV选项报报告的字段段。表3-4                                                              sarr -n DEV字字段字    段说   明明IFACEELAN接口口rxpckk/s每秒钟接收收的数据包包txpckk/s每秒钟发送送的数据包包rxbytt/s每秒钟接收收的字节数数txbytt/s每秒钟发送送的字节数数rxcmpp/s每秒钟接收收的压缩数数据包txcmpp/s每秒钟发送送的压缩数数据包rxmcsst/s每秒钟接收收的多播数数据包以下是使用用-n DDEV选项项的sarr输出：关于网络错错误的信息息可以用ssar -n EDDEV显示示。表3-5列出了了显示的字字段。表3-5                                                           ssar -n EDDEV字段段字    段说    明IFACEELAN接口口rxerrr/s每秒钟接收收的坏数据据包txerrr/s每秒钟发送送的坏数据据包coll/s每秒冲突数数rxdroop/s因为缓冲充充满，每秒秒钟丢弃的的已接收数数据包数txdroop/s因为缓冲充充满，每秒秒钟丢弃的的已发送数数据包数txcarrr/s发送数据包包时，每秒秒载波错误误数rxfraam/s每秒接收数数据包的帧帧对齐错误误数rxfiffo/s接收的数据据包每秒FFIFO过过速的错误误数txfiffo/s发送的数据据包每秒FFIFO过过速的错误误数SOCK参参数显示IIPCS套套接字信息息。表3-6列出显显示的字段段及其意义义。表3-6                                                           ssar -n SOOCK字段段字    段说    明totscck使用的套接接字总数量量tcpscck使用的TCCP套接字字数量udpscck使用的UDDP套接字字数量rawscck使用的raaw套接字字数量ip-frrag使用的IPP段数量sar可以以产生许多多其他报告告。我们有有必要仔细细阅读saar（1）手手册页，查查看是否有有自己需要要的其他报报告。3.3  vmsttatvmstaat命令也也是显示LLinuxx性能指标标的方法，它它报告了许许多信息，理理解这些信信息有一定定难度。输出分为66个类别：进程、内内存、交换换区、I/O、系统统和CPUU。与ioostatt类似，第第一个样本本是从最近近重新启动动以来的平平均值。以以下是一个个典型的vvmstaat输出：-m选项使使内存字段段以兆字节节为单位显显示。vmmstatt和许多其其他性能命命令一样使使用取样间间隔和计数数参数。进程（prrocs）信信息有两列列。r列是是可运行进进程的数量量，b列是是阻塞进程程的数量。内存部分有有4个报告告虚拟内存存如何使用用的字段。表表3-7列列出这些字字段及其意意义。表3-7                                                              vmsstat内内存字段字    段说    明Swpd已用的交换换空间数量量free自由RAMM数量buff缓冲使用的的RAM数数量cachee文件系统缓缓存使用的的RAM数数量接下来是交交换（swwap）指指标。交换换只是一个个古老术语语，但是显显然不会消消失。交换换涉及分页页读取或写写入磁盘的的进程所消消耗的所有有内存。它它将显示系系统达到的的性能指标标水平。而而Linuux所做的的是，以小小块方式按按照需要对对磁盘空间间进行分页页操作。因因此，我们们可能应该该停止说交交换到磁盘盘的内存，并并开始说分分页到磁盘盘的内存。对对于任何一一种方法，表表3-8解解释了相关关字段。表3-8                                                                vmmstatt交换字段段字    段说   明明si从磁盘分页页到内存的的数量so从内存分页页到磁盘的的数量在交换之后后是两个II/O字段段。这部分分提供了一一个简略介介绍以帮助助确定Liinux是是否正忙于于完成许多多磁盘I/O。vmmstatt只提供两两个字段，显显示出入磁磁盘的数据据量（参见见表3-99）。表3-9                                                               vmmstatt io字字段字    段说     明bi从磁盘读入入的块bo写入磁盘的的块系统字段提提供Linnux内核核进行进程程管理的繁繁忙程度的的摘要。中中断和上下下文开关参参见表3-10。上上下文开关关指进程移移出CPUU或者移入入CPU。表3-100                                                          vvmstaat系统字字段字     段说     明in系统中断cs进程上下文文开关最后，CPPU状态信信息用总CCPU时间间的百分比比来表示，如如表3-111所示。表3-111                                                          vvmstaat cppu字段字    段说      明us用户模式sy内核模式wa等待I/OOid空闲3.4  iosttatiostaat命令是是另一个研研究磁盘吞吞吐量的工工具。和ssar类似似，iosstat可可以使用间间隔和计数数参数。第第一个间隔隔的输出包包含Linnux总运运行时间的的指标。与与其他性能能命令比较较，这可能能是iosstat最最独特的功功能。例如如，以下是是一个大部部分时间处处于空闲的的系统的输输出。可见见，从启动动以来hdda设备已已经读取大大约9 1158MBB（18  755  572*512/1 0224/1  024）。BBlk列是是512字字节块。不使用选项项，iosstat只只显示覆盖盖启动以来来全部时间间的一组指指标。CPU信息息包含基本本上和toop一样的的字段。iiostaat CPPU输出显显示在用户户模式中执执行、执行行正常进程程、在内核核（系统）模模式中执行行，进程等等待I/OO完成时处处于空闲和和没有等待待进程时处处于空闲的的CPU时时间的百分分比。CPPU行是所所有CPUU的摘要。磁盘信息与与sar -d提供供的信息类类似。输出出包括每秒秒传输数（ttps）、每每秒5122字节块读读取数（BBlk_rread/s）、每每秒5122字节块写写入数（BBlk_wwrtn/s）和5512字节节块读取（BBlk_rread）和和写入（BBlk_wwrtn）的的总数量。iostaat提供几几个用于定定制输出的的开关。最最有用的有有：    -c       只只显示CPPU行    -d       显显示磁盘行行    -k       以以千字节为为单位显示示磁盘输出出    -t        在输出中中包括时间间戳    -x       在在输出中包包括扩展的的磁盘指标标这些选项可可以组合。iiostaat -ttk 5 2的输出出是：3.5  freeefree命命令输出内内存和交换换信息，与与top命命令的作用用非常相似似。不使用用选项，ffree以以千字节为为单位显示示信息：free命命令有少量量选项，推推荐使用-mt。-m开关使使输出以兆兆字节为单单位，-tt开关提供供一个合计计行：