LINUX系统故障诊断与排除2954.docx

《LINUX系统故障诊断与排除2954.docx》由会员分享，可在线阅读，更多相关《LINUX系统故障诊断与排除2954.docx（28页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Evaluation Warning: The document was created with Spire.Doc for .NET.LINUX系统故障诊断与排除 2007-4-17 14:30:00 图书导读 3.1topp3.2sarr3.4iosstatt3.5freee本章解释如如何使用用适用于于Linnux的的大量性性能工具具及每个个工具中中信息的的意义。即即使已经经使用ttop或或者saar，也也可能从从本章学学到相关关知识。应该养成使使用这些些工具的的习惯。当当然要知知道如何何诊断性性能问题题，但也也应该定定期寻找找可能指指示问题题的关键键指标的的变化。可可以使用用这些工工具

2、衡量量新应用用程序对对性能的的影响。就就如同查查看车内内的温度度表一样样，要注注意Liinuxx系统的的性能指指标。本本章介绍绍的工具具有： ttop ssar vvmsttat iiosttat ffreee可以作为普普通用户户运行这这些工具具。它们们都利用用/prroc文文件系统统得到它它们的数数据。这这些性能能工具和和几个rrpm一一起提供供。prrocpps rrpm提提供toop、ffreee和vmmstaat。ssyssstatt rppm提供供sarr和ioostaat。top命令令是一个个优秀的的交互式式实用工工具，用用于监视视性能。它它提供关关于整体体Linnux性性能的几几

3、个概要要行，但但是报告告进程信信息才是是topp真正的的长处。可可以广泛泛自定义义进程显显示，也也可以添添加字段段，按照照不同指指标排序序进程列列表，甚甚至从ttop注注销进程程。sar实用用工具提提供监视视每一事事件的能能力。它它至少有有15个个单独的的报告类类别，包包括CPPU、磁磁盘、网网络、进进程、交交换区等等等。vmstaat命令令报告关关于内存存和交换换区使用用的广泛泛信息。它它也报告告CPUU和一些些I/OO信息。iiosttat报报告存储储输入/输出（II/O）统统计资料料。这些命令覆覆盖许多多相同的的地方。本本节讨论论如何使使用这些些命令并并解释每每个命令令产生的的报告，并并

4、不讨论论所有115种ssar语语法，但但是介绍绍了其中中最常见见的。3.1 topptop命令令是最流流行的性性能工具具之一。大大多数系系统管理理员运行行topp查看LLinuux和UUNIXX系统的的运行情情况。ttop实实用工具具提供一一种监视视进程和和Linnux整整体性能能的理想想方法。将将Linnux进进程称作作任务更更准确，但但是在本本章中我我们还是是将它们们称作进进程，因因为这个个工具也也这样称称呼它们们。1普通用用户和rroott用户都都可以运运行toop。图图3-11显示一一个空闲闲系统的的典型ttop输输出。图3-1 toop输出出top显示示有两个个部分。大大约前三三分之

5、一一显示关关于Liinuxx的整体体信息，其其余行为为各个进进程信息息。如果果扩展窗窗口则显显示更多多进程而而填充整整个屏幕幕。更全面的LLinuux信息息可以通通过使用用topp之外的的几个命命令来得得到。不不过，通通过一个个命令在在一个屏屏幕上显显示所有有信息比比较理想想。第一一行显示示最近11分钟、55分钟和和15分分钟的负负载平均均值。负负载平均均值表示示在CPPU上运运行或者者等待运运行多少少进程。uuptiime命命令也可可以用来来显示负负载平均均值。接接下来是是进程信信息，之之后是CCPU、内内存和交交换区。内内存和交交换区信信息与ffreee命令输输出类似似。在我我们确定定内存

6、和和CPUU使用之之后的下下一个问问题是哪哪些进程程正在使使用它。大部分进程程信息也也可以通通过pss命令得得到，但但是toop提供供一种更更易于阅阅读的格格式。最最有用的的是用于于提供帮帮助的hh，它列列出toop的其其他交互互式命令令。3.1.11 添添加和移移除字段段字段可以从从显示中中添加或或移除。进进程输出出可以按按照CPPU、内内存或者者其他指指标排序序。这是是一个查查看什么么进程抢抢夺内存存的理想想方法。各各个Liinuxx发布版版本的ttop语语法和交交互式选选项不同同，帮助助命令可可以快速速列出什什么命令令可用。有有许多交交互式选选项可用用，用户户应该花花费一些些时间来来试验

7、它它们。图3-2显显示Reed HHat Entterpprisse LLinuux EES rreleeasee 3的的帮助屏屏幕。图3-2 toop的帮帮助屏幕幕f命令用来来从toop输出出中添加加或者移移除字段段。图33-3是是一个RRed Hatt Ennterrpriise Linnux ES relleasse 33的帮助助屏幕，显显示什么么字段可可以添加加。图3-3 toop添加加/移除除字段的的屏幕图3-4显显示一个个SUSSE LLinuux 99.0 topp的帮助助屏幕，可可见它们们提供的的命令差差别非常常大。图3-4 SUUSE topp的帮助助屏幕3.1.22 解解释

8、输出出让我们研究究topp信息的的意义，以以topp的如下下输出为为例：top输出出的第一一行显示示负载平平均值信信息：这个输出与与upttimee的输出出类似。从从中可看看到Liinuxx已经运运行时间间、当前前时间和和用户数数量，以以及1分分钟、55分钟和和15分分钟负载载平均值值。接下下来显示示进程概概要：我们看到总总共有773个进进程，其其中722个进程程正在休休眠，一一个进程程正在运运行，没没有僵化化进程或或者被停停止的进进程。当当一个进进程退出出并且它它的父进进程没有有通过wwaitt（2）或或者waaitppid（22）函数数等待它它时，它它就会成成为僵化化进程。这这通常是是由于

9、父父进程在在它的子子进程之之前退出出造成的的。不同同于进程程表中的的项，僵僵化进程程不使用用资源。停停止的进进程是已已经向它它发送SSTOPP信号的的进程。更更多信息息，请参参见siignaal（77）手册册页。接下来是CCPU信信息：CPU行描描述CPPU如何何使用它它们的CCPU周周期。ttop命命令报告告CPUU在用户户或者内内核模式式、运行行良好进进程以及及处在空空闲状态态时所花花费时间间的百分分比。iiowaait列列显示没没有进程程在CPPU上运运行时，处处理器等等待I/O完成成的时间间的百分分比。iirq和和sofftirrq列表表示处理理硬件和和软件中中断所花花费的时时间。早早

10、于2.6版本本的Liinuxx内核不不报告iirq、ssofttirqq和ioowaiit。接下来是内内存信息息：前三个指标标提供内内存使用用的概要要，列出出了总的的可用内内存、已已使用内内存和自自由内存存，它们们都是确确定对于于Linnux内内存是否否足够所所需信息息。接下来五个个指标标标识已使使用的内内存如何何分配。sshrdd字段显显示共享享的内存存使用，bbufff是缓冲冲使用的的内存。分分配给内内核或者者用户进进程的内内存可以以处在三三种不同同状态：活动（aactiive）、不不活动脏脏（innacttivee diirtyy）和不不活动干干净（iinacctivve ccleaan

11、）。活活动在ttop中中用aootv表表示，表表示该内内存最近近被使用用。不活活动脏在在topp中用iin_dd表示，表表示该内内存最近近没有使使用，可可以回收收。要回回收内存存，必须须将它的的内容写写到磁盘盘，这个个进程命命名为“清清洗”，也也可称作作内存的的第四种种临时状状态。一一旦被清清洗，不不活动脏脏内存成成为不活活动干净净内存，在在topp中用iin_cc表示。由由Norrm MMurrray和和Neiil HHormman合合著的UUndeersttanddingg Viirtuual Memmoryy inn Reed HHat Entterpprisse LLinuux 33是

12、一本本优秀的的参考书书，网址址为htttp:peooplee.reedhaat.ccom/nhoormaan/ppapeers/ rhhel33_vmm.pddf。接下来是交交换区信信息：av字段是是可用的的交换区区总量，之之后是已已用数量量和自由由数量，最最后是内内核用于于缓存的的内存数数量。top显示示的其余余部分是是进程信信息：top显示示尽可能能多的能能适合屏屏幕的进进程。ttop（11）手册册页中提提供了字字段说明明的描述述。表33-1提提供了这这些字段段的概要要。表3-1 ttop进进程字段段字 段说 明PID进程id编编号USER进程所有者者的用户户名PRI进程的优先先级SIZE

13、进程大小，包包括它的的代码、栈栈和数据据区域，以以千字节节为单位位RSS进程使用的的内存总总量，以以千字节节为单位位SHAREE进程使用的的共享内内存数量量STAT进程的状态态，通常常R表示示运行，SS表示休休眠%CPU自从最近的的屏幕更更新以来来，这个个进程使使用的CCPU百百分比%MEM这个进程使使用的内内存百分分比TIME自从进程启启动以来来，这个个进程使使用的CCPU时时间量CPU最近执行进进程的CCPUCOMMAAND正在执行的的命令3.1.33 保保存自定定义一个非常好好的toop功能能是保存存当前配配置。可可以使用用交互式式命令ss任意更更改显示示，然后后按w保保存该视视图。to

14、p在用用户的主主目录中中写入一一个.ttoprrc文件件，用来来保存配配置，以以便下一一次这个个用户启启动toop时使使用相同同的显示示选项。top也寻寻找默认认配置文文件/eetc/topprc。这这是一个个全局配配置文件件，当任任何用户户运行实实用工具具时，ttop将将读取该该文件。这这个文件件可以使使topp以安全全模式运运行，也也可以设设置刷新新延迟。安安全模式式阻止非非rooot用户户注销或或者更改改进程的的正常值值，也阻阻止非rroott用户更更改toop的刷刷新值。RRed Hatt Ennterrpriise Linnux ES relleasse 33的一个个/ettc/tt

15、oprrc示例例文件如如下所示示：s表示安全全模式，33定义三三秒钟刷刷新间隔隔。其他他发布版版本可能能有不同同的/eetc/topprc格格式。注注销进程程是一个个非常实实用的功功能。如如果用户户有一个个失控的的进程，通通过toop命令令可以轻轻易找到到并注销销它，具具体步骤骤为：运运行toop，通通过u命命令显示示用户的的所有进进程，然然后使用用k注销销它。ttop不不只是一一个优秀秀的性能能监视工工具，它它也可以以用来通通过注销销那些产产生问题题的进程程从而改改进性能能。3.1.44 批批处理模模式top也可可以以批批处理模模式运行行。尝试试运行以以下命令令：-n 1告告诉toop只显显

16、示一次次迭代，-b选项项表示以以适合写写入文件件的文本本形式输输出或者者定向到到另一个个程序（例例如leess）。类类似以下下两行脚脚本的命命令可以以顺利完完成crron工工作：可以将它添添加到ccronntabb，并每每隔155分钟收收集一次次输出。通过批处理理可以轻轻松完成成所有任任务，无无需用户户的干涉涉。所有有进程都都被列出出，输出出并不是是每5秒秒钟刷新新一次。如如果用户户的主目目录中存存在一个个.tooprcc配置文文件，那那么它用用来格式式化显示示。以下下是在一一个多CCPU Linnux服服务器上上运行ttop批批处理模模式的输输出。注注意，其其中没有有显示ttop输输出的所所

17、有2558个进进程。现在读者可可能明白白了为什什么toop会如如此流行行。toop的交交互式本本质和容容易自定定义输出出的能力力使它成成为诊断断问题的的优秀工工具。3.2 sarrsar是一一个优秀秀的一般般性能监监视工具具，它可可以输出出Linnux所所完成的的几乎所所有工作作的数据据。saar命令令在syysettat rpmm中提供供。示例例中使用用syssstaat版本本5.00.5，这这是稳定定的最新新版本之之一。关关于版本本和下载载信息，请请访问ssyssstatt主页hhttpp:/perrso.wannadooo.ffr/ssebaastiien.goddardd/。sar可以

18、以显示CCPU、运运行队列列、磁盘盘I/OO、分页页（交换换区）、内内存、CCPU中中断、网网络等性性能数据据。最重重要的ssar功功能是创创建数据据文件。每每一个LLinuux系统统都应该该通过ccronn工作收收集saar数据据。该ssar数数据文件件为系统统管理员员提供历历史性能能信息。这这个功能能非常重重要，它它将saar和其其他性能能工具区区分开。如如果一个个夜晚批批处理工工作正常常运行两两次，直直到下一一个早上上才会发发现这种种情况（除除非被叫叫醒）。我我们需要要具备研研究122小时以以前的性性能数据据的能力力。saar数据据收集器器提供了了这种能能力。有有许多报报告语法法，我们们

19、首先讨讨论数据据收集。3.2.11 ssar数数据收集集器sar数据据收集通通过/uusr/libb/saa中的一一个二进进制可执执行文件件和两个个脚本来来完成。ssar数数据收集集器是一一个位于于/ussr/llib/sa/saddc的二二进制可可执行文文件。ssadcc的工作作是写入入数据收收集文件件/vaar/11og/sa/。可以以为saadc提提供几个个选项。常常见语法法是：间隔是取样样间的秒秒数，iiterratiionss是要取取得的样样本数量量，fiile namme定义义输出文文件。简简单的ssadcc语法是是/ussr/llib/sa/saddc 3360 5/ttmp/s

20、addc.oout。这这个命令令在5分分钟间隔隔取得55个样本本并将它它们保存存在/ttmp/saddc.oout。我我们应该该定期收收集样本本，因此此需要一一个由ccronn运行的的脚本。应应该把样样本放在在一个有有意义的的地方，如如在前一一节中使使用toop脚本本时那样样。syyssttat rpmm提供/usrr/liib/ssa/ssa1脚脚本来完完成所有有这些事事情。sa1（88）手册册页比ssa1脚脚本本身身要长得得多。/usrr/liib/ssa/ssa1是是一个非非常简单单的脚本本，使用用语法ssadcc -FF -LL 1 1 /varr/loog/ssa/ssa#来运行行s

21、addc，其其中#是某月月的日期期。较老老版本的的sa11使用ddatee+.%Y_%m_%d的输输出作为为文件后后缀。如如果需要要，可以以使用-F选项项使saadc强强制创建建输出文文件。-L在写写入输出出文件之之前锁定定它，以以防止两两个saadc进进程同时时运行时时损坏该该文件。较较老版本本的saadc没没有-LL选项，因因此saa1脚本本执行手手工锁定定。saa1脚本本的选项项只是样样本之间间的间隔隔和取样样迭代的的次量。ccronn文件（/etcc/crron.d/ssyssstatt）和ssyssstatt一起提提供，在在各syyssttat版版本之间间它有所所不同。以以下是55.

22、0.5版本本的syyssttat的的条目：可见，在ssyssstatt rppm安装装之后，ssadcc开始取取得样本本。syyssttat主主页是hhttpp:/perrso.wannadooo.ffr/ sebbasttienn.goodarrd/22。文档档链接提提供以下下类似220066年1月月14日日的crronttab方方案：Sebasstieen GGodaard的的网站的的croontaab示例例建议周周一至周周五从早早晨8点点到下午午6点每每10分分钟取一一次样本本，其他他时间每每小时取取得一个个样本（注注意，ccronntabb注释为为下午77点，但但实际上上是188:00

23、0，即下下午6点点）。如如果/vvar中中的磁盘盘空间足足够，可可以每天天都每小小时的每每10分分钟取样样一次。如如果周末末备份较较慢，每每小时一一次saadc取取样可能能帮助不不大。现在让我们们研究更更流行的的报告语语法。3.2.22 CCPU统统计数据据sar -u输出出显示CCPU信信息。-u选项项是saar的默默认选项项。该输输出以百百分比显显示CPPU的使使用情况况。表33-2解解释该输输出。表3-2 ssar -u字字段字 段说 明CPUCPU编号号%userr在用户模式式中运行行进程所所花的时时间%nicee运行正常进进程所花花的时间间%systtem在内核模式式（系统统）中运运

24、行进程程所花的的时间%iowaait没有进程在在该CPPU上执执行时，处处理器等等待I/O完成成的时间间%idlee没有进程在在该CPPU上执执行的时时间这些看起来来应该比比较熟悉悉，它和和topp报告中中的CPPU信息息内容相相同。以以下显示示输出格格式：其中的5 10导导致saar以55秒钟间间隔取得得10个个样本。任任何saar报告告的第一一列都是是时间戳戳。我们本来可可以研究究使用-f选项项通过ssadcc创建的的文件。这这个saar语法法显示ssar -f/varr/loog/ sa/sa221的输输出：在多CPUU Liinuxx系统中中，saar命令令也可以以为每个个CPUU分解

25、该该信息，如如以下ssar -u -P ALLL 5 5输出出所示：3.2.33 磁磁盘I/O统计计数据sar是一一个研究究磁盘II/O的的优秀工工具。以以下是ssar磁磁盘I/O输出出的一个个示例。第一行-dd显示磁磁盘I/O信息息，52选项项是间隔隔和迭代代，就像像sarr数据收收集器那那样。表表3-33列出了了字段和和说明。表3-3 sarr -dd字段字 段说 明DEV磁盘设备tps每秒传输数数（或者者每秒IIO数）rd_seec/ss每秒5122字节读读取数wr_seec/ss每秒5122字节写写入数512只是是一个测测量单位位，不表表示所有有磁盘II/O均均使用5512字字节块。D

26、DEV列列是deev#-#格式式的磁盘盘设备，其其中第一一个#是是设备主主编号，第第二个#是次编编号或者者连续编编号。对对于大于于2.55的内核核，saar使用用次编号号。例如如，在ssar -d输输出中看看到的ddev33-0和和devv3-11。它们们对应于于/deev/hhda和和/deev/hhdall。请看看/deev中的的以下各各项：/dev/hdaa有主编编号3和和次编号号0。hhda11有主编编号3和和次编号号1。3.2.44 网网络统计计数据sar提供供四种不不同的语语法选项项来显示示网络信信息。-n选项项使用四四个不同同的开关关：DEEV、EEDEVV、SOOCK和和FUL

27、LL。DDEV显显示网络络接口信信息，EEDEVV显示关关于网络络错误的的统计数数据，SSOCKK显示套套接字信信息，FFULLL显示所所有三个个开关。它它们可以以单独或或者一起起使用。表表3-44显示通通过-nn DEEV选项项报告的的字段。表3-4 saar -n DDEV字字段字 段说 明明IFACEELAN接口口rxpckk/s每秒钟接收收的数据据包txpckk/s每秒钟发送送的数据据包rxbytt/s每秒钟接收收的字节节数txbytt/s每秒钟发送送的字节节数rxcmpp/s每秒钟接收收的压缩缩数据包包txcmpp/s每秒钟发送送的压缩缩数据包包rxmcsst/ss每秒钟接收收的多播

28、播数据包包以下是使用用-n DEVV选项的的sarr输出：关于网络错错误的信信息可以以用saar -n EEDEVV显示。表表3-55列出了了显示的的字段。表3-5 ssar -n EDEEV字段段字 段说 明IFACEELAN接口口rxerrr/s每秒钟接收收的坏数数据包txerrr/s每秒钟发送送的坏数数据包coll/s每秒冲突数数rxdroop/ss因为缓冲充充满，每每秒钟丢丢弃的已已接收数数据包数数txdroop/ss因为缓冲充充满，每每秒钟丢丢弃的已已发送数数据包数数txcarrr/ss发送数据包包时，每每秒载波波错误数数rxfraam/ss每秒接收数数据包的的帧对齐齐错误数数rxf

29、iffo/ss接收的数据据包每秒秒FIFFO过速速的错误误数txfiffo/ss发送的数据据包每秒秒FIFFO过速速的错误误数SOCK参参数显示示IPCCS套接接字信息息。表33-6列列出显示示的字段段及其意意义。表3-6 ssar -n SOCCK字段段字 段说 明totscck使用的套接接字总数数量tcpscck使用的TCCP套接接字数量量udpscck使用的UDDP套接接字数量量rawscck使用的raaw套接接字数量量ip-frrag使用的IPP段数量量sar可以以产生许许多其他他报告。我我们有必必要仔细细阅读ssar（11）手册册页，查查看是否否有自己己需要的的其他报报告。3.3 v

30、msstattvmstaat命令令也是显显示Liinuxx性能指指标的方方法，它它报告了了许多信信息，理理解这些些信息有有一定难难度。输出分为66个类别别：进程程、内存存、交换换区、II/O、系系统和CCPU。与与iosstatt类似，第第一个样样本是从从最近重重新启动动以来的的平均值值。以下下是一个个典型的的vmsstatt输出：-m选项使使内存字字段以兆兆字节为为单位显显示。vvmsttat和和许多其其他性能能命令一一样使用用取样间间隔和计计数参数数。进程（prrocss）信息息有两列列。r列列是可运运行进程程的数量量，b列列是阻塞塞进程的的数量。内存部分有有4个报报告虚拟拟内存如如何使用

31、用的字段段。表33-7列列出这些些字段及及其意义义。表3-7 vmmstaat内存存字段字 段说 明Swpd已用的交换换空间数数量free自由RAMM数量buff缓冲使用的的RAMM数量cachee文件系统缓缓存使用用的RAAM数量量接下来是交交换（sswapp）指标标。交换换只是一一个古老老术语，但但是显然然不会消消失。交交换涉及及分页读读取或写写入磁盘盘的进程程所消耗耗的所有有内存。它它将显示示系统达达到的性性能指标标水平。而而Linnux所所做的是是，以小小块方式式按照需需要对磁磁盘空间间进行分分页操作作。因此此，我们们可能应应该停止止说交换换到磁盘盘的内存存，并开开始说分分页到磁磁盘的

32、内内存。对对于任何何一种方方法，表表3-88解释了了相关字字段。表3-8 vvmsttat交交换字段段字 段说 明明si从磁盘分页页到内存存的数量量so从内存分页页到磁盘盘的数量量在交换之后后是两个个I/OO字段。这这部分提提供了一一个简略略介绍以以帮助确确定Liinuxx是否正正忙于完完成许多多磁盘II/O。vvmsttat只只提供两两个字段段，显示示出入磁磁盘的数数据量（参参见表33-9）。表3-9 vvmsttat io字字段字 段说 明bi从磁盘读入入的块bo写入磁盘的的块系统字段提提供Liinuxx内核进进行进程程管理的的繁忙程程度的摘摘要。中中断和上上下文开开关参见见表3-10。上

33、上下文开开关指进进程移出出CPUU或者移移入CPPU。表3-100 vvmsttat系系统字段段字 段说 明in系统中断cs进程上下文文开关最后，CPPU状态态信息用用总CPPU时间间的百分分比来表表示，如如表3-11所所示。表3-111 vvmsttat cpuu字段字 段说 明us用户模式sy内核模式wa等待I/OOid空闲3.4 iosstattiostaat命令令是另一一个研究究磁盘吞吞吐量的的工具。和和sarr类似，iiosttat可可以使用用间隔和和计数参参数。第第一个间间隔的输输出包含含Linnux总总运行时时间的指指标。与与其他性性能命令令比较，这这可能是是iosstatt最独

34、特特的功能能。例如如，以下下是一个个大部分分时间处处于空闲闲的系统统的输出出。可见见，从启启动以来来hdaa设备已已经读取取大约991558MBB（18875555572*5122/10244/10244）。BBlk列列是5112字节节块。不使用选项项，ioostaat只显显示覆盖盖启动以以来全部部时间的的一组指指标。CPU信息息包含基基本上和和topp一样的的字段。iiosttat CPUU输出显显示在用用户模式式中执行行、执行行正常进进程、在在内核（系系统）模模式中执执行，进进程等待待I/OO完成时时处于空空闲和没没有等待待进程时时处于空空闲的CCPU时时间的百百分比。CCPU行行是所有有

35、CPUU的摘要要。磁盘信息与与sarr -dd提供的的信息类类似。输输出包括括每秒传传输数（ttps）、每每秒5112字节节块读取取数（BBlk_reaad/ss）、每每秒5112字节节块写入入数（BBlk_wrttn/ss）和5512字字节块读读取（BBlk_reaad）和和写入（BBlk_wrttn）的的总数量量。iostaat提供供几个用用于定制制输出的的开关。最最有用的的有： -c 只显显示CPPU行 -d 显示示磁盘行行 -k 以千千字节为为单位显显示磁盘盘输出 -t 在在输出中中包括时时间戳 -x 在输输出中包包括扩展展的磁盘盘指标这些选项可可以组合合。ioostaat -tk 5 22的输出出是：3.5 freeefree命命令输出出内存和和交换信信息，与与topp命令的的作用非非常相似似。不使使用选项项，frree以以千字节节为单位位显示信信息：free命命令有少少量选项项，推荐荐使用-mt。-m开关关使输出出以兆字字节为单单位，-t开关关提供一一个合计计行：