2022年Web服务器日志统计分析完全解决方案 .pdf

《2022年Web服务器日志统计分析完全解决方案 .pdf》由会员分享，可在线阅读，更多相关《2022年Web服务器日志统计分析完全解决方案 .pdf（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Web 服务器日志统计分析完全解决方案hc360 慧聪网通信行业频道2003-06-03 14:49:37 摘要：对于所有的ICP 来说，除了保证网站稳定正常运行以外，一个重要的问题就是网站访问量的统计和分析报表，这对于了解和监控网站的运行状态，对提高各个网站的服务能力和服务水平是必不可少的。通过对Web 服务器的日志文件进行分析和统计，能够有效掌握系统运行情况以及网站内容的受访问情况、加强对整个网站及其内容的维护与管理。本文对Web 服务器日志分析的原理和技术进行讨论。文章相关软件：webalizer http:/ http:/www.cronolog.org/Apache http:/ww

2、w.apache.org/一、前言随着 Internet 上 Web 服务的发展，几乎各个政府部门、公司、大专院校、科研院所等都在构建或正在建设自己的网站。而与此同时，在构建网站建设中各个单位都会遇到各种各样的问题，那么对web 服务器的运行和访问情况进行详细和周全的分析对于了解网站运行情况，发现网站存在的不足，促进网站的更好发展重要性是不言而喻的。管理 Web 网站不只是监视Web 的速度和 Web 的内容传送，它要求不仅仅关注服务器每天的吞吐量，还要了解对这些Web 网站的外来访问，了解网站各页面的访问情况，根据各页面的点击频率来改善网页的内容和质量、提高内容的可读性，跟踪包含有商业交易的

3、步骤以及管理 Web 网站“幕后”的数据等。为了更好地提供WWW 服务，监控WEB 服务器的运行情况、了解网站内容的详细访问状况就越来越显得重要和迫切了。而这些要求都可以通过对web 服务器的日志文件的统计和分析来做到。二、WEB 日志分析的原理网站服务器日志记录了web 服务器接收处理请求以及运行时错误等各种原始信息。通过对日志进行统计、分析、综合，就能有效地掌握服务器的运行状况，发现和排除错误原因、了解客户访问分布等，更好的加强系统的维护和管理。在 WWW 服务模型是非常简单的（见图1）:名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 10 页 -1)客户端(浏览器)和 we

4、b 服务器建立tcp 连接，连接建立以后，向web 服务器发出访问请求（如：get），根据HTTP 协议该请求中包含了客户端的IP 地址、浏览器的类型、请求的 URL 等一系列信息。图 1 web 访问机制2)web 服务器收到请求后，将客户端要求的页面内容返回到客户端。如果出现错误，那么返回错误代码。3)服务器端将访问信息和错误信息纪录到日志文件里。下面是客户端发送给web 服务器请求的数据报的内容：GET/engineer/ideal/list.htm HTTP/1.1Accept:image/gif,image/x-xbitmap,image/jpeg,image/pjpeg,appli

5、cation/vnd.ms-powerpoint,application/vnd.ms-excel,application/msword,*/*Referer:http:/ 6.0;Windows NT 5.0)Host:Connection:Keep-Alive 可以看到，在客户机的请求里包含了很多有用的信息，例如：客户端类型等等。而web服务器就会将请求的web 页内容发送返回给客户机。目前最常用的web 服务器有Apache、Netscape enterprise server、MS IIS 等。而目前互联网上最常用的web 服务器就是apache，因此我们这里的讨论都以Linux ap

6、ache环境讨论，其他的应用环境类似。对于Apache 来说，支持多种日志文件格式，最常见的是common 和combined 两种模式，其中 combined 方式比 common 方式的日志的信息要多Referer（该请求来自于哪里，例如来自于yahoo 的搜索引擎）和User-agent（用户客户端类型，如mozilla或 IE）。我们这里讨论combined 类型。下面是common 类型的日志示例：218.242.102.121-06/Dec/2002:00:00:00+0000 GET/2/face/shnew/ad/via20020915logo.gif HTTP/1.1 304

7、 0 http:/ 6.0;Windows 98)61.139.226.47-06/Dec/2002:00:00:00+0000 GET/cgi-bin/guanggaotmp.cgi?1 HTTP/1.1 200 178 http:/ Mozilla/4.0(compatible;MSIE 5.0;Windows 98;DigExt)218.75.41.11-06/Dec/2002:00:00:00+0000 GET/2/face/shnew/ad/via20020915logo.gif HTTP/1.1 304 0 http:/ 5.0;Windows 98;DigExt)61.187.2

8、07.104-06/Dec/2002:00:00:00+0000 GET/images/logolun1.gif HTTP/1.1 304 0 http:/ Mozilla/4.0(compatible;MSIE 6.0;名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 10 页 -Windows NT 5.1)211.150.229.228-06/Dec/2002:00:00:00+0000 GET/2/face/pub/image_top_l.gif HTTP/1.1 200 260 http:/ Mozilla/4.0(compatible;MSIE 5.5;Windows

9、NT 5.0)从上面的日志文件可以看出日志记录会记录客户端的IP 地址、访问发生的时间、访问请求的页面、web 服务器对于该请求返回的状态信息、返回给客户端的内容的大小（以字节为单位）、该请求的引用地址、客户浏览器类型等信息。三、apache日志的配置和管理本文中我们假设我们的apache运行有两个虚拟主机： 和。我们需要对这两个虚拟主机分别进行访问日志分析和统计。Apache 配置文件中，我们需要关心的和日志相关的配置有两个：CustomLog/www/logs/access_log commonErrorLog/www/logs/error_log CustomLog 用来指示 apach

10、e的访问日志的存放位置（这里保存在/www/logs/access_log 中）和格式（这里为common）；ErrorLog 用来指示apache错误信息日志的存放位置。对于不配置虚拟主机的服务器来说，只需要直接在httpd.conf 中查找 CustomLOg 的配置进行修改即可；而对于具有多个虚拟服务器的web 服务器来说，需要分离各个虚拟服务器的访问日志，以便对各个虚拟服务器进行访问统计和分析。因此这就需要在虚拟服务器配置中进行独立的日志配置，示例：NameVirtualHost 75.8.18.19 ServerName ServerAdmin DocumentRoot/www/ht

11、docs/secfocus/CustomLog/www/log/secfocus combinedAlias/usage/www/log/secfocus/usage/ServerName ServerAdmin tomorrowtel DocumentRoot/www/htdocs/tomorrowtelCustomLog/www/log/tomorrowtel combinedAlias/usage/www/log/tomorrowtel/usage/这里需要注意的是每个虚拟主机的定义都有一个CustomLog 命令，用来指定该虚拟主机访问日志的存放文件；而Alias 命令用来让日志分析生

12、成的报表能通过 3 页，共 10 页 -处理那么日志文件会越来越大，会影响web 服务器运行效率；速率，还可能过大耗尽服务器硬盘空间，导致服务器无法正常运行，另外如果单个日志文件大于操作系统单文件尺寸的的限制，从而更进一步影响web 服务的运行。而且日志文件如果不进行轮循也不变于日志统计分析程序的运行，因为日志统计分析都是以天为单位进行统计分析的，跨越很长时间日志会使得日志统计分析程序运行特别慢。因此这里就需要对web 服务器日志文件每天进行轮循。四、web 服务器日志轮循web 服务器日志轮循比较好的方式有三种：第一种方法是利用Linux 系统自身的日志文件轮循机制：logrotate；第二

13、种方法是利用apache自带的日志轮循程序rotatelogs；第三种是使用在 apache的 FAQ 中推荐发展已经比较成熟的一个日志轮循工具cronolog。对于大型的WEB 服务来说，其往往使用实用负载均衡技术提高web 站点服务能力，这样后台有多个服务器提供WEB 服务，这大大方便了服务的分布规划和扩展性，但多个服务器的分布就需要对日志进行合并统一进行统计分析。因此为了保证统计的精确性就需要严格按照每天的时段来自动生成日志文件。41 logrotate 实现日志轮循首先我们讨论采用Linux 系统自身的日志文件轮循机制：logrotate 的方法。Logrotate 是Linux 系统

14、自身带的一个日志轮循程序，是专门对各种系统日志（syslogd，mail）进行轮循的程序。该程序是由运行程序的服务crond 来每天凌晨4:02 运行的，可以在/etc/cron.daily目录下可以看到logrotate 文件，其内容如下：#!/bin/sh/usr/sbin/logrotate/etc/logrotate.conf 可以看到每天清晨crond 都会启动/etc/cron.daily 目录下的 logrotate 脚本来进行日志轮循。而在/etc/logrorate.conf 中可以看到内容如下：#see man logrotate for details#rotate lo

15、g files weeklyweekly#keep 4 weeks worth of backlogsrotate 4#create new(empty)log files after rotating old onescreate#uncomment this if you want your log files compressed#compress#RPM packages drop log rotation information into this directoryinclude/etc/logrotate.d#no packages own wtmp-well rotate th

16、em here/var/log/wtmp monthlycreate 0664 root utmprotate 1#system-specific logs may be also be configured here.名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 10 页 -从 logrotate 的配置文件中可以看到除了wtmp 以外，需要滚动的日志的配置都保存在/etc/logroate.d 目录下。因此我们只需要在该目录下创建一个名为apache的配置文件，来指示 logrotate 如何轮循web 服务器的日志文件即可，下面是一个示例：/www/log/secfocu

17、s rotate 2 dailymissingoksharedscriptspostrotate/usr/bin/killall-HUP httpd 2/dev/null|trueendscript/www/log/tomorrowtel rotate 2 dailymissingoksharedscriptspostrotate/usr/bin/killall-HUP httpd 2/dev/null|trueendscript 这里“rotate 2”表示轮循时只包括两个备份文件，也就是只有：access_log、access_log.1、access_log.2三个日志备份文件。就这样就

18、实现了对两个虚拟主机的日志文件的轮循。后面我们会讨论如何使用日志统计分析软件对日志文件进行处理。这种方法的优点是不需要其他第三方工具就可以实现日志轮循，但是对于重负载的服务器和使用负载均衡技术的web 服务器来说这种方法就不是很实用。因为它是对相应服务进程发出一个-HUP 重启命令来实现日志的截断归档的，这样会影响服务的连续性。42 使用 apache自带的 rotatelogs 实现日志轮循apache提供了将不把日志直接写入文件，而是通过管道发送给另外一个程序的能力，这样就大大的加强了对日志进行处理的能力，这个通过管道得到的程序可以是任何程序：如日志分析，压缩日志等。要实现将日志写到管道只

19、需要将配置中日志文件部分的内容替换为“|程序名“即可，例如：#compressed logsCustomLog|/usr/bin/gzip-c /var/log/access_log.gz common 这样就可以实用apache自带的轮循工具：rotatelogs 来对日志文件进行轮循。rotatelogs基本是用来按时间或按大小控制日志的。CustomLog|/www/bin/rotatelogs/www/logs/secfocus/access_log 86400 common 上面的示例中apache访问日志被发送给程序rotatelogs，rotatelogs 将日志写入/www/l

20、ogs/secfocus/access_log，并每隔 86400 秒（一天）对日志进行一次轮循。轮循以后的文件名为/www/logs/secfocus/access_log.nnnn，这里 nnn 是开始记录日志的时间。因此为了将日志按天对齐就需要在凌晨00:00 启动服务，使得每天轮循得到的日志刚好是完整一天的日志，以提供给访问统计分析程序进行处理。如果是00:00 开始生成新的日志，那么轮循得到的日志就是access_log.0000。43 使用 cronolog 实现日志轮循名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 10 页 -首先需要下载和安装cronolog，可

21、以到 http:/www.cronolog.org下载最新版本的cronolog。下载完毕以后，解压安装即可，方法如下所示：rootmail root#tar xvfz cronolog-1.6.2.tar.gzrootmail root#cd cronolog-1.6.2rootmail cronolog-1.6.2#./configurerootmail cronolog-1.6.2#makerootmail cronolog-1.6.2#make checkrootmail cronolog-1.6.2#make install 这就完成了cronolog 的配置和安装，默认情况下cro

22、nolog 是安装在/usr/local/sbin 下。修改 apache日志配置命令如下所示：CustomLog|/usr/local/sbin/cronolog/www/logs/secfocus/%w/access_log combined 这里%w 表示按照日期星期几在不同的目录下保存日志，这种方式会保存一周的日志。为了进行日志分析，需要每天将该日志文件拷贝（或移动，如果不希望保存一周的日志）到一个固定的位置以方便日志分析统计文件进行处理，实用crontab e，如下添加定时任务：5 0*/bin/mv/www/logs/secfocus/date-v-1d+%w/access_log

23、/www/logs/secfocus/access_log_yesterday 这样再使用日志统计分析程序的对文件access_log_yesterday进行处理。对于使用负载均衡技术的大型站点，就存在多个服务器的访问日志的合并处理问题.对于这种情况，各个服务器定义或移动日志文件时就不能使用access_log_yesterday了，就应该带上服务器编号了，例如服务器IP 地址等信息以区分。然后在各个服务器上运行网站镜像和备份服务rsyncd（参考文章”用 rsync 实现网站镜像和备份”,ttp:/ 下载到专门进行访问统计分析的服务器上进行合并。合并多个服务器的日志文件，例如：log1 lo

24、g2 log3 并输出到log_all 中的方法是：sort-m-t -k 4-o log_all log1 log2 log3-m:使用merge 优化算法，-k 4 表示根据时间进行排序，-o 表示将排序结果存放到指定的文件中。五、日志统计分析程序webalizer 的安装和配置webalizer 是一个高效的、免费的 web 服务器日志分析程序。其分析结果是HTML 文件格名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 10 页 -式，从而可以很方便的通过web 服务器进行浏览。Internet 上的很多站点都使用webalizer进行 web 服务器日志分析。Webali

25、zer 具有以下一些特性：1、是用 C 写的程序，所以其具有很高的运行效率。在主频为 200Mhz 的机器上，webalizer每秒钟可以分析10000 条记录，所以分析一个40M 大小的日志文件只需要15 秒。2、webalizer 支持标准的一般日志文件格式(Common Logfile Format)；除此之外，也支持几种组合日志格式(Combined Logfile Format)的变种，从而可以统计客户情况以及客户操作系统类型。并且现在webalizer 已经可以支持wu-ftpd xferlog日志格式以及squid 日志文件格式了。3、支持命令行配置以及配置文件。4、可以支持多种

26、语言，也可以自己进行本地化工作。5、支持多种平台，比如UNIX、linux、NT,OS/2 和 MacOS 等。上图是 webalizer 生成的访问统计分析报表第一页的内容，这里包含每个月的平均访问量的表格和条形图统计分析情况。点击每个月分，可以得到这个月每天的详细统计信息。51 安装在安装以前首先需要确保系统已经安装有gd 库，可以使用：rootmail root#rpm-qa|grep gdgd-devel-1.8.4-4gdbm-devel-1.8.0-14gdbm-1.8.0-14sysklogd-1.4.1-8gd-1.8.4-4 来确认系统已经安装有gd-deve和 gd 两个

27、rpm 包。安装 webalizer 有两种方式，一种是下载源代码来安装，一种是直接使用rpm 包来安装。使用 rpm 包方式安装非常简单，从 找到 webalizer 包，下载以后：rpm ivh webalizer-2.01_10-1.i386.rpm 即可实现安装。对于源代码方式首先需要从http:/ 7 页，共 10 页 -源代码包：tar xvzf webalizer-2.01-10-src.tgz 在生成的目录中有个lang 目录，该目录中保存了各种语言文件，但是只有繁体中文版本，可以自己转换成简体，或者自己重新翻译一下。然后进入生成的目录：cd webalizer-2.01-10

28、./configuremake-with-language=Chinesemake install 编译成功后，会在/usr/local/bin/目录下安装一个webalizer 可执行文件。52 配置和运行对 webalizer 运行的控制可以通过配置文件或者在命令行指定参数的两种方式进行。而使用配置文件方式是比较简单和灵活的，适用于自动web 服务器日志统计分析的应用环境。webalizer 的默认配置文件为/etc/webalizer.conf，当启动 Webalizer 时没有使用“-f“选项时，Webalizer 就会寻找文件/etc/webalizer.conf，也可以使用“-f”

29、来指定配置文件（当服务器有虚拟主机时，就需要配置多份不同的webalizer 配置文件，不同的虚拟主机的webalizer 使用不同的配置文件。Webalizer.conf 配置文件中需要修改的配置选项如下：LogFile/www/logs/secfocus/access_log 用来指示配置文件的路径信息，webalizer 会将该日志文件作为输入进行统计分析；OutputDir/www/htdocs/secfocus/usage 用来指示生成的统计报表的保存目录，在前面我们使用alias，使得用户可以使用http:/ 用来指示主机名，统计报表中会引用该主机名。其他选项就无需修改，配置文件修

30、改完毕以后，就需要在定时webalizer，每天生成当日的统计分析。以 root 身份运行：crontab e 进入定时运行任务编辑状态，加入如下任务：名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 10 页 -5 0*/usr/local/bin/webalizer f/etc/secfocus.webalizer.conf15 0*/usr/local/bin/webalizer f/etc/tomorrowtel.webalizer.conf 我们这里假设系统运行有两个虚拟主机，并分别定义了日志分析配置文件secfocus.webalizer.conf 和 tomorrow

31、tel.webalizer.conf。这样我们定义在凌晨00:05 对 secfocus的日志进行统计分析；在凌晨00:15 对 tomorrowtel 的日志进行统计分析。然后第二天分别使用http:/ http:/ All 2、需求需求：限制对http:/ admin，口令为 12345678。3、使用 htpasswd 建立用户文件htpasswd-c/www/.htpasswd admin 此程序会询问用户admin 的口令，你输入12345678，两次生效。4、建立.htaccess文件用 vi 在/www/logs/secfocus/usage/目录下建立一个文件.htaccess，写入以下几行：名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 10 页 -AuthName admin-onlyAuthType BasicAuthUserFile/www/.htpasswdrequire user admin 5、测试这时候通过浏览器访问http:/ 就会弹出框请求输入用户名和口令，这时候输入admin、12345678 就可以才可以访问访问日志统计分析报表。名师资料总结-精品资料欢迎下载-名师精心整理-第 10 页，共 10 页 -