Web服务器日志统计分析完全解决方案.doc

《Web服务器日志统计分析完全解决方案.doc》由会员分享，可在线阅读，更多相关《Web服务器日志统计分析完全解决方案.doc（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 本文由黑冥雾海贡献 doc文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 Web 服务器日志统计分析完全解决方案 摘要 对于所有的 ICP 来说，除了保证网站稳定正常运行以外，一个重要的问题就是网站访问量的统计和分 析报表，这对于了解和监控网站的运行状态，对提高各个网站的服务能力和服务水平是必不可少的。 通过对 Web 服务器的日志文件进行分析和统计， 能够有效掌握系统运行情况以及网站内容的受访问情 况、加强对整个网站及其内容的维护与管理。本文对 Web 服务器日志分析的原理和技术进行讨论。 请注意本文已刊载在开放系统世界2003 年第二期，该文章版权属于该杂

2、志所有，请勿随意转载， 请注意 转载请保留该声明 关键字： 关键字：web 服务器 日志 统计分析 crontab cronolog apache 摘要： 摘要：对于所有的 ICP 来说，除了保证网站稳定正常运行以外，一个重要的问题就是网站访问量的统 计和分析报表，这对于了解和监控网站的运行状态，对提高各个网站的服务能力和服务水平是必不可 少的。通过对 Web 服务器的日志文件进行分析和统计，能够有效掌握系统运行情况以及网站内容的 受访问情况、加强对整个网站及其内容的维护与管理。本文对 Web 服务器日志分析的原理和技术进 行讨论。 文章相关软件： webalizer cronolog Apa

3、che http:/www.cronolog.org/ http:/www.apache.org/ 一、 前言 随着 Internet 上 Web 服务的发展，几乎各个政府部门、公司、大专院校、科研院所等都在构建或正在 建设自己的网站。而与此同时，在构建网站建设中各个单位都会遇到各种各样的问题，那么对 web 服 务器的运行和访问情况进行详细和周全的分析对于了解网站运行情况，发现网站存在的不足，促进网 站的更好发展重要性是不言而喻的。 管理 Web 网站不只是监视 Web 的速度和 Web 的内容传送，它要求不仅仅关注服务器每天的吞吐量， 还要了解对这些 Web 网站的外来访问，了解网站各页面

4、的访问情况，根据各页面的点击频率来改善 网页的内容和质量、提高内容的可读性，跟踪包含有商业交易的步骤以及管理 Web 网站“幕后”的 数据等。 为了更好地提供 WWW 服务，监控 WEB 服务器的运行情况、了解网站内容的详细访问状况就越来越 显得重要和迫切了。而这些要求都可以通过对 web 服务器的日志文件的统计和分析来做到。 二、WEB 日志分析的原理 网站服务器日志记录了 web 服务器接收处理请求以及运行时错误等各种原始信息。 通过对日志进行统 计、分析、综合，就能有效地掌握服务器的运行状况，发现和排除错误原因、了解客户访问分布等， 更好的加强系统的维护和管理。 在 WWW 服务模型是非

5、常简单的（见图 1）: 1) 客户端(浏览器)和 web 服务器建立 tcp 连接， 连接建立以后， web 服务器发出访问请求 向 （如： ， get） 根据 HTTP 协议该请求中包含了客户端的 IP 地址、浏览器的类型、请求的 URL 等一系列信息。 图 1 web 访问机制 2) web 服务器收到请求后，将客户端要求的页面内容返回到客户端。如果出现错误，那么返回错误代 码。 3) 服务器端将访问信息和错误信息纪录到日志文件里。下面是客户端发送给 web 服务器请求的数据 报的内容： GET /engineer/ideal/list.htm HTTP/1.1 Accept: image

6、/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-powerpoint, application/vnd.ms-excel, application/msword, */* Referer: Accept-Language: zh-cn Accept-Encoding: gzip, deflate User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) Host: Connection: Keep-Alive 可以看到，在客户机的请求里包含了

7、很多有用的信息，例如：客户端类型等等。而 web 服务器就会将 请求的 web 页内容发送返回给客户机。 目前最常用的 web 服务器有 Apache、Netscape enterprise server、MS IIS 等。而目前互联网上最常用的 web 服务器就是 apache，因此我们这里的讨论都以 Linuxapache 环境讨论，其他的应用环境类似。 对于 Apache 来说， 支持多种日志文件格式， 最常见的是 common 和 combined 两种模式， 其中 combined 方式比 common 方式的日志的信息要多 Referer（该请求来自于哪里，例如来自于 yahoo

8、的搜索引擎） 和 User-agent（用户客户端类型，如 mozilla 或 IE）。我们这里讨论 combined 类型。下面是 common 类型的日志示例： 218.242.102.121 - - 06/Dec/2002:00:00:00 +0000 GET /2/face/shnew/ad/vialogo.gif HTTP/1.1 304 0 Mozilla/4.0 (compatible; MSIE 6.0; Windows 98) 61.139.226.47 - - 06/Dec/2002:00:00:00 +0000 GET /cgi-bin/guanggaotmp.cgi?1

9、 HTTP/1.1 200 178 Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt) 218.75.41.11 - - 06/Dec/2002:00:00:00 +0000 GET /2/face/shnew/ad/vialogo.gif HTTP/1.1 304 0 Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt) 61.187.207.104 - - 06/Dec/2002:00:00:00 +0000 GET /images/logolun1.gif HTTP/1.1

10、304 0 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) 211.150.229.228 - - 06/Dec/2002:00:00:00 +0000 GET /2/face/pub/image_top_l.gif HTTP/1.1 200 260 Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0) 从上面的日志文件可以看出日志记录会记录客户端的 IP 地址、访问发生的时间、访问请求的页面、 web 服务器对于该请求返回的状态信息、返回给客户端的内容的大小（以字节为单位）、该请求的引 用地

11、址、客户浏览器类型等信息。 三、apache 日志的配置和管理 本文中我们假设我们的 apache 运行有两个虚拟主机： 和 。我 们需要对这两个虚拟主机分别进行访问日志分析和统计。 Apache 配置文件中，我们需要关心的和日志相关的配置有两个： CustomLog /www/logs/access_log common ErrorLog /www/logs/error_log CustomLog 用来指示 apache 的访问日志的存放位置 （这里保存在/www/logs/access_log 中） 和格式 （这 里为 common）；ErrorLog 用来指示 apache 错误信息日志

12、的存放位置。 对于不配置虚拟主机的服务器来说， 只需要直接在 httpd.conf 中查找 CustomLOg 的配置进行修改即可； 而对于具有多个虚拟服务器的 web 服务器来说，需要分离各个虚拟服务器的访问日志，以便对各个虚 拟服务器进行访问统计和分析。因此这就需要在虚拟服务器配置中进行独立的日志配置，示例： NameVirtualHost 75.8.18.19 ServerName ServerAdmin secfocus DocumentRoot /www/htdocs/secfocus/ CustomLog /www/log/secfocus combined Alias /usag

13、e/ /www/log/secfocus/usage/ ServerName ServerAdmin tomorrowtel DocumentRoot /www/htdocs/ tomorrowtel CustomLog /www/log/tomorrowtel combined Alias /usage/ /www/log/tomorrowtel/usage/ 这里需要注意的是每个虚拟主机的定义都有一个 CustomLog 命令， 用来指定该虚拟主机访问日志的存 放文件；而 Alias 命令用来让日志分析生成的报表能通过 过上面的配置就完成了日志文件的保存。 但是下来遇到的一个问题就是日志文

14、件的轮循，因为日志是一直在增大的，如果不进行处理那么日志 文件会越来越大，会影响 web 服务器运行效率；速率，还可能过大耗尽服务器硬盘空间，导致服务器 无法正常运行，另外如果单个日志文件大于操作系统单文件尺寸的的限制，从而更进一步影响 web 服 务的运行。而且日志文件如果不进行轮循也不变于日志统计分析程序的运行，因为日志统计分析都是 以天为单位进行统计分析的，跨越很长时间日志会使得日志统计分析程序运行特别慢。因此这里就需 要对 web 服务器日志文件每天进行轮循。 四、web 服务器日志轮循 web 服务器日志轮循比较好的方式有三种：第一种方法是利用 Linux 系统自身的日志文件轮循机制

15、： logrotate；第二种方法是利用 apache 自带的日志轮循程序 rotatelogs；第三种是使用在 apache 的 FAQ 中推荐发展已经比较成熟的一个日志轮循工具 cronolog。 对于大型的 WEB 服务来说，其往往使用实用负载均衡技术提高 web 站点服务能力，这样后台有多个 服务器提供 WEB 服务，这大大方便了服务的分布规划和扩展性，但多个服务器的分布就需要对日志 进行合并统一进行统计分析。因此为了保证统计的精确性就需要严格按照每天的时段来自动生成日志 文件。 41 logrotate 实现日志轮循 首先我们讨论采用 Linux 系统自身的日志文件轮循机制：logr

16、otate 的方法。Logrotate 是 Linux 系统自 身带的一个日志轮循程序，是专门对各种系统日志（syslogd，mail）进行轮循的程序。该程序是由运 行程序的服务 crond 来每天凌晨 4:02 运行的，可以在/etc/cron.daily 目录下可以看到 logrotate 文件，其 内容如下： #!/bin/sh /usr/sbin/logrotate /etc/logrotate.conf 可以看到每天清晨 crond 都会启动/etc/cron.daily 目录下的 logrotate 脚本来进行日志轮循。 而在/etc/logrorate.conf 中可以看到内容如

17、下： # see man logrotate for details # rotate log files weekly weekly # keep 4 weeks worth of backlogs rotate 4 # create new (empty) log files after rotating old ones create # uncomment this if you want your log files compressed #compress # RPM packages drop log rotation information into this director

18、y include /etc/logrotate.d # no packages own wtmp - well rotate them here /var/log/wtmp monthly create 0664 root utmp rotate 1 # system-specific logs may be also be configured here. 从 logrotate 的配置文件中可以看到除了 wtmp 以外，需要滚动的日志的配置都保存在/etc/logroate.d 目 录下。因此我们只需要在该目录下创建一个名为 apache 的配置文件，来指示 logrotate 如何轮循

19、 web 服务器的日志文件即可，下面是一个示例： /www/log/secfocus rotate 2 daily missingok sharedscripts postrotate /usr/bin/killall -HUP httpd 2 /dev/null | true endscript /www/log/tomorrowtel rotate 2 daily missingok sharedscripts postrotate /usr/bin/killall -HUP httpd 2 /dev/null | true endscript 这里“rotate 2”表示轮循时只包括两个

20、备份文件，也就是只有：access_log、access_log.1、access_log.2 三个日志备份文件。就这样就实现了对两个虚拟主机的日志文件的轮循。后面我们会讨论如何使用日 志统计分析软件对日志文件进行处理。 这种方法的优点是不需要其他第三方工具就可以实现日志轮循，但是对于重负载的服务器和使用负载 均衡技术的 web 服务器来说这种方法就不是很实用。因为它是对相应服务进程发出一个-HUP 重启命 令来实现日志的截断归档的，这样会影响服务的连续性。 42 使用 apache 自带的 rotatelogs 实现日志轮循 apache 提供了将不把日志直接写入文件，而是通过管道发送给另外

21、一个程序的能力，这样就大大的加 强了对日志进行处理的能力，这个通过管道得到的程序可以是任何程序：如日志分析，压缩日志等。 要实现将日志写到管道只需要将配置中日志文件部分的内容替换为“|程序名“即可，例如： # compressed logs CustomLog |/usr/bin/gzip -c /var/log/access_log.gz common 这样就可以实用 apache 自带的轮循工具：rotatelogs 来对日志文件进行轮循。rotatelogs 基本是用来按 时间或按大小控制日志的。 CustomLog |/www/bin/rotatelogs /www/logs/secf

22、ocus/access_log 86400 common 上面的示例中 apache 访问日志被发送给程序 rotatelogs，rotatelogs 将日志写入 /www/logs/secfocus/access_log，并每隔 86400 秒（一天）对日志进行一次轮循。轮循以后的文件名为 /www/logs/secfocus/access_log.nnnn，这里 nnn 是开始记录日志的时间。因此为了将日志按天对齐就需 要在凌晨 00:00 启动服务，使得每天轮循得到的日志刚好是完整一天的日志，以提供给访问统计分析 程序进行处理。如果是 00:00 开始生成新的日志，那么轮循得到的日志就是

23、 access_log.0000。 43 使用 cronolog 实现日志轮循 首先需要下载和安装 cronolog，可以到 http:/www.cronolog.org 下载最新版本的 cronolog。下载完毕以 后，解压安装即可，方法如下所示： rootmail root# tar xvfz cronolog-1.6.2.tar.gz rootmail root# cd cronolog-1.6.2 rootmail cronolog-1.6.2# ./configure rootmail cronolog-1.6.2# make rootmail cronolog-1.6.2# mak

24、e check rootmail cronolog-1.6.2# make install 这就完成了 cronolog 的配置和安装，默认情况下 cronolog 是安装在/usr/local/sbin 下。 修改 apache 日志配置命令如下所示： CustomLog |/usr/local/sbin/cronolog /www/logs/secfocus/%w/access_log combined 这里%w 表示按照日期星期几在不同的目录下保存日志，这种方式会保存一周的日志。为了进行日志 分析，需要每天将该日志文件拷贝（或移动，如果不希望保存一周的日志）到一个固定的位置以方便 日志分

25、析统计文件进行处理，实用 crontab e，如下添加定时任务： 5 0 * * * /bin/mv /www/logs/secfocus/date -v-1d +%w/access_log /www/logs/secfocus/access_log_yesterday 这样再使用日志统计分析程序的对文件 access_log_yesterday 进行处理。 对于使用负载均衡技术的大型站点，就存在多个服务器的访问日志的合并处理问题.对于这种情况，各 个服务器定义或移动日志文件时就不能使用 access_log_yesterday 了，就应该带上服务器编号了，例如 服务器 IP 地址等信息以区分

26、。然后在各个服务器上运行网站镜像和备份服务 rsyncd（参考文章” 用 rsync 实现网站镜像和备份”,ttp:/ 服务器每天的安装配置文件通过 rsync 下载到专门进行访问统计分析的服务器上进行合并。 合并多个服务器的日志文件，例如：log1 log2 log3 并输出到 log_all 中的方法是： sort -m -t -k 4 -o log_all log1 log2 log3 -m: 使用 merge 优化算法，-k 4 表示根据时间进行排序，-o 表示将排序结果存放到指定的文件中。 五、日志统计分析程序 webalizer 的安装和配置 webalizer 是一个高效的、免费

27、的 web 服务器日志分析程序。其分析结果是 HTML 文件格式，从而可 以很方便的通过 web 服务器进行浏览。 Internet 上的很多站点都使用 webalizer 进行 web 服务器日志分 析。Webalizer 具有以下一些特性： 1. 是用 C 写的程序，所以其具有很高的运行效率。在主频为 200Mhz 的机器上，webalizer 每秒 钟可以分析 10000 条记录，所以分析一个 40M 大小的日志文件只需要 15 秒。 2. webalizer 支持标准的一般日志文件格式(Common Logfile Format)；除此之外，也支持几种组 合日志格式(Combined

28、Logfile Format)的变种，从而可以统计客户情况以及客户操作系统类 型。并且现在 webalizer 已经可以支持 wu-ftpd xferlog 日志格式以及 squid 日志文件格式了。 3. 4. 5. 支持命令行配置以及配置文件。 可以支持多种语言，也可以自己进行本地化工作。 支持多种平台，比如 UNIX、linux、NT, OS/2 和 MacOS 等。 上图是 webalizer 生成的访问统计分析报表第一页的内容，这里包含每个月的平均访问量的表格和条 形图统计分析情况。点击每个月分，可以得到这个月每天的详细统计信息。 51 安装 在安装以前首先需要确保系统已经安装有 g

29、d 库，可以使用： rootmail root# rpm -qa|grep gd gd-devel-1.8.4-4 gdbm-devel-1.8.0-14 gdbm-1.8.0-14 sysklogd-1.4.1-8 gd-1.8.4-4 来确认系统已经安装有 gd-deve 和 gd 两个 rpm 包。 安装 webalizer 有两种方式，一种是下载源代码来安装，一种是直接使用 rpm 包来安装。 使用 rpm 包方式安装非常简单，从 找到 webalizer 包，下载以后： rpm ivh webalizer-2.01_10-1.i386.rpm 即可实现安装。 对于源代码方式首先需要从

30、 tar xvzf webalizer-2.01-10-src.tgz 在生成的目录中有个 lang 目录，该目录中保存了各种语言文件，但是只有繁体中文版本，可以自己转 换成简体，或者自己重新翻译一下。然后进入生成的目录： cd webalizer-2.01-10 ./configure make -with-language=Chinese make install 编译成功后，会在/usr/local/bin/目录下安装一个 webalizer 可执行文件。 52 配置和运行 对 webalizer 运行的控制可以通过配置文件或者在命令行指定参数的两种方式进行。而使用配置文件 方式是比较简

31、单和灵活的，适用于自动 web 服务器日志统计分析的应用环境。 webalizer 的默认配置文件为/etc/webalizer.conf，当启动 Webalizer 时没有使用“-f“选项时，Webalizer 就会寻找文件/etc/webalizer.conf，也可以使用“-f”来指定配置文件（当服务器有虚拟主机时，就需要 配置多份不同的 webalizer 配置文件， 不同的虚拟主机的 webalizer 使用不同的配置文件。 Webalizer.conf 配置文件中需要修改的配置选项如下： LogFile /www/logs/secfocus/access_log 用来指示配置文件的路

32、径信息，webalizer 会将该日志文件作为输入进行统计分析； OutputDir /www/htdocs/secfocus/usage 用来指示生成的统计报表的保存目录，在前面我们使用 alias，使得用户可以使用 HostName 用来指示主机名，统计报表中会引用该主机名。 其他选项就无需修改，配置文件修改完毕以后，就需要在定时 webalizer，每天生成当日的统计分析。 以 root 身份运行：crontab e 进入定时运行任务编辑状态，加入如下任务： 5 0 * * * /usr/local/bin/webalizer f /etc/secfocus.webalizer.conf

33、 15 0 * * * /usr/local/bin/webalizer f /etc/tomorrowtel.webalizer.conf 我们这里假设系统运行有两个虚拟主机，并分别定义了日志分析配置文件 secfocus.webalizer.conf 和 tomorrowtel.webalizer.conf。 这样我们定义在凌晨 00:05 对 secfocus 的日志进行统计分析； 在凌晨 00:15 对 tomorrowtel 的日志进行统计分析。 然后第二天分别使用 来察看各自的 日志分析报表。 六、保护日志统计分析报告不被未授权用户访问 我们肯定不会希望自己网站访问统计信息随意被别

34、人浏览，因此需要将 usage 目录保护起来，只允许 合法用户访问。 这里可以采用 apache 自带的基本的认证机制， 配置以后再连接这个地址就会需要用户 提供密码才能访问该页面： 1、条件 在配置文件中对目录/应该设置为： DocumentRoot /www/htdocs/secfocus/ AccessFileName .htaccess AllowOverride All 2、需求 需求： 限制对 要求用户认证才能访问。 这里设置用户为admin， 口令为。 3、使用 htpasswd 建立用户文件 htpasswd -c /www/.htpasswd admin 此程序会询问用户admin的口令，你输入，两次生效。 4、建立.htaccess 文件 用 vi 在/www/logs/secfocus/usage/目录下建立一个文件.htaccess，写入以下几行： AuthName admin-only AuthType Basic AuthUserFile /www/.htpasswd require user admin 5、测试 这时候通过浏览器访问 就会弹出框请求输入用户名和口令， 这时候输入 admin、 就可以才可以访问访问日志统计分析报表。