基于Struts／Spring／Hibernate架构的日志统计分析系统.pdf

http:/-1-基于基于StrutsSpringHibernate架构的日志统计分析系统的分析与设计架构的日志统计分析系统的分析与设计 唐红喜，宋茂强 北京邮电大学软件学院，北京（100876）E-mail： 摘摘 要：要：本文重点介绍了日志统计分析系统的总体设计和技术实现，本系统基于BS结构使用MVC模式开发，综合应用了Struts Framework、Spring Framework、Hibernate等多种轻量级的J2EE开源框架及技术，使得系统在简单、快捷、准确完成日志分析查询的同时，具备了良好的稳定性、可扩展性、移植性及安全性，资源信息的国际化也进一步拓展了系统的适用范围。关键词：关键词：MVC模式；日志；StrutsSpringHibernate；开源框架 中图分类号：中图分类号：TP311.5 文献标识码：文献标识码：A 1.背景简介背景简介 CDN（content delivery network）,即内容分发网络，是加速网络响应速度，平衡网络负载，减少网络拥塞的重要网络技术。但如何在各个CDN网络加速服务器间搞好负载平衡是很关键的，这就需要动态调整各个加速服务器的负载，而要调整加速服务器的负载，就要对各个加速服务器的负载进行反馈分析，这就需要良好的日志统计分析系统。本文以一个实际的CDN网络加速器的日志统计分析系统为例，介绍了使用Struts+Spring+Hibernate来实现一个健壮的、可扩展的、配置灵活的日志分析系统，从而促进CDN网络服务器更好的服务用户。2系统开发环境的选择与分析系统开发环境的选择与分析 21 B/S架构体系的选择架构体系的选择 BrowserServer结构(B/S)1结构即浏览器服务器结构是现在大多数软件的开发方式。它是随着Inter-net技术的兴起，对C/S结构的一种改进。在这种结构下，用户工作界面是通过WWW 浏览器来实现，极少部分事务逻辑在前端(Browser)实现，大部分的主要事务逻辑在服务器端(Server)实现，形成所谓三层（3-tier）结构。这样就大大简化了客户端电脑载荷，也减少了额外开发客户端的成本，减轻了系统维护与升级的成本和工作量，降低了用户的总 体成本.2.2 MVC三层体系的选择三层体系的选择 MVC(ModelViewController)模式即把一个应用的输入、处理、输出流程按照Model、View、Controller的方式进行分离，这样一个应用被分成三层 模型层、视图层、控制层2，3。它是现代软件设计中对视图和控制的藕合解藕而逐渐发展起来的，是现在开发B/S结构的软件很流行也很优秀的一种技术。视图(View)代表用户交互界面，对于Web应用来说，可以概括为HTML界面，但也可能为XHTML、XML和Applet和jsp、php等页面。随着应用的复杂性和规模性的增大，界面的处理也变得具有挑战性。一个应用可能有很多不同的视图。http:/-2-模型（Mode1)：就是业务流程状态的处理以及业务规则的制定。模型接受视图请求的资料，并返回最终的处理结果，是MVC最主要的核心。MVC并没有提供模型的设计方法，而只告诉你应该组织管理这些模型，以便于模型的重构和提高重用性。控制(Control)可以理解为从用户接收请求，将模型与视图匹配在一起，共同完成用户的请求。划分控制层的作用也很明显:它清楚地告诉你，它就是一个分发器，选择什么样的模型，选择什么样的视图，可以完成什么样的用户请求。控制层并不做任何的资料处理。例如，用户点击一个连接，控制层接受请求后,并不处理业务资讯，它只把用户的资讯传递给模型，告诉模型做什么,选择符合要求的视图返回给用户。2.3 J2EE的选择的选择 J2EE是一种利用Java 2平台来简化企业解决方案的开发、部署和管理相关的复杂问题的体系结构。J2EE为搭建具有可伸缩性、灵活性、易维护性的商务系统提供了良好的机制因为其具备了众多优势：高效的开发、支持异构环境、良好的可伸缩性、稳定的可用性，所以它是商业系统理想的选择。2.4 StrutsSpring/Hibernate介绍介绍 Struts是一个基于模型（Mode1)一视图（View)一控制器(Controller)(MVC)模式的应用架构的开源框架。MVC减弱了业务逻辑接口和数据接口之间的耦合。现在很多的Web应用就是由一组JSP页面构成的。这种以JSP为中心的开发模型我们可以称之为Model 1。而Model 2表示的是基于MVC模式的框架。通过这种设计模型把应用逻辑、处理过程和显示逻辑分成不同的组件实现，这些组件可以进行交互和重用，因而更易于实现对大规模系统的开发和管理。Spring Framework和Struts Framework一样都是开放源代码的项目，都是一种轻量级的J2EE应用程序框架4。Spring主要是对业务层的层次细化，也就是更深层次的降低了藕合程度。它是一个从实际项目开发经验中抽取的，可高度重用的应用框架。Spring Framework中目前最引人注目的也就是名为控制反转(IoC=Inverse Of Contro1)5或者依赖注入(DI=Dependence Injection)5的设计思想，而且它并非一个强制性框架，它提供了很多独立的组件可供选择。Hibernate是一个面向Java环境的对象关系数据库映射6工具，用来把对象模型表示的对象映射到基于SQL的关系模型结构中去。3系统分析与设计系统分析与设计 日志统计分析系统是建立在B/S结构上的反馈支撑系统，它基于网络上的各个CDN服务器的日志所建立的数据资料进行分析，来动态调整各个服务器的负载。3.1 系统功能分析及模块划分系统功能分析及模块划分 日志统计分析系统主要划分为如下几个模块：日志内容拆分、日志下载整合、日志分析处理、分析报告汇总、信息统计查询、信息配置管理。其流程如图1所示：http:/-3-图1 日志统计分析系统流程图 其中日志拆分模块将各个加速服务器上面定时产生的原始日志文件，拆分成多个客户日志文件，同属于一个客户的客户日志文件，存放在以该客户代码命名的目录下面，并以天为单位进行打包，形成“客户日志文件包”。然后日志下载整合模块可以让用户选择下载从一个开始日期到一个结束日期的时间段的日志包，下载完成后可以将这些日志包按时间戳（记录日期）从小到大的顺序，整合拼接成一个完整的日志文件，用户可以选择完整日志文件的存放位置，并可以选择是否删除原先的各个独立的日志文件包。然后经由日志分析处理模块将日志统计分析为当天、昨天、当周、当月的情况，再经由分析报告汇总模块处理，生成数据库文件。上面这些模块大都在后台处理，接下来就要提供界面供用户查询使用。信息统计查询模块主要提供带宽统计、流量统计、峰值统计、下载统计等子模块供用户查询使用，并且每一类别的统计提供当天、昨天、当周、当月数据。信息配置管理包括用户登录、用户管理、权限管理、客户管理等。3.2 系统数据库设计系统数据库设计 数据库是系统的核心和基础，它把系统中大量的数据按一定的模型组织起来，提供存储、维护、检索数据的功能使系统可以方便、及时、准确地从数据库中获得所需的信息。本系统的核心功能之一便是数据的采集、分析与计算，因此设计好一个结构合理、稳定可靠的数据库；选择一个高效、安全的数据库管理系统，直接关系着系统的高效、稳定和安全性能。本系统选择丁Struts+Spring+Hibernate的架构模式，其在数据库方面的高度的兼容性和扩展性拓宽了数据库的选择范围，使得数据库的性价比成为考虑的重要因素。为了达到这一目的，我们选择了免费但很优秀的数据库系统MySQL.3.3 系统架构体系系统架构体系 一个优秀的系统架构在一开始就应该考虑到要怎样建立用户接口、应该在哪里处理业务逻辑、怎样持久化系统数据；这是从系统的整体架构上来分析系统，站在技术的角度则应该考虑这几层中各层要选用什么技术来实现、应该怎么设计才能最大限度地降低系统的耦合性(即松散耦合。也称解耦)从而提高系统的灵活性、可扩展性、可移植性、易维护性.选择优http:/-4-秀的系统框架不但能达到以上目的，还能提高系统的复用率、使系统具有良好的扩展功能.所以本系统选用了优秀的SSH(Struts+Spring+Hibernate)系统架构模式，Struts完成系统的表示层功能，Spring负责系统的逻辑控制，Hibernate则完成系统数据的持久化任务.在此架构的基础之上，利用MVC设计模式的原理将系统划分为以下三层：表现层、持久层、业务层这样就使得每层在应用程序中都有明确的责任，不和其它层混淆功能，层与层之间使用接口进行通讯从而达到系统预期的解耦目的。系统体系架构如图2所示，系统各层之间的功能描述分别为：图2 日志统计分析系统体系结构 表现层：表现层是用来收集用户信息以及为用户展现内容，利用Struts来完成表现层的处理，其主要负责的功能为：为用户管理请求和响应、提供一个控制器代理调用业务逻辑和其它上层处理、处理从其它层掷出给一个Struts Action的异常、为显示提供一个模型、执行用户接口验证等。持久层：持久层负责数据的持久化工作。Hibernate框架为Java提供了“对象-关系持久化”机制和查询服务其通过HQL的面向对象的查询语言或者使用条件表达式API来完成数据的持久化工作。其主要工作是：保存、更新、删除储存在数据库中的信息。业务层：这是系统的核心之一，因为在这层中要完成整个系统的各个业务处理，它为表示层和持久层提供了业务处理接口。在这一层上选择Spring来完成。它所提供的“依赖注入（DI)”、“控制反转(IoC)”使它可以轻松地实现对上下两层的接口服务。其主要完成的功能为：处理应用程序的业务逻辑和业务验证、管理事务、预留和其它层交互的接口、管理业务层对象之间的依赖、增加在表现层和持久层之间的灵活性，使它们互不直接通讯、从表现层中提供一个上下文给业务层获得业务服务、管理从业务逻辑到持久层的实现。4结束语结束语 由日志统计分析系统的体系结构及开发结果，使我们了解了Struts+Spring+Hibernate架构的优势，它综合了三个框架各自独立的优点：Struts在表现层的完备和强大，Spring在业务管理方面的灵活性以及Hibernate简化数据操作的成熟和灵活，从而使系统更易于开发和维护。http:/-5-参考文献参考文献 1 崔尚森,Web应用开发技术.M.西安:西安电子科技大学出版社.2007.2 孙卫琴.精通Struts基于MVC的JAVA Web设计与开发.M北京:电子工业出版社,2004.3 3.邬继成.Struts与Hibernate使用教程构建基于MVC模式的高效Java Web应用.M北京:4 电子工业出版社.2006.5 余浩东.J2EE应用框架设计及项目开发,M北京:清华大学出版社.2008.6 罗时飞.精通SpringM.北京:电子工业出版社,2005.The analysis and design of log accounting and analyzing system based on Struts/Spring/Hibernate frameworks Tang Hongxi,Song Maoqiang Department of Software,Beijing University of Posts and Telecommunications,Beijing(100876)Abstract In this paper,the holistic design and technique implementation of the log accounting and analyzing system is introduced,the system is based on the B/S structure,applying MVC pattern and integrates Struts framework,Spring framework and Hibernate.It has been proved concise,fast and accurate to complete the log analysis and query,meanwhile,it processes properties of extensibility,transpl-antability,high security and internalization resources information also extended the application scope.Keywords:MVC pattern;log;Struts/Spring/Hibernate;open source 作者简介：唐红喜（1980-），男，北京邮电大学在读硕士生，主要研究领域：通信软件，CDN网络；宋茂强（1957-），男，北京邮电大学教授，硕士生导师，主要研究领域：通信软件，CDN网络，分布式计算。