基于SSH的电信数据采集与整合(27页).doc
《基于SSH的电信数据采集与整合(27页).doc》由会员分享,可在线阅读,更多相关《基于SSH的电信数据采集与整合(27页).doc(27页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、-基于SSH的电信数据采集与整合-第 26 页基于SSH的电信数据采集与整合序 言本课题采用由亚信公司提供的“电信用户管理和计费系统NetCT OSS” 该系统是一个典型的基于Unix平台、Mysql数据库、Web界面,以Java语言实现的大型软件项目,是为电信运营的IP计费服务的。该系统运行于Tomcat平台,采用JavaEE架构、Struts框架,Hibernate、Spring技术及Mysql数据库,并成功运行于Sun Solaris UNIX及Windows2000环境下。该系统主要分为用户自服务管理模块,管理员管理模块,用户管理等模块,资费模块,帐单和帐务模块以及数据采集与整合模块。
2、本论文主要阐述的是该系统下的两个模块,数据采集与整合。数据采集与整合是整个系统的后台实现,功能是定期采集(采集系统)原始计费日志文件,并将采集的数据封装整合,然后通过Socket将数据传送到数据采集服务端;中数据采集服务端将数据保存到Mysql数据库当前时间所对应的t_daily_x表中,最后周期性进行数据的整合(整合系统)。该课题在设计中要解决的主要问题就是在采集过程中,如何解决数据匹配问题,如何将采集到的有效数据封装成我们需要的结构并输出到网络另一端,由接收端将数据插入到数据库中,如何在数据库中进行周期整合,产生系统所需要的各个表。指导这些问题解决的思想就是文件读写、socket编程和UN
3、IX下的作业操作。在设计中主要用到的语言以及技术主要是Java、jdbc。之所以选择这些语言及技术,一方面是因为在电信运营支撑系统中,安全性有着很关键的作用,安全性直接影响着整个系统的使用,另一方面是在Java语言中,已经存在对日志文件读取的各种方法,可以很方便的实现采集。考虑到数据采集与整合的这些诸多特点,所以在做该子系统时选择了Java、jdbc等语言和技术。第1章 概述 1.1 课题的背景及意义随着网络的不断发展,网络几乎进入了家家户户。查资料需要网络,看新闻需要网络,看电影需要网络,买东西也需要网络,网络给人们带来的方便无处不在,人们需要使用网络的愿望也越来越大。无法想象人们离开网络会
4、是什么样的。现阶段,要想上网就必须向网络运营商申请代理服务器,随之而产生的问题就是计费和管理问题。另一方面为了让用户更放心的使用网络运营商的代理服务器,让用户随时可以查询自己的信息及使用情况,方便网络运营商管理一系列的复杂事物,以及处理大量的数据,我们设计了本系统。系统只针对电信运营商出租的实验室,即服务器。基于SSH电信系统是利用J2EE平台下的WEB技术设计和运行。通过读取服务器日志文件采集数据然后整和到数据库中,供用户和管理员使用.其中持久层采用封装了JDBC的Hibernate框架,数据库采用Mysql,利用Struts框架作为控制器,页面显示采用JSP技术,并且用Spring框架整合
5、Hibernate、Struts,完成企业级应用。 1.2 课题内容及目标基于SSH的电信系统的后台数据服务模块分为数据采集和数据整合模块。数据采集模块负责读取数据服务器日志文件,并进行过滤,将符合要求的数据存入数据库;数据整合端负责将数据库中的原数据按年、月、日进行数据整合,并将整合后的数据存入数据库中。1.3 开发及运行环境基于SSH的电信系统的后台数据服务模块在开发时采用C/S架构,使用Myeclipce6.0的运行环境;服务器和客户机都采用Windows XP操作系统;数据库服务器是Mysql5.0 ;第2章 系统分析和设计2.2系统设计思想 随着网络的不断发展,网络几乎进入了家家户户
6、。查资料需要网络,看新闻需要网络,看电影需要网络,买东西也需要网络,网络给人们带来的方便无处不在,人们需要使用网络的愿望也越来越大。无法想象人们离开网络会是什么样的。现阶段,要想上网就必须向网络运营商申请代理服务器,随之而产生的问题就是计费和管理问题。另一方面为了让用户更放心的使用网络运营商的代理服务器,让用户随时可以查询自己的信息及使用情况,方便网络运营商管理一系列的复杂事物,以及处理大量的数据,我们设计了本系统。系统只针对电信运营商出租的实验室,即服务器。基于ssh的电信计费系统是利用J2EE平台下的WEB技术设计和运行.通过采集数据然后整和到数据库中,供用户和管理员使用.其中持久层采用封
7、装了JDBC的Hibernate框架,数据库采用Oracle,利用Struts框架作为控制器,页面显示采用JSP技术,并且用Spring框架整和Hibernate、Spring,完成企业级应用。2.2系统功能描述:WEB系统可供用户和管理员查询相关内容。通过登录该系统,用户可以完成查询帐单,修改个人信息,浏览电信运营商提供的各种资费服务。管理员可以完成查询所有用户帐单,修改管理员信息,对用户进行管理(开通,关闭,删除用户帐号),对管理员进行管理(开通,关闭,删除管理员帐号),修改资费项目,查看电信服务器运行情况。采集模块每小时执行一次,从日志文件中循环读取数据,过滤掉不符合要求的数据,采集符合
8、要求的数据并将数据封装成bIDR结构发送到中央服务器端。整合模块根据采集到的数据进行整合并插入到各个表中,每小时执行一次。2.3 需求分析: 各模块功能:资费管理:增、删、改、查资费信息(指定价格)管理员管理:增、删、改、查管理员信息用户管理:增、删、改、查用户信息(开通帐号,修改自身信息和需求)帐单查询:按月生成用户月计费帐单帐务查询:按月生成帐务月、年统计报表(对自己业务的查询,对服务器查询,管理)采集模块:定期采集(次/小时)原始计费Log(wtmpx)文件,整理成bIDR数据清单,并上传给中心处理系统。中心处理系统(接收系统)侦听并收集采集系统发送的数据信息bIDR,并将数据保存的数据
9、库表t_detail_X 。整合模块:按小时合并清单表t_detail_X生成所有用户计费数据日表t_day_X;按天合并日表t_day_X生成所有用户计费数据月表t_month_X;按月合并月表t_month_X生成所有用户计费数据年表t_year_X;按小时合并清单表t_detail_X生成所有Lab_IP数据日表t_day;按天合并日表t_day生成所有Lab_ip数据月表t_month;按月合并月表t_month生成所有Lab_ip数据年表t_year;1、用户管理需求:用户开通管理:管理用户登陆Open Lab的帐号,包括帐号开通、暂停(加锁)、恢复、删除。用户资料管理:管理用户资料
10、,包括姓名(单位)、身份证号码、住址及资费信息等。用户信息:ID,姓名、帐务帐号/密码、Open Lab帐号/密码、状态(正常/暂停/关闭)、联系电话、Email、开通日期、停止日期、付款方式(现金/邮寄/支票/转帐/电子银行)、证件号码、职业(学生/IT从业人员/非IT从业人员)、国籍(中国/美国/加拿大/日本/英国/澳大利亚/其他)、性别(男/女)、单位、联系地址、邮政编码。注意:本系统一个用户对应一个帐务帐号,可以对应多个Open Lab帐号。2、管理员管理需求:管理员开通管理:管理用户登陆NetCT OSS的帐号,包括帐号开通、暂停(加锁)、恢复、删除。管理员资料管理:管理管理员资料,
11、包括姓名、身份证号码、住址等。管理员权限管理:改变管理员的各类权限。管理员信息:ID,姓名、帐号(一个)、密码、状态(正常/暂停/关闭)、联系电话、Email、开通日期、停止日期、权限注意:一个用户对应一个帐号。3、帐单管理需求:整合系统按月生成用户月帐单。帐单信息 用户标识信息:帐单ID,姓名、帐号、状态(正常/暂停/关闭)、联系电话、Email、开通日期.帐务信息:帐号、日期、登录时长、本月费用帐单明细:登录时间退出时间时长4、帐务管理需求:按月、年分别生成月帐务信息统计报表和年帐务信息统计报表。月帐务信息生成一个计费月周期中,每一天的帐务信息。月帐务信息:日期时长费用年帐务信息生成一个计
12、费年周期中,每一月的帐务信息。年帐务信息:月份时长费用5、资费管理需求:用户可以通过登录系统来查询电信公司所提供的一些资费信息,以方便用户来使用。管理员通过登录系统可以根据公司运营情况来向其中增、删、改资费信息。资费信息:资费ID,资费名称,月租,使用费,描述6、采集模块需求:所需系统文件:计费Log文件数据库表 资料信息表:用户信息、管理员信息、资费信息、URL信息数据存储表:明细表、日表、月表、年表7、整合模块需求:所需数据库表:用户消费明细表、日表、月表、年表产生数据库表:服务器被使用量的日表、月表、年表业务模型:用户首先通过3A服务器验证后,可以使用出租实验室,并记录用户的登录与退出信
13、息,信息经过加工处理生成系统所需数据持久化在数据库中,供管理和查询,如下图:2.4 系统概要设计2.4.1 系统模块划分:该系统包括两个子系统:数据采集与整合系统与WEB系统。在数据采集与整合系统中又可分为数据采集模块与数据整合模块。数据采集与整合系统中的数据采集模块主要功能是将电信服务器上的计费文件中所有用户的消费记录采集并且整理出来,然后插入到数据库中。从功能上讲,该系统共分为三个模块,分别是采集模块,入库模块和网络模块。从部署运行方面讲该采集系统分为客户端和服务器端两个部分。客户端部署在电信服务器上,用于采集和整理计费文件中的原始记录并把结果发送到服务器端。服务器端用于接收从客户端发送过
14、来的数据,并持久化到数据库中相应的表中。数据整合模块主要功能是将数据库中的用户原始的消费数据进行整合,形成可供用户和管理查询的帐单,如日清单,月报表,年报表,以及仅供管理员查询的帐务清单,主要用于考察电信服务器的运行情况。该子系统是电信运营支撑系统中的后台实现,也是WEB系统的依赖。WEB系统是整个电信运营支撑系统的表现,是和用户进行交互的部分。该系统可供用户和管理员查询相关内容。通过登录该系统,用户可以完成查询帐单,修改个人信息,浏览电信运营商提供的各种资费服务。管理员可以完成查询所有用户帐单,修改管理员信息,对用户进行管理(开通,关闭,删除用户帐号),对管理员进行管理(开通,关闭,删除管理
15、员帐号),修改资费项目,查看电信服务器运行情况。根据以上功能,该系统可分为六个模块,用户管理模块,管理员管理模块,用户自服务模块,帐单管理模块,资费管理模块,帐务管理模块。2.4.2 业务流程图:通过底层的采集与整合模块将系统所需要的数据插入到数据库当中,供用户及管理员使用。由图可看出,用户想使用Openlab服务器就必须通过3A服务器的验证,验证通过则允许使用并记录日志。在web部分用户可以通过登录系统来查询及修改自己的信息,管理员可以管理相应的信息。如用户管理和计费管理2.4.3 总体架构图:DailyMonthlyYearORACLE中央处理系统采集系统LogRouterSwitch工作
16、站帐务查询系统用户管理系统ADM管理系统DBS数据整合系统BIDR采集系统解析日志文件中的信息,把对我们有用的信息采集回来,封装成一个结构传输到中央处理系统,然后持久化到数据库当中,经过整合这些数据,再分别存储到不同的表中,供系统使用。通过登录系统,用户可完成相应的操作,包括查询自己的消费信息,修改自己的一些信息等等。管理员则可对用户、业务及服务器进行管理。2.4.4 课题相关模块2.4.4.1 系统部署图:下图中“中央处理器”模块包括:数据采集服务端、数据整合端,也包括存储数据的数据库。采集部署图查询和管理部署图2.4.2.2 部署、用例与组件图用例图用例描述用例名称查询月帐单描述管理员可以
17、进行月账单查询用例参与者管理员前置条件管理员已经登录成功 基本事件流登录成功后,管理员进入系统主页面,在主页面的导航菜单中点击帐单管理链接,页面就显示出系统中所有帐务帐号在上月的总的费用的列表基本事件流登录成功后,管理员进入系统主页面,在主页面的导航菜单中点击帐单管理链接,页面就显示出系统中所有帐务帐号在某年某月总的费用的列表,因为帐务帐号很多,不利于查看,在此页面上有分页的功能,在列表下方有上一页和下一页的链接和选择页码的拉列表框,可以直接点击这两个链接或直接在列表框里选择页码来跳转到帐单列表页面,显示指定页面的信息基本事件流登录成功后,管理员进入系统主页面,在主页面的导航菜单中点击帐单管理
18、链接,页面就显示出系统中所有帐务帐号在某年某月总的费用的列表,在此页面中有查询某帐务帐号在某年某月的功能,操作流程是,在页面上方有文本提示写着帐务帐号,后边有一个文本框,在里面填写你要查询的帐务帐号名,后边还有两个下拉列表框,后边文本提示分别写着年、月,在这两个下拉列表框里分别选中你要查询的年和月,然后点击查询按钮完成操作,如果输入的帐务帐号存在,就会在列表页面显示此帐务帐号在某年某月总的费用,如果在帐务帐号文本框里没有输入会查某年某月所有帐号总的费用其他事件流无异常事件流如果查询不到任何结果,则显示没有查询到任何记录。后置条件无用例名称查询月帐单明细描述管理员可以进行月账单明细进行查询用例参
19、与者管理员前置条件管理员已经登录成功 基本事件流登录成功后,管理员进入系统主页面,在主页面的导航菜单中点击帐单管理链接,页面就显示出系统中所有帐务帐号在某年某月总的费用的列表,在每个帐务帐号的总费用之后都会有一个明细的链接,直接点击链接就会进入帐单明细页面 ,此页面会显示该帐务帐号上所有业务帐号上发生的所有费用的明细信息其他事件流无异常事件流无后置条件无组件图帐务管理模块:用例图用例描述用例名称查询月总计清单描述管理员浏览服务器的月使用时长清单用例参与者管理员前置条件管理员已经登录成功 基本事件流登录成功后,进入系统主页面,管理员点击左边导航条的帐务管理后,则显示当前月前一月以小时为单位的所有
20、服务器一整月总计使用时间长度列表页面. 基本事件流登录成功后,进入系统主页面,管理员点击左边导航条的帐务管理后,则显示当前月前一月以小时为单位的每台服务器一整月总计使用时间长度列表页面. 管理员可以选择年份和月份,查看指定某年某月的以小时为单位的所有服务器一整月总计使用时间长度列表异常事件流如果查询不到任何结果,则显示没有查询到任何记录。后置条件无用例名称查询年总计清单描述管理员浏览服务器的年使用时长清单用例参与者管理员前置条件管理员已经登录成功 基本事件流登录成功后,进入系统主页面,管理员点击左边导航条的帐务管理后,则进入服务器月总计列表页面,管理员可点击页面上方服务器年帐务查询链接,进入服
21、务器年总计列表页面,在该页面显示以小时为单位的所有服务器去年总计使用时间长度.基本事件流登录成功后,进入系统主页面,管理员点击左边导航条的帐务管理后,则进入服务器月总计列表页面,管理员可点击页面上方服务器年帐务查询链接,进入服务器年总计列表页面,在该页面管理员可以选择一个年份,查看指定年的以小时为单位的所有服务器一整年总计使用时间长度异常事件流如果查询不到任何结果,则显示没有查询到任何记录。后置条件无用例名称查询月详细清单描述管理员浏览服务器一月每日的使用时长清单用例参与者管理员前置条件管理员已经登录成功 基本事件流登录成功后,进入系统主页面,管理员点击左边导航条的帐务管理后,进入月帐务总计页
22、面.在该页面中管理员点击要查看明细的服务器项最后的详细清单链接,进入月帐务明细页面,在该页面中显示出指定服务器在指定月份中每一天被访问的时长信息。异常事件流如果查询不到任何结果,则显示没有查询到任何记录。后置条件无用例名称查询年详细清单描述管理员浏览服务器一年每月使用时长的清单用例参与者管理员前置条件管理员已经登录成功 基本事件流登录成功后,进入系统主页面,管理员点击左边导航条的帐务管理后,则进入服务器月总计列表页面,管理员可点击页面上方服务器年帐务查询链接,进入服务器年总计列表页面, 在该页面中管理员点击要查看明细的服务器项最后的详细清单链接,进入年帐务明细页面,在该页面中显示出指定服务器在
23、指定年份中每个月被访问的时长信息。异常事件流如果查询不到任何结果,则显示没有查询到任何记录。后置条件无组件图2.5 课题设计思想:本人所负责模块的设计思想是从记录有用户登录与退出信息的文件中读取信息,并经过解析,提取出有效信息,并封装成我们所需要的结构,通过SOCKET编程将采集到的数据提交到中央处理系统,经过处理插入到数据库的原始数据表中。然后经过整合,分别整合成符合系统需求所需要的各个表中,供系统使用,如图1:serverT_DETAIL_XprocOpenlab1Openlab3Openlab6Openlabclient采集系统detailyeardetailmonthsdetailda
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 SSH 电信 数据 采集 整合 27
限制150内