基于C#的服务器日志分析系统的设计与实现-毕业设计论文.doc
《基于C#的服务器日志分析系统的设计与实现-毕业设计论文.doc》由会员分享,可在线阅读,更多相关《基于C#的服务器日志分析系统的设计与实现-毕业设计论文.doc(33页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 题 目:基于C#的服务器日志分析系统 的设计与实现学 院:计算机科学与工程学院专 业:计算机科学与技术班 级:2013级1班姓 名: 学 号:20131303040指导教师: 2017年4月27日I作品名称基于C#的服务器日志分析系统的设计与实现作者姓名 创作时间2016.12-2017.5担任职责该系统主体基于C#、MySQL,主要功能是用来分析包含服务器系统配置信息的log文件,同时能够根据需求直接在系统内部直接对Excel进行细微格式调整。而要完成该系统的使用,同时需要兼备Linux、Unix、Windows操作系统的基础理论知识以及Linux的shell文档编写。该系统属于一个小型日
2、志分析工具,为服务器配置信息的自动化调研而提供服务。在多个维护、IDC迁移中,该系统能够有效降低工作难度,提高工作效率,极大缩短工作时间,能够让工程师从繁琐的工作中解放双手,为公司节约大量人力物力成本。毕业作品基本信息摘 要随科技发展,越来越多的科技型企业都需要对数据中心已老化的服务器进行更换,也就是我们所说的数据中心IDC迁移。而一众的老牌服务器厂商(HUAWEI、IBM、CISICO、DELL、HP、Lenovo、H3C等)均对此提供一定的技术支持,为客户提供相应的技术服务方案。然而,国内大多企业数据中心往往不会单一采用某一家公司的产品,而各大厂商单一服务成本昂贵。为解决此现状,第三方服务
3、运维应运而生。2016年7月始,实习于神州数码系统集成服务有限公司,该公司旗下品牌锐行服务作为国内最大的第三方维护商,为众多公司服务器运维提供复杂的技术解决方案。实习期间,在国家税务总局、中国外运长航集团的数据中心迁移中参与完成3000余台设备迁移。在服务器主机系统迁移中,主要由p2v、v2p两项构成。其中,必须先对服务器信息进行调研,才能够进行迁移方案的规划。在此过程中,任何一项信息调研出错都有可能导致迁移不成功。面对两千余台服务器,单一服务器信息调研数量20余条的巨大工作量,我们花费了大量的时间以及人力完成此工作,而调研自动化便成为我们工作中的迫切需求。 为提高工作效率,简化工作流程,结合
4、所学知识,针对调研关键环节日志信息读取设计并开发此Log日志分析系统。该系统主要采用基于面向对象的C#开发,能够对log日志进行批量读取、分析,并能按需提取有效信息进行分析、统计,并生成直观、简洁、可进行格式调整的Excel文档。【关键词】 服务器系统日志 日志分析 调研自动化 AbstractWith the continuous progress of science and technology and the hardware environment of the iterative update, more and more science and technology enterp
5、rises needs of the data center has been aging server replacement, which is what we call the IDC data center migration. And a veteran of the server vendors (HUAWEI, IBM, CISICO, DELL, HP, Lenovo, H3C, etc.) to provide some technical support, to provide customers with the appropriate technical service
6、s program. However, the majority of domestic enterprise data centers tend not to use a single companys products, and the major manufacturers of single service costs. In order to solve this situation, third party service operation and maintenance.At the beginning of July 2016, I practice in DCITS, th
7、e companys brand Ruixing Service as the largest providers, providing sophisticated technology solutions for many company server. During the internship, I was mainly involved in the State Administration of Taxation, Sinotrans Groups data center, to participate in the completion of more than 3000 equi
8、pment migration.In the server host system migration, mainly by P2V/ V2P. Among them, we must first carry out research on the server information to be able to migrate program planning. In this process, any information research errors are likely to lead to unsuccessful migration. In the face of more t
9、han 2000 servers, huge number of single server workload information survey of more than 20, we spent a lot of time and manpower to complete this work, which has become an urgent demand for our work in the research of automation.In order to improve the work efficiency and simplify the work flow, I co
10、mbine with the knowledge to design and develop the Log log analysis system. This system mainly uses C# development based on object oriented, able to read, batch analysis of log log, and can effectively analyze, according to statistics information extraction, and generate concise, can adjust the form
11、at of Excel document.Key words Log server system Log file analysis The research of automationIII目录毕业作品基本信息II摘 要IIIAbstractIV目录V引 言1一、绪 论2(一)研究背景2(二)研究内容及目标3(三)论文组织结构介绍4二、信息调研原理及问题5(一) 服务器系统相关概念5(二) 调研用服务器系统日志特点6(三)信息调研的传统步骤8三、服务器系统日志提取分析的设计11(一)Linux系统日志提取分析设计12(二)防伪模块(登录与注册)13(三)日志信息分析模块14(四)OA自动化模
12、块15四、系统测试评估17(一)测试流程:17(二)测试结果19结 论20参考文献21致 谢22附 录 1 系统日志23附 录 2 Linux shell脚本2527石家庄学院毕业设计报告引 言 神州数码系统集成服务有限公司(以下简称神州信息)有大量服务器运维项目合约,近期主抓2016国家税务总局机房搬迁服务项目以及中国外运长航数据中心搬迁项目两个大型项目,此外还有与苏宁、国美在线、京东等公司相关设备维护的签约,其中均涉及到大量的信息收集、统计、查看。相对于动辄上千台的设备信息收集,需要并且必须有一种合理的方法能够对每一台服务器设备、存储设备、网络设备、进行信息收集。对于搬迁项目,信息的收集整
13、理能够保证在设备迁入新机房之后的业务恢复,对信息进行调研收集也能够大大降低系统崩溃的风险,虽繁琐耗时却不可避免。故而萌生开发此日志分析系统对此过程进行自动化操作。该系统主要功能采用C#编写,后台注册服务器使用MySQL技术实现注册功能,是一个可执行的exe终端软件。启动软件即可自动对已收集的日志信息进行分析提取,并可生成特定格式的Excel表格。使用该系统进行服务器系统配置信息收取可以大幅度减少人工用时,提高工作效率。一、绪 论(一) 研究背景 于2016年8月,本人着手进行服务器信息调研,与另外三名同事对该项目中863台服务器进行了系统信息采集工作,共耗时8个工作日,完成上万条信息的采集,为
14、p2v/v2p规划奠定基础。而在此过程中,我们以惠普公司的前期调研为蓝本进行基础信息的核对。在与同事的沟通中,了解到惠普仅仅以两人天的时间完成了对此信息的调研。在随后与客户的接触中,逐渐了解到惠普公司有成型的方案、系统,能够对各类服务器进行自动化的调研,并且能够自动生成所需的表格。相比之下,我们的调研过程繁琐又容易出错,耗时又长,而惠普的调研则极为省时,但其成本也相对昂贵(30万的项目签约)。1. 自动化调研的重要性从调研时间上看,我司调研耗时要比惠普多出200倍,耗费巨大的人工成本。而从长远角度来看,人工调研远远不如自动化更为高效。从容错率角度,人工逐条调研由于其操作流程以及每个人状态,极有
15、可能出现细微的错误,而任何一线细微之错均有可能导致灾难性的系统故障。而惠普的调研方案由于其省却了人工操作,故而将此类错误大大减少,调研完毕更不必花费大量的时间去进行核对,又省去了近一倍的时间。综上所述,由于数据中心迁移的刚需以及当下IDC迁移技术条件,服务器系统信息调研必然不会被取代。而从长远角度看,我们无法在每次调研中招收大量实习生实现低人工成本,故而,在信息调研环节我们迫切需要进行自动化。2. IDC迁移项目简介IDC(Internet Data Center)即互联网数据中心,IDC迁移即将相关网络、存储、服务器、数据库、网络配置均迁移至目的地。其中,从物理机移至虚拟层或进行虚拟化(阿里
16、云、腾讯或是其他托管)称为p2v,从虚拟化集群迁移至物理层称作v2p。随着软硬件技术的不断发展,以及现实环境的利好,多数IDC管理中心均选择进行IDC迁建。而在此过程中,设计IDC大量网络、存储、服务器、交换机等物理迁移。而今年来集群化以及虚拟化已然形成趋势,在IDC系统迁移过程中又会涉及到大量p2v/v2p迁移。(1) 主体业务流程说明更换已经清空的机柜设备停机,断电下架数据备份,业务进程停止设备加电,开机运行设备搬迁至指定机柜,上架服务开启,业务复运行图1 迁移主体业务流程(2) 迁移总框架基础调研阶段规划设计阶段搬迁准备阶段系统优化阶段搬迁实施阶段图2 迁移框架(二) 研究内容及目标本系
17、统着重对基础调研阶段中服务器信息调研自动化进行研究以及设计,研究内容主要包含:系统信息提取自动化,shell脚本化以提高调研安全系数,日志分析处理自动化,Excel OA智能化。其设计现实意义在于节省大量的人工成本以及极大提高调研时效性,但由于现实条件所迫,暂时无法探寻到服务器信息提取深层原理。故而着重研究由系统log日志到可直观图标的自动化过程。(三) 论文组织结构介绍第一章介绍了IDC迁移的相关知识,用辩证的思维角度探讨了自动化调研的迫切性。结合现实环境,论述了本论题的必要性。第二章详细论述了服务器及其系统信息,同时介绍了调研过程中服务器日志的由来及区别,概括了信息调研的具体操作步骤,说明
18、了其发展情况。第三章提出本文的研究核心:自动化调研系统的设计与实现。说明了本系统的总体结构,并按日志提取、关键字识别、信息摘取、防伪与登录、OA自动化输出进行了详细的分析解读。同时,也通过大量的实例来分析、印证该系统设计的必要性。第四章对本系统测试进行了分析。二、信息调研原理及问题本章着重讲述在系统迁移过程中日志的由来原因以及特点,概括论述系统调研的原理以及常规问题。(一) 服务器系统相关概念运维行业根据实际操作对象不同大体分为:网络工程师、存储工程师、服务器系统工程师、虚拟化架构师等几类。在调研过程中,主要操作对象便是各类系统服务器,按服务器操作系统主要可划分为:Linux、Windows、
19、UNIX。而此篇将抛开大家耳熟能详的各类操作系统常规知识,而是更深层次挖掘各类平台的特点。1. Linux平台Linux系统是一个基于UNIX内核的多任务、多用户、支持多线程和多CPU的操作系统。硬件上能够同时支持32位以及64位设备。具有免费。稳定。安全、可靠、多平台的特点。大型IDC往往具有多线程、高并发的任务处理特点 ,诸多业务必须7*24小时不间断运行,处理中心往往都具有多核、多线程、多存储模块的特点,这就要求系统必须足够稳定可靠。而越是大型控制器,其硬件往往也越复杂,在操作系统选择上也要求兼容性更好。在众多操作系统中,Linux开源社区最多,由于Windows闭源,相比而言Linux
20、也更加安全。故而市场上常见服务器数据中心中Linux仍居首位。2. Windows平台Windows server操作系统是面向Windows的服务器操作系统。同为Windows平台,server版的windows原生支持一些服务器程序,例如,win7最大内存192G,2008R最大2TB。服务器版Windows也具有更高的可靠性和稳定性,可以关闭GUI,支持CPU、内存热插拔、组建集群等。与Linux、Unix相比,Windows Server对广大工作人员具有更高的可操作性,因为与Windows同根同源,相比而言具有更好的可观性和可把玩性。但其闭源、使用收费、社区群薄弱,与Linux、Un
21、ix相比又不具有良好的稳定性,所以更多被用在功能结构相对简单的小型机房或数据中心中。大型数据中心中,Windows Server更多扮演介入者的角色,为底层管理人员提供基本信息展示,而核心业务载体仍然为Linux或Unix。3. UNIX平台在工作中接触到的市面上的Unix大多为小型机搭载。小型机是一种性能与价格介于PC服务器和大型主机之间的一种高性能计算机,小型机是相对于大型机和微型机而言的。在国内市场,小型机也被称作小机,特指Unix服务器。现生产UNIX服务器的厂商主要有IBM、HP、浪潮、甲骨文。而我司所接触项目中主以惠普的HP-UX以及IBM的AIX相关。IBM公司采用Power处理
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 C# 服务器 日志 分析 系统 设计 实现 毕业设计 论文
限制150内