海量网络流量日志分析系统的设计与实现.docx

海量网络流量日志分析系统的设计与实现 哈尔滨工业大学工程硕士学位论文 目录 摘要. I Abstract . I I 第1章绪论. (1) 1.1课题背景及研究的目的和意义 (1) 1.2与本课题有关的国内外研究状况 (1) 1.2.1 国外研究现状 (2) 1.2.2 国内研究现状 (4) 1.3本课题研究的主要内容 (6) 1.4论文组织结构 (7) 第2章日志分析系统需求分析 (8) 2.1业务流程分析 (8) 2.2功能性需求分析 (11) 2.2.1 CLOUDCACHEHTTP日志需求分析 (11) 2.2.2 CLOUDMEDIARTMP日志需求 (13) 2.2.3 CLOUDMEDIAHTTP日志需求 (16) 2.3非功能需求分析 (18) 2.4关键技术 (18) 2.5本章小结 (19) 第3章日志分析系统的设计 (20) 3.1日志分析系统总体架构设计 (20) 3.2实时分析设计 (25) 3.3离线拆分合并设计 (28) 3.4本章小结 (30) 第4章日志分析系统的实现 (31) 4.1实时数据分析模块 (31) 4.1.1 日志文件监控模块 (31) 4.1.2业务分析模块 (34) 4.1.2.1 CACHE业务模块 (35) 4.1.2.2 MEDIA业务模块 (38) 4.1.3字典查找IP树 (39) 哈尔滨工业大学工程硕士学位论文 4.1.4数据发送模块 (41) 4.1.5数据处理模块 (43) 4.1.5.1 数据预处理模块 (43) 4.1.5.2 SN并发统计模块 (44) ,4.2离线日志切割汇总模块 (46) 4.2.1切割分块模块 (46) 4.2.2 中心汇总合并模块 (48) 4.2.2.1 文件分类模块 (49) 4.2.2.2 合并排序模块 (50) 4.3成果展示 (51) 4.3.1 实时分析代码编译 (51) 4.3.2 离线拆分合并编译 (52) 4.3.3 程序执行 (54) 4.4本章小结 (56) 第5章日志分析系统的测试 (57) 5.1系统测试环境 (57) 5.2系统功能测试 (58) 5.2.1测试说明 (58) 5.2.2 测试用例 (59) 5.3系统性能测试 (60) 5.4测试结果与分析 (61) 5.5本章小结 (61) 结论 (62) 参考文献 (63) 哈尔滨工业大学学位论文原创性声明和使用权限 (66) 致谢 (67) 个人简历 (68) 第1章绪论 1.1 课题背景及研究的目的和意义 本课题来源于奇虎360科技有限公司（以下简称360公司）。随着基于互联网的服务不断增加，公司通过服务器向用户提供各式各样的服务，与此同时每天产生着大量的数据信息。 互联网技术的高速发展和计算机的普及，让我们生活在一个数据激增的时代。在日常使用网络的过程中数据无时无刻不在产生。如今已很难衡量每天产生多少数据，接着又存储了多少数据1。如此大量的信息通过日志的形式记录和存储。如何从这些海量的日志数据中统计和分析出我们想要的信息，就变得非常的重要。由此海量网络流日志分析系统的设计与实现这个课题就应运而生。 本课题研究的海量网络流量日志分析系统的日志来源于360直播云CDN 系统产生的访问日志。CDN（Content Delivery Network）又称作内容分发网络，是一项针对网站的加速服务，通过在各地部署边缘节点，以廉价的存储空间来弥补高昂的传输费用，提升了用户访问速度。考虑到传统的海量数据分析系统，输入数据来源相对集中，很难适应复杂网络环境下、数据来源分布广泛的情况下的网络延时问题。同时针对直播系统，数据分析结果的实时性要高于传统文件系统。针对海量数据源的实时在线分析，要尽可能满足低延时，高准确率，较强的数据完整性；这些相对于传统的离线数据分析都是具有挑战性的。这就是本文中所要描述的系统海量网络流量日志分析系统。 该海量网络流量日志分析系统有效的解决了，海量数据情况下，数据来源分布广的网络延时问题；同时也很好的满足了用户对于数据分析结果的实时性获取信息要需求。本系统具有效率高效、使用简单方便，可操作性强，稳定性强与灵活度高的特点。能够适用于传统文件CDN以及新型流媒体直播点播CDN等领域。 1.2 与本课题有关的国内外研究状况 日志是指在有顺序的时间序列中，特定实体的相关操作和操作产生的结果的总体，日志记录了实体系统中相关的运行信息，包括硬件、软件和生产环境问题的关键要素，同时还可以对系统中发生的运行情况进行监控。因此可以