【讲义文稿】网络安全分析中的大数据技术应用.docx

《【讲义文稿】网络安全分析中的大数据技术应用.docx》由会员分享，可在线阅读，更多相关《【讲义文稿】网络安全分析中的大数据技术应用.docx（3页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、【讲）5】网肿剧支术酶伴随网络技术的不断发展和网络中数据数量的逐渐增加，网络数据信息逐渐丰富多样化，随之而来就会产生一系 列的网络安全问题，不仅会给国家的发展产生重要的影响，还会造成个人财产等的损失，因此，加强网络安全分析工作 非常必要。传统的安全防护技术手段的落后，已经无法满足现代网络日益发展的需求，使得网络安全防护工作显得提襟 见肘，也给网络信息安全埋下了诸多隐患。作为现代化的技术，大数据技术依靠其数据规模大、火理效率高的特点，应 用到网络信息安全分析中，对网络信息安全起到了有效保障作用。1 .网络安全分析和大数据技术的概述网络安全分析概述对于当前网络安全的定义，可以从狭义和广义的角度进行

2、区分。狭义的网络安全在大多数人的理解中是指互联网 中信息数据的安全，者于强调数据信息在互联网传输过程中不被泄露，互联网不被攻击等。而广义的网络安全就念就相 对广泛，包括支撑互联网运行的基础硬件设施、计算机操作系统、各种软件和信息的安全，即整个网络运行过程中涉及 的所有项目的内容，都不会遭到故意或意外的破坏。因而，为了维护网络安全，首先就要对网络运行过程中出现的安全 问题以及可能出现的安全问题进行分析。近年来出现的一系列的网络安全分析系统，在有效于灵防和规避网络安全问题的 发生方面发挥了巨大作用，为各行业、企业网络的安全运行做出了很大贡献。1.1 大数据的概述“大数据”是一种依靠全新的处理方式，

3、从而具有较强的决策力、洞察力和流程优化能力的信息化资产，以便适应现 代社会对信息海量化、高增长率和多样化的需求。相较千传统的数据,大数据无论是在管理，还是在处理方面都具有较 大的难度；尤其在数据的采集、挖掘、分析中，大数据是需要依托云计算技术平台,搭建数据库，从而高效处理海量的 及杂数据。大数据具有海量的数据规模、快速的数据流转、多样的数据类型、价值密度低等特点。依托这些特点和优势， 大数据技术被广泛应用于各行各业，为企业和行业的发展提供了丰富的数据资源支持。2 .大数据技术在网络安全分析中的应用优势当前的网珞系统发展趋势一是数据量的逐渐增加，另一方面就是攻击手段和方式的多样性和隐蔽性。在庞大

4、的数 据系统中，很难快速甄别具体的网络攻击隐患所在。借助大数据技术的应用，可以对网络中的数据进行全面的分析和研 究，因此，在安全分析方面的应用优势如下：1准确性。在网络系统运行过程中，网络信息的传输通梏以数据流的形式进行传输的。而大数据技术应用到网络 安全系统中，会对网络系统中的数据流进行准确记录，并构建数据流的分析模型，通过与模型的分析比较，探究系统中 是否存在安全风险，大大提高了网络安全风险的准确性。2高效性。大数据技术的应用，除了时网络系统的运行数据进行广泛搜集外，还可以依托云计算技术对数据流变 化模型进行快速构建，这样对存储系统的要求不会那么高。它可以对数据流进行快速比对，避免了传统安

5、全分析技术对 存储系统的高要求。大数据技术的应用具有更高的系统分析效率，这对安全分析系统而言是最为重要的。3全面性。在现代网络运行中，存在诸多的影响网络安全的因素，为了最大限度地保障网络安全，对网络运行过 程中产生的海量数据进行提取和分析工作很有必要。而大数据技术的应用，具有较强的数据分析效率，尤其对非结构化 数据的处理效果更为明显，这大大提升了分析数据的全面性和有效性，实现了海量数据的收集、处理，使得数据分析结 果更具全面性。3 .大数据技术在网络安全分析中的应用大数据技术 在网络安全分析中的应用，主要在以下几个方面体现大数据技术在数据采集中的应用大数据技术应用在网络安全分析中的第一个基础步

6、骤就是数据的采集，通常包含日志和流量的采集，这是后犊工 作得以开展和延续的关键，也是网络安全分析的重要一步。在传统的数据采集过程中，工作人员的专业技术能力会影响 到数据采集的准确性和效率的高低。伴随大数据技术与网络技术的结合，尤其以Chukwa等为代表的工具在数据采集中 的广泛应用，使得数据聚集的效率和准确率都有了很大的提升。该工具本身具有运行效率高、采集速度快的特点。此外， 采用分步式数据采集模式，可以达到每秒数百兆的梁集速率，镜像采集具有全流程数据采集功能，可以达到理想的数据 采集效果。3.1 大数据技术在数据存储中的应用当前网络信息无论是在数量还是在类型方面都呈现出不断增长的趋势，如此庞

7、大的数据传输，要想在传输过程中 确保数据传输不会发生改变，这就对数据存储提出了更高的要求。传统的存储类型很难满足现阶段推动网络安全进一步 发展的需要，因此，将大数据技术应用于数据存储成为不可阻挡的趋势。在数据存储中，大数据技术的应用主要体现在 不同存储方式的提供和使用上。可以依靠大数据强大的计算能力，实现对数据的计算、处理和分类。大数据下数据存储 的方法主要是云存储。3.2 大数据技术在数据检索中的应用在数据完成相关采桀和存储工作后，还需要对采桀和存储的数据进行有机整合，实现数据的索引，以便用户的检 索查询。在大数据背景下，为了实现对数据的索引，通常采取的是MAPREDUCE方法，这大大提升了

8、网络安全分析的 性能和数据分析质量。在数据整合分析之前，网络安全数据索引工作不容忽视,能够有效处理网络安全数据分析中的各 种问题。在数据索引之前，需要对所需的数据进行二次蜕计，以提高数据索引的质量。在完成所有的数据工作后，要对 数据信息进行解读，在大数据的背景下,利用SPARK技术和STROM技术对采集的数据进行综合分析。而且在数据检 索中，要充分处理好远花茂数据传输中存在的问题，远苑高数据传输会造成数据抓取不到位的情况，容易造成数据丢失。 通过使用大数据技术，可以使用复杂的事件处理方法来避免长距离数据传输过程中的数据丢失现象，并提高数据传输效 率。3.3 大数据技术在数据分析中的应用在当前的

9、网络信息安全中，将大数据技术应用于数据分析，主要通过信息的实时监控，来确保网络信息的安全。 当然在进行数据分析时，需要结合信息的特点来选择不同的分析方法和相对应的分析技术，从而确保数据信息的安全性 和准确性。当前，大数据技术下整用的数据分析方法以GEP技术和Sprk技术最为常见。它们主要是对数据信息中的错 误、隐患和漏洞等进行分析，以保证数据分析工作能够顺利进行，推动下一步工作。3.4 大数据技术在复杂数据处理中的应用当甫，不断发展的网络中蕴含的数据类型逐渐复杂、多样化，而大数据技术的应用，打破了传统技术在处理复杂 数据方面的弊端，能够实现对一些复杂数据进行高效、全面的深度处理，比如对多源异构

10、数据的处理模式。尤其当出现 僵尸网络时，网络信息安全会受到极大威胁，大数据技术能够很好解决这一难题，它从流量数据的特点出发，促进多方 面数据信息的整合，进行发散性关联分析，对数据进行更为全面的分析，保证了复杂数据处理的正确性、深入性，确保 了网络安全分析工作的高效、快速。4 .基于大数据技术的网络安全平台建设1网络安全平台架构面对现代不断出现的网络安全问题，依靠大数据技术构建网珞安全平台成为当前加强网络信息安全的重要举措。 网络安全平台的构建，主要包含以下四个方面的内容，即数据的采集、存储、分析和表现。数据采集是后续工作得以正 常开展的关犍技术，尤其大数据技术下对数据采集的准确性和进度都有很高

11、的要求；为了便于后续数据分析，确保分析 结果的准确性，对数据存储的质量和效率有了更严格的要求；数据分析是指讲数据信息进行安全分析，并保证其安全性， 还要对数据进行整理。根据数据类型的不同特点，进行分类与整理，大数据技术可以为网络安全分析提供强有力的信息 依据，更好地构建网络安全平台；其次，大数据技术丰富了数据的表现形式。过去单一类型的数据，在大数据技术的加 持下，变得更加多样化，实现了数据信息的有效处理。4.2平台实施的技术支持在选取技术手段的过程中，要结合不同的数据应用形式。比如在数据采集阶段，当前，最常见的数据采集技术以 Stom, hive. flume等为代表，在具体过程中，要根据不同

12、的数据采集需求和类型进行采集，使数据采集的系统性和规 范性更强。在数据的存储阶段，最为常见的存储技术是HDFS,它具有容量大、吞吐量高、能有效存储数据的特点。在 数据分析阶段，MapReduce技术是一种常用的数据分析方法，可以对存储的信息进行整合，进行进一步的分析和整理， 促进网络安全工作的顺利开展。从下图1可以看出，该平台的数据分析工作主要由MapReduce技术和CPE技术完成。 前者主要是对数据进行分类、计算，并整合相关数据信息，完成数据分析和处理工作，为网络安全分析工作提供了依据。 而后者，能够分析事件流，通过聚合、关联等环节将简单事件处理成高级事件，从而从大量信息中挖掘出有用信息，

13、促 进网络安全平台的正常运行。图1 ：网络安全平台架构. 3实时安全分析主机入侵检测和DDoS攻击路径的准实时监控是实时安全分析的两个主要部分。DDoS攻击路径实时监测可以及 时获取入侵信息的相关信息，并对获取的信息迸行查询和分析；而主机入侵检测指的是对上述信息进行标记，并且这种 类型的信息被存储在列表中。将列表与巳有的入侵信息记录进行对比后，如果发现是新的攻击主机信息，系统会自动定 义，以加强日后对此类信息的防范，提升网络安全分析的效率。4 .结语总之，当前信息技术的飞速发展，使得网络中的数据总量不断增加。在网络安全分析中，需要应用大数据技术来 提高工作效率。随着大数据技术应用的不断深入，不仅可以提高计算机网络的数据处理速度，还可以为网络数据分析平 台提供可靠的安全保障。还能促进信息技术的创新发展，提高计算机网络运行的安全性。