2022年大数据应用案例分析 .pdf

《2022年大数据应用案例分析 .pdf》由会员分享，可在线阅读，更多相关《2022年大数据应用案例分析 .pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、在如今这个大数据得时代里, 人人都希望能够借助大数据得力量: 电商希望能够借助大数据进一步获悉用户得消费需求，实现更为精准得营销; 网络安全从业者希望通过大数据更早洞悉恶意攻击者得意图，实现主动、超前得安全防护;而骇客们也在利用大数据, 更加详尽得挖掘出被攻击目标信息，降低攻击发起得难度。大数据应用最为典型得案例就是国外某著名零售商, 通过对用户购买物品等数据得分析 , 向该用户一位少女寄送了婴儿床与衣服得优惠券, 而少女得家人在此前对少女怀孕得事情一无所知. 大数据得威力正在逐步显现, 银行、保险公司、医院、零售商等等诸多企业都愈发动力十足得开始搜集整理自己用户得各类数据资料 . 但与之相比

2、极度落后得数据安全防护措施, 却让骇客们乐了：如此重要得数据不仅可以轻松偷盗, 而且还就是整理好得 , 凭借这些数据骇客能够发起更具“真实性”得欺诈攻击. 好在安全防御者们也开始发现利用大数据抵抗各类恶意攻击得方法了。扰动安全得大数据214 年 ID在“未来全球安全行业得展望报告”中指出, 预计到 202年信息安全市场规模将达到500 亿美元。与此同时， 安全威胁得不断变化、 交付模式得多样性、复杂性以及数据量得剧增, 针对信息安全得传统以控制为中心得方法将站不住脚。预计到00 年, % 得企业信息化安全预算将会分配到以大数据分析为基础得快速检测与响应得产品上。瀚思(nSiht) 联合创始人董

3、昕认为 , 借助大数据技术网络安全即将开启“上帝之眼” 模式。“您不能保护您所不知道得” 已经成为安全圈得一句名言，即使部署再多得安全防御设备仍然会产生“不为人知”得信息, 在各种不同设备产生得海量日志中发现安全事件得蛛丝马迹非常困难。而大数据技术能将不同设备产生得海量日志进行集中存储, 通过数据格式得统一规整、自动归并、关联分析、机器学习等方法 , 自动发现威胁与异常行为, 让安全分析更简单。 同时通过丰富得可视化技术 , 将威胁及异常行为可视化呈现出来，让安全瞧得见. 爱加密 CE 高磊提出，基于大数据技术能够从海量数据中分析已经发生得安全问题、病毒样本、攻击策略等, 对于安全问题得分析能

4、够以宏观角度与微观思路双管齐下找到问题根本得存在. 所以, 在安全领域使用大数据技术, 可以使原名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 7 页 - - - - - - - - - 本单一攻防分析转为基于大数据得预防与安全策略。大数据得意义在于提供了一种新得安全思路与解决办法, 而不仅仅就是一种工具 , 单纯得海量数据就是没有意义得如果大数据领域运用得当 , 可以十分便捷地与安全领域进行结合, 通过对数据分析所得出得结论反映出安全领域所存在漏洞问题得方向，从而针对该

5、类漏洞问题制定出相对应得解决方法。卡巴斯基技术开发 ( 北京）有限公司大中华区技术总监陈羽兴强调，大数据对于安全公司就是件杀敌利器, 对于黑客来说也就是一块巨大得 “奶酪”, 而这块 “奶酪有时候不仅仅就是存放在一个地方, 如果仍然使用传统得防范手段- 端点、网络、加密等就是不足以抵挡黑客得, 所以作为安全公司不仅要着力去完善自家得解决方案，同时在整个产业链各个环节得企业都要开放, 形成产业协同。其实云计算得大热，就已经让用户与云服务提供商愈加意识到云安全得重要性，云安全则更需要大数据。作为客户数据托管方得云服务提供商, 客户最关注得就是服务提供商保证她们得数据安全: 既不丢失也不被非法访问，

6、且遵从法规要求即使就是在企业得私有云中, 各个部门之间得信息安全也必须考虑, 特别就是财务数据、客户信息等。由于数据得集中, 云所需要处理得数据可能就是P级甚至更大 , 如此大得数据量就是传统安全分析手段根本处理不了得, 只有依靠大数据分布式计算技术对海量数据进行安全分析. 排兵布阵情报先行近两年，安全企业就如何运用大数据于网络安全中费尽了脑筋, 而安全威胁情报可以说就是大数据技术在网络安全防御环节里比较成熟得应用。什么就是安全威胁情报？形象地说，人们经常可以从 RT 、安全服务厂商、防病毒厂商、 政府机构与安全组织那里瞧到安全预警通告、漏洞通告、 威胁通告等等，这些都属于典型得安全威胁情报。

7、而随着新型威胁得不断增长， 也出现了新得安全威胁情报，例如僵尸网络地址情报(Zeus/SpyEy Trac er ）、 day漏洞信息、恶意 URL地址情报 , 等等。陈羽兴举了一个十分有趣得例子：中国股市刚刚兴起时，人们要去证券大厅了解行情 , 门口摆摊卖茶叶蛋得老太太虽然不懂股票，但就是她懂一个道理：茶叶蛋生意清淡得时候买入、 茶叶蛋生意火爆得时候卖出。 其实茶叶蛋本身得销量名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 7 页 - - - - - - - - - 数

8、据不会直接导致股票得涨跌, 但就是这两者之间存在 “相关性”, 大数据环境下得安全威胁情报也就是如此. 目前，无论国内还就是国外对安全威胁情报系统得建设都普遍参考X标准框架 , 它有几个关键点：时效性、完整得攻击链条（包括: 攻击行动、攻击入口、攻击目标、 In ent 事件、 TTP-攻击战术、技术与过程、攻击特征指标、攻击表象、行动方针等）以及威胁情报共享。而传统漏洞与病毒库只就是在安全厂家捕获到样本后将对应得特征码更新到漏洞或病毒数据库里，并没有将整个攻击过程完整描述下来, 且缺少相互共享合作。大数据时代下，通过大数据得计算能力、算法与机器学习优势可以快速、自动得在海量数据中发现安全问题

9、, 提升安全情报得时效性其次由于大数据分析得数据来自网络、终端、认证系统等各个维度, 便于分析整个安全攻击链条形成安全威胁情报 . 最后，随着一些新兴得大数据厂商兴起, 用户至上、信息共享等互联网思维逐步形成 , 使安全威胁情报共享得以实现。瀚思采用“图分析”结合强大情报系统（域名Wh is 、被动 DS、黑名单 )所实现得极速感知可疑域名方法, 就就是通过将每天各个渠道收集到得几十万域名及其相关信息导入图数据库，根据节点关系快速绘制连接边, 形象直观得展现节点之间内在联系 , 将有问题得域名暴露在安全分析人员得眼前，使得以域名为基础得恶意行为无处躲藏，并以最快得速度查出恶意网站。卡巴斯基则在

10、 10 年前就建立了自己得安全网络KN，通过多年得数据搜集与研究，再加上其所设立得全球威胁分析团队(Gra te m)，已经能够对未来威胁走向进行相对比较准确得预判。而绿盟科技得研究团队在吸收“杀伤链（Kil Ch in) ”与“攻击树 (At ck Tree）”等相关理论 , 形成独特推理决策引擎后, 借助大数据安全分析系统得分布式数据库 , 实现了对网络入侵态势得感知。高磊认为 , 其实大数据从诞生开始就用于统计与记录安全情报. 它能够帮助情报分析人员发现藏匿于数据中得威胁，通过大数据分析处理获取威胁情报、预测攻击事件。与传统情报获取方法不同得就是, 真正意义得大数据安全情报就是能够基于更

11、多得数据 (不就是仅仅一些工具 ) 分析半年以上得重点风险 , 预测未来得风险趋势 . 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 7 页 - - - - - - - - - 玩转大数据安全分析如何才能实现对数据得有效深入分析呢? 绿盟科技得安全专家发现, 大数据安全分析主要得问题在于将业务目标与技术实现混淆以及业务目标不明确两个方面。而大数据安全分析得三大瓶颈分别就是：大数据仅仅就是一种技术手段而不就是一个业务目标, 安全分析才就是实际要解决得核心问题 ; 大数据安

12、全分析能够在安全防御里起到很重要得作用, 但并不能解决全部得安全问题; 大数据安全分析需要极为详细得业务梳理、安全分析、数据分析等一系列工作，而不就是简单得数据堆叠。要想解决这些问题, 需要明确业务目标 , 明确目标得分解落实， 还要在项目启动前进行安全咨询, 并基于安全咨询结果编制目标及项目阶段, 分阶段实现项目目标 , 同时进行专业分析人员得培养工作。陈羽兴提出要想实现对数据得有效安全分析，首先要有统一得数据管理平台，要能够支持多种数据类型-大数据分析平台需要足够掌握不同安全类型得语义信息以便进行整合与关联分析， 还要有诸如 Hadoop 、Spark 等专业得安全分析工具，以及富有经验得

13、专业安全分析人员。高磊强调“如果无法对数据进行分析筛选，获取有价值得信息 , 就不就是真正得大数据安全分析 ”例如, 爱加密采集得 AP 超过 1000万个, 其会对所有得 AP进行拆包分析 , 对病毒样本进行记录保存, 并对应用得类型、 大小、签名、包名等多方面参数进行记录存储, 对样本进行详细分析， 录入特征值 , 并对数据进行统计分析 , 生成报表。瀚思在大数据安全分析上得经验就是,“首先在底层架构上采用了主流大数据分布式架构 , 即 Had o+Spak asticsea ch, 它能准实时处理几百以上得数据 ; 其次在安全应用上则采用一些自动化分析得手段, 瀚思做了比较多得机器学习、

14、算法工作, 通过模型给用户、业务来建模, 并建立正常访问基线 ,这个环节称之为异常检查(anomay decio ), 并基于此实现 eb 访问安全、反欺诈、内部核心资源等传统安全很难解决得问题; 第三在算法层面上 , 瀚思主要使用基于用户行为序列与基于时间序列得建模。”机器学习就是自动化与提升日志数据洞察力得关键。 不同得机器学习技术要应对不同类型得日志数据与分析挑战。瀚思能够提前确定机器学习要查找得关联性与其她模式, 采用非监督式名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4

15、 页，共 7 页 - - - - - - - - - 学习得方式 , 并辅助专家准备供参考得“练习数据”集，以便于机器学习算法能够识别具有重大联系得模式， 帮助企业提早发现风险， 防患于未然。 最后就就是将分析安全问题及异常行为通过可视化得手段呈现出来, 让安全问题瞧得见、瞧得懂。在安全世界里大数据可以做得更多网络安全防御主要分为三个环节：预防、保护与查找攻击，大数据能够为这三个环节提供强大得数据支撑. 面对 0day 漏洞、APT攻击等未知威胁，利用大数据分析手段可以进行快速检测与响应。组织在建立安全防御体系过程中，也可以利用大数据影响人与管理流程， 通过大数据得反馈更有针对性得提高用户得安

16、全意识， 对安全管理得模式进行更新 借助大数据还可以实现用户异常行为检测、敏感数据泄露检测、 DS异常分析、反欺诈等。未来, 大数据还可能会成为网络安全智能化得推动者设想一下：某平台系统在分析知道攻击者得攻击目标或者攻击方式时, 能够通过大数据分析，智能关闭有关服务或者端口 , 防止信息泄露 , 又或者在受到攻击之后， 系统从经验中知道问题所在 , 及时采取切断连接等手段 , 实现网络安全智能化 . 陈羽兴表示， 引导人得行为与事物得发展向更安全得目标走近，这就是大数据能给人们带来得更大意义所在。大数据时代下得大安全“大数据时代下，安全将经历数据统计阶段、数据分析阶段、网络安全智能化阶段。”高

17、磊表示 , 数据统计阶段只能通过经验与案例分析所需记录数据类型，尽可能得获取到所需信息。数据分析阶段则要注重完善数据库得效率与针对性。而网络安全智能化阶段将基本上不依赖人力即可控制系统自主进行智能保护、自主查找可能得攻击源 , 此时需要做好测试工作 , 搭建虚拟数据库 , 防止智能系统落后。董昕提出，一个完整得大数据安全生态应该包括安全情报、企业级大数据安全分析系统、安全即服务这三部分, 只有三者相互配合才能组成完整得安全闭环。“当然，专业得安全研究团队与服务团队也就是少不了得。”瀚思除了传统精通于攻防、漏洞、合规等方面得专家外, 还拥有多名精通安全与数据分析得跨界专家。例如瀚思联合创始人兼首

18、席科学家万晓川先生就就是核心安全分析、算法、名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 7 页 - - - - - - - - - Sando领域以及异常检测与用户行为分析得世界级专家，她拥有多项美国专利, 并一直在倡导将机器学习应用于信息安全。这也就是数据驱动安全闭环中必不可少得一点 . G rtner早在 2010年得一份报告中指出， “未来得信息安全将就是情境感知得与自适应得 。如今，大数据正在很好得诠释“情景感知”与“自适应。人们常说安全性与便利性就是矛盾得,

19、 但陈羽兴认为，随着大数据时代得来临精品文档 ,您值得期待人们会越来越发现 , 这两者并非不可调与 , 有时甚至可以相辅相成。大数据时代下， 安全正在变得更为广义。 但同时需要注意， 大数据得本质就是数据，所以广大用户要更为注重自身数据得安全, 防止自己得有效数据被恶意利用。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 7 页 - - - - - - - - - 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 7 页 - - - - - - - - -