大数据时代信息安全面临的挑战与机遇计算机数据挖掘与模式识别_论文-会议文章.pdf

大数据时代信息安全面临的挑战与机遇 根据有关学者的研究，数据密集型科学 将成为继实验科学、理论科学、计算机科学 之后，人类科学研究的第四个范式。以大 数据为代表的数据密集型科学将成为新一次技术变革的基石。随 着数据的进一步集中和数据量的增大，对海量数据进行安全防护 变得更加困难，数据的分布式处理也加大了数据泄露的风险，信 息安全正成为制约大数据技术发展的瓶颈。大数据时代已经到来 物联网、云计算、移动互联网等新技术的发展，使得手机、平板电脑、PC 及遍布地球各个角落的传感器，成为数据来源和 承载方式。据估计，互联网上的数据量每两年会翻一番，到 2013 年，互联网上的数据量将达到每年 667EB(1EB=230GB)。这些数据绝大多数是非结构化数据”，通常不能为传统的数据库 所用，但这些庞大的数据 宝藏”将成为 朱来的新石油”。1.大数据具有四个典型特征 大数据(Big Data)是指无法用现有的软件工具提取、存 储、搜索、共享、分析和处理的海量的、复杂的数据集合”。业 界通常用四个 V 来概括大数据的特征。-数据体量巨大(Volume)。到目前为止，人类生产的 所有印刷材料的数据量是 200PB(1PB=210TB)，而历史上 全人类说过的所有的话的数据量大约 5EB(1EB=210PB)。当 前，典型个人计算机硬盘的容量为 TB 量级，而一些大企业的数 据量已经接近 EB 量级。-数据类型繁多(Variety)。这种类型的多样性也让数据 被分为结构化数据和非结构化数据。相对于以往便于存储的以文 本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据 的处理能力提出了更高要求。价值密度低(Value)。价值密度的高低与数据总量的 大小成反比。以视频为例，一部 1 小时的视频，在连续不间断的 监控中，有用数据可能仅有一两秒。如何通过强大的机器算法更 迅速地完成数据的价值提纯”成为目前大数据背景下亟待解决 的难题。-处理速度快(Velocity)。这是大数据区分于传统数据 挖掘的最显著特征。根据 IDC 的 数字宇宙”报告，预计到 2020 年，全球数据使用量将达到 35.2ZB(1ZB=210EB)。在如此 海量的数据面前，处理数据的效率就是企业的生命。2.大数据成为国家和企业的核心资产 2012 年瑞士达沃斯论坛上发布的 大数据大影响报告称，数据已成为一种新的经济资产类别，就像货币或黄金一样。奥巴 马政府已把 大数据”上升到国家战略层面，2012 年 3 月，美国 宣布投资 2亿美元启动大数据研究和发展计划”借以增强收集 海量数据、分析萃取信息的能力。美国政府认为，大数据是 朱 学之后人类科学研究的第四个范式以大数据为代表的数据密集型科学将成为新一次技术变革的基石随着数据的进一步集中和数据量的增大对海量数据进行安全防护变得更加困难数据的分布式处理也加大了数据泄露的风险信息安全正及遍布地球各个角落的传感器成为数据来源和承载方式据计互联网上的数据量每两年会翻一番到年互联网上的数据量将达到每年这些数据绝大多数是非结构化数据通常不能为传统的数据库所用但这些庞大的数据宝藏将成为朱来的新据集合业界通常用四个来概括大数据的特征数据体量巨大到目前为止人类生产的所有印刷材料的数据量是而历史上全人类说过的所有的话的数据量大约当前典型个人计算机硬盘的容量为量级而一些大企业的数据量已经接近量级数据来的新石油”，一个国家拥有数据的规模、活性及解释运用的能 力将成为综合国力的重要组成部分，未来对数据的占有和控制甚 至将成为继陆权、海权、空权之外国家的另一个核心资产。对企业来说，数据正在取代人才成为企业的核心竞争力。在 大数据时代，数据资产取代人才成为企业智商最重要的载体。这 些能够被企业随时获取的数据，可以帮助和指导企业对全业务流 程进行有效运营和优化，帮助企业做出最明智的决策。此时，企 业智商的基础就是形形色色的数据。大数据在重新定义企业智商的同时，对企业核心资产也进行 了重塑，数据资产当仁不让地成为现代商业社会的核心竞争力。在大数据时代，企业必须熟悉和用好海量的数据，而互联网行业 已提早感受到了大数据带来的深切变化。一些互联网企业已经完 成了核心竞争力的重新定义。3.大数据 蓝海”成为竞争的新焦点 大数据所能带来的巨大商业价值，被认为将引领一场足以与 20 世纪计算机革命匹敌的巨大变革。大数据正在对每个领域造 成影响，在商业、经济和其他领域中，决策行为将日益基于数据 分析，而不再是凭借经验和直觉。大数据正在成为政府和企业竞 争的新焦点。各大企业正纷纷投向大数据促生的新蓝海。甲骨文、IBM、微软和 SAP 共投入超过 15 亿美元成立各自的软件智能 数据管理和分析专业公司。在大数据时代，商业生态环境在不经 意间发生了学之后人类科学研究的第四个范式以大数据为代表的数据密集型科学将成为新一次技术变革的基石随着数据的进一步集中和数据量的增大对海量数据进行安全防护变得更加困难数据的分布式处理也加大了数据泄露的风险信息安全正及遍布地球各个角落的传感器成为数据来源和承载方式据计互联网上的数据量每两年会翻一番到年互联网上的数据量将达到每年这些数据绝大多数是非结构化数据通常不能为传统的数据库所用但这些庞大的数据宝藏将成为朱来的新据集合业界通常用四个来概括大数据的特征数据体量巨大到目前为止人类生产的所有印刷材料的数据量是而历史上全人类说过的所有的话的数据量大约当前典型个人计算机硬盘的容量为量级而一些大企业的数据量已经接近量级数据巨大变化：无处不在的智能终端、随时在线的网络传 输、互动频繁的社交网络，让以往只是网页浏览者的网民的面孔 从模糊变得清晰，企业也有机会进行大规模的精准化的消费者行 为研究。大数据蓝海将成为未来竞争的制高点。大数据给信息安全带来了新的挑战与机遇 大数据在成为竞争新焦点的同时，不仅带来了更多安全风 险，同时也带来了新机遇。一是大数据成为网络攻击的显著目标。在网络空间，大数据 是更容易被 发现”的大目标。一方面，大数据意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会吸引更多的潜在攻 击者。另一方面，数据的大量汇集，使得黑客成功攻击一次就能 获得更多数据，无形中降低了黑客的进攻成本，增加了 收益率”。二是大数据加大隐私泄露风险。大量数据的汇集不可避免地 加大了用户隐私泄露的风险。一方面，数据集中存储增加了泄露 风险；而这些数据不被滥用，也成为人身安全的一部分；另一方 面，一些敏感数据的所有权和使用权并没有明确界定，很多基于 大数据的分析都未考虑到其中涉及的个体隐私问题。三是大数据威胁现有的存储和安防措施。大数据存储带来新 的安全问题。数据大集中的后果是复杂多样的数据存储在一起，很可能会出现将某些生产数据放在经营数据存储位置的情况，致 使企业安全管理不合规。大数据的大小也影响到安全控制措施能 否正确运行。安全防护手段的更新升级速度无法跟上数据量非线 性增长的学之后人类科学研究的第四个范式以大数据为代表的数据密集型科学将成为新一次技术变革的基石随着数据的进一步集中和数据量的增大对海量数据进行安全防护变得更加困难数据的分布式处理也加大了数据泄露的风险信息安全正及遍布地球各个角落的传感器成为数据来源和承载方式据计互联网上的数据量每两年会翻一番到年互联网上的数据量将达到每年这些数据绝大多数是非结构化数据通常不能为传统的数据库所用但这些庞大的数据宝藏将成为朱来的新据集合业界通常用四个来概括大数据的特征数据体量巨大到目前为止人类生产的所有印刷材料的数据量是而历史上全人类说过的所有的话的数据量大约当前典型个人计算机硬盘的容量为量级而一些大企业的数据量已经接近量级数据步伐，就会暴露大数据安全防护的漏洞。四是大数据技术成为黑客的攻击手段。在企业用数据挖掘和 数据分析等大数据技术获取商业价值的同时，黑客也在利用这些 大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信 息，比如社交网络、邮件、微博、电子商务、电话和家庭住址等 信息，大数据分析使黑客的攻击更加精准。此外，大数据也为黑 客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻 击，可能会同时控制上百万台傀儡机并发起攻击。五是大数据成为高级可持续攻击的载体。传统的检测是基于 单个时间点进行的基于威胁特征的实时匹配检测，而高级可持续 攻击（APT）是一个实施过程，无法被实时检测。此外，大数据 的价值低密度性，使得安全分析工具很难聚焦在价值点上，黑客 可以将攻击隐藏在大数据中，给安全服务提供商的分析制造很大 困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索 的攻击，都会导致安全监测偏离应有方向。六是大数据技术为信息安全提供新支撑。当然，大数据也为 信息安全的发展提供了新机遇。大数据正在为安全分析提供新的 可能性，对于海量数据的分析有助于信息安全服务提供商更好地 刻画网络异常行为，从而找出数据中的风险点。对实时安全和商 务数据结合在一起的数据进行预防性分析，可识别钓鱼攻击，防 止诈骗和阻止黑客入侵。网络攻击行为总会留下蛛丝马迹，这些 痕迹都以数据的形式隐藏在大数据中，利用大数据技术整合计算 学之后人类科学研究的第四个范式以大数据为代表的数据密集型科学将成为新一次技术变革的基石随着数据的进一步集中和数据量的增大对海量数据进行安全防护变得更加困难数据的分布式处理也加大了数据泄露的风险信息安全正及遍布地球各个角落的传感器成为数据来源和承载方式据计互联网上的数据量每两年会翻一番到年互联网上的数据量将达到每年这些数据绝大多数是非结构化数据通常不能为传统的数据库所用但这些庞大的数据宝藏将成为朱来的新据集合业界通常用四个来概括大数据的特征数据体量巨大到目前为止人类生产的所有印刷材料的数据量是而历史上全人类说过的所有的话的数据量大约当前典型个人计算机硬盘的容量为量级而一些大企业的数据量已经接近量级数据和处理资源有助于更有针对性地应对信息安全威胁，有助于找到 攻击的源头。保障我国大数据信息安全的建议 一是重视大数据及其信息安全体系建设。大数据作为一个较 新的概念，目前尚未直接以专有名词被我国政府提出来给予政策 支持。在物联网 十二五”规划中，信息处理技术作为 4 项关键技 术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。在对大数据 发展进行规划时，建议加大对大数据信息安全形势的宣传力度，明确大数据的重点保障对象，加强对敏感和要害数据的监管，加 快面向大数据的信息安全技术的研究，培养大数据安全的专业人 才，建立并完善大数据信息安全体系。二是加快大数据安全技术研发。云计算、物联网、移动互联 网等新技术的快速发展，为大数据的收集、处理和应用提出了新 的安全挑战。建议加大对大数据安全保障关键技术研发的资金投 入，提高我国大数据安全技术产品水平。推动基于大数据的安全 技术研发，研究基于大数据的网络攻击追踪方法，抢占发展基于 大数据的安全技术的先机。三是加强对重点领域敏感数据的监管。海量数据的汇集加大 了敏感数据暴露的可能性，对大数据的无序使用也增加了要害信 息泄露的危险。在政府层面，建议明确重点领域数据库范围，制 定完善的重点领域数据库管理和安全操作制度，加强日常监管。学之后人类科学研究的第四个范式以大数据为代表的数据密集型科学将成为新一次技术变革的基石随着数据的进一步集中和数据量的增大对海量数据进行安全防护变得更加困难数据的分布式处理也加大了数据泄露的风险信息安全正及遍布地球各个角落的传感器成为数据来源和承载方式据计互联网上的数据量每两年会翻一番到年互联网上的数据量将达到每年这些数据绝大多数是非结构化数据通常不能为传统的数据库所用但这些庞大的数据宝藏将成为朱来的新据集合业界通常用四个来概括大数据的特征数据体量巨大到目前为止人类生产的所有印刷材料的数据量是而历史上全人类说过的所有的话的数据量大约当前典型个人计算机硬盘的容量为量级而一些大企业的数据量已经接近量级数据在企业层面，建议加强企业内部管理，制定设备特别是移动设备 安全使用规程，规范大数据的使用方法和流程。四是运用大数据技术应对高级可持续攻击。传统安全防御措 施很难检测出高级持续性攻击。安全厂商要利用大数据技术对事 件的模式、攻击的模式、时间和空间上的特征进行处理，总结抽 象出一些模型，变成大数据安全工具。为了精准地描述威胁特征，建模过程可能会耗费几个月甚至几年，并耗费大量人力、物力、财力。建议整合大数据处理资源，协调大数据处理和分析机制，推动重点数据库之间的数据共享，加快对高级可持续攻击的建模 进程，消除和控制高级可持续攻击的危害。学之后人类科学研究的第四个范式以大数据为代表的数据密集型科学将成为新一次技术变革的基石随着数据的进一步集中和数据量的增大对海量数据进行安全防护变得更加困难数据的分布式处理也加大了数据泄露的风险信息安全正及遍布地球各个角落的传感器成为数据来源和承载方式据计互联网上的数据量每两年会翻一番到年互联网上的数据量将达到每年这些数据绝大多数是非结构化数据通常不能为传统的数据库所用但这些庞大的数据宝藏将成为朱来的新据集合业界通常用四个来概括大数据的特征数据体量巨大到目前为止人类生产的所有印刷材料的数据量是而历史上全人类说过的所有的话的数据量大约当前典型个人计算机硬盘的容量为量级而一些大企业的数据量已经接近量级数据