美军大数据研发与应用综述(共14页).docx

《美军大数据研发与应用综述(共14页).docx》由会员分享，可在线阅读，更多相关《美军大数据研发与应用综述(共14页).docx（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上美军大数据研发与应用综述 原创 2017-04-05 温永兴 电科小氙 电科小氙 微信号 功能介绍 密切跟踪全球军事电子发展，及时提供军事电子行业重大政策、规划、装备、前沿技术和市场发展相关新闻与动态，奉献专业化述评与综述，全方位展示世界军事电子领域装备、技术与市场发展现状、方向和思路。1美军大数据技术发展概述互联网、物联网以及云计算技术的发展，带来了海量数据的聚集，促进了大数据的发展。大数据技术在民用领域已呈现迅猛发展之势，其在军事领域也蕴藏着巨大发展潜力和应用价值，已成为军事领域竞争新的制高点。大数据是信息时代信息爆炸性增长的产物，其特征可以用四个V来概括：（1）

2、Volume，容量巨大，已从TB（太字节）级别跃升至PB（拍字节）；（2）Variety，数据类型纷繁，包括结构化、半结构化和非结构化数据，无规律可循；（3）Value，价值密度低，但隐含的价值巨大；（4）Velocity，处理速度快，在很多场合需要实时分析和处理。大数据技术就是从各种类型的数据中快速获得有价值信息的技术。对美军而言，大数据带来的问题越来越凸显，例如，美军已积累了总价值达数十亿美元的侦察机和战场传感器，随着这些传感器捕获数据量的激增，传感器数据存储、分析和融合的难度与挑战也与日俱增。美国政府和军方敏锐洞察到大数据技术的重要性，在大数据领域率先发力以抢占先机。2012年3月29日

3、美国政府发布了全球首个国家层面的大数据战略大数据研究与发展计划倡议，宣布将实施2亿美元的投资计划，推动数据提取、存储、分析、发现等领域的技术创新与工具开发。除了出台支持大数据研发的政策文件外，美国还实施了一系列计划，推动大数据在军事领域的应用。以美国防高级研究计划局（DARPA）为主导，美军启动了一系列有关大数据的研发项目，涵盖大数据基础技术、大数据处理平台和应用等诸多方面。美军大数据项目是美国国家项目的重要组成部分，美军期望通过推进大数据研发，强化数据处理能力，加速“从数据到决策”的进程，确保战场信息主导权。近年来，美军在大数据技术领域不断取得进展，目前，一些典型的军事应用已见雏形，部分项目

4、已经投入实际使用。2美军大数据研发与应用项目2.1 大数据基础技术研发美国国防部在国家大数据研发框架内，积极部署了以XDATA为核心的多项大数据研发项目，整体上构成了比较完整和全面的大数据研发布局。其中，一些基础技术涉及机器学习、数据挖掘、并行计算和可视化方面的前沿课题，虽尚未成熟，但美军持续资助以促进这些研发不断取得进展，维持其大数据技术的领先优势。DARPA支持的XDATA项目旨在开发用于分析大量半结构化和非结构化数据的计算技术软件工具，以便对国防应用中的大量数据进行可视化处理。该项目是美国政府大数据研发计划的重要组成，是美军推进大数据研发计划的核心项目。XDATA项目于2012年启动，是

5、DARPA在大数据处理技术研究方面重要的基础性探索工作，此项目不针对特定情报或信息系统数据，而是面向非特定领域的数据，研究的是通用技术，并且很多研究成果将以开源的形式在互联网上共享，以此推动相关工具的发展，加快研究速度，并进一步扩大理论研究的影响力。目前，一些XDATA项目承研机构已经在数据可视化、基于分布式架构的机器学习和数据分析算法等方面取得了不少基础性成果。 数据可视化技术。数据可视化公司Kitware与哈佛大学、犹他大学、斯坦福大学等机构的研究小组合作开发名为Visualization Design Environment（VDE）的开源数据集成、查询和可视化工具包，在其XDATAKi

6、tware网站上公布了VDE在文档实体关系识别、SSCI预测数据库、Flickr元数据图等数据集上的可视化分析效果。 基于分布式架构的机器学习、数据分析算法。佐治亚理工学院在XDATA项目的支持下承担的任务主要是研究在大规模数据集上具有可扩展性的机器学习算法，包括基于分布式计算架构的快速数据分析方法。 开源计算工具。Continuum Analytics公司基于其在Python科学计算工具上的长期积累，进一步开发了新型计算技术和开源软件工具。2.2 大数据平台研发美国防信息系统局（DISA）以及各军种正在大力开发基于云的大数据平台，并取得了新进展。（1）DISA开发支持赛博态势感知分析能力的大

7、数据平台（BDP）2016年5月，DISA发布了大数据平台和赛博态势感知分析能力报告，提供一整套基于云的解决方案，用于收集DoDIN（国防部信息网）上的海量数据，同时提供分析与可视化处理工具以理解数据。其中，大数据平台（BDP）是DISA开发的分布式计算环境，用于支持数拍字节数据（来自DoDIN）的摄取、关联和可视化，而赛博态势感知分析能力（CSAAC）是部署在BDP上的一组分析工具、摄取码和数据结构，提供整个DoDIN运行和防御性赛博空间运行（DCO）的统一态势感知。CSAAC能提供迄今为止美国防部所能实现的最广泛、最全面的DoDIN活动视图，以支持决策并增强美国防部网络的整体安全态势。CS

8、AAC能够提供以下几种类型的功能：DoDIN运营与态势感知。以国防部企业邮件监控为例，CSAAC能够为运营人员提供近实时态势感知能力，从而快速掌握事故、具体配置状态以及邮件网关过滤等相关情况。 防御性赛博空间运行（简称DCO）。按指标作战（简称FbI）属于CSAAC之内的赛博空间运行能力之一。FbI能够帮助企业计算机网络分析人员利用自动化工作流审查网络威胁报告，提取潜在指标，面向未来进程提供警报并在必要时自动执行国防部对策流程。异常检测。异常检测套件属于CSAAC功能之一，专门负责检测可能对敏感性国防部数据的完整性、机密性或者可用性造成威胁的已验证用户。这项服务还允许分析人员在检测到潜在内部威

9、胁后向有关部门发出警告。CSAAC中的功能套件由大数据平台（BDP）负责实现。BDP是支持CSAAC的基础体系结构，作为一种开源解决方案，能够支持数据采集、关联以及虚拟化基础设施。BDP通用架构能够在数小时内被安装至数百台服务器。2016年8月，DISA发布了大数据平台（BDP）升级版。新版BDP将为操作人员提供在现行解决方案内找出聚焦任务的数据集以及针对特定数据运行定制聚集任务的分析工具的能力；将大幅提升为CSAAC快速开发、部署和使用分析工具的能力。（2）美海军开发的大数据云生态系统（“BIG DATA ECOSYSTEM”）美国海军舰载传感器、飞机和其他平台产生大量的数据，但是这些数据没

10、有被有效利用。为解决此问题，美国海军研究办公室欲采用突破性的分析工具建立海军大数据生态系统。2013年以来，美国海军组织开发了名为“海军战术云参考实施”（NTCRI）的大数据云生态系统平台，由数据分析组件和可视化界面提供相关作战环境和情况的所有数据的实时视图。这个平台系统融合了大数据、云计算和其他交叉学科技术，并且实现了多种分布式文件系统（Hadoop 等）和作战系统。该系统主要包含以下功能： 通用数据基础表征。海军作战大数据是完全多源异构的。“多源”指来源广泛，如IT系统、机载或舰载传感器等；“异构”指数据类型多样，如双方作战目标、战术意图、气象水文、网络舆情等，该部分功能旨在建立科学、通用

11、的海军作战数据基础体系架构，用于不同机构间多源异构大数据的表征和共享。 分布式数据存储与索引。主要目的是存储作战数据，建立索引以便快速查询，通过海军的云环境利用大量的数据集。 数据作战分析。这部分是海军大数据生态系统的核心，目前美国海军主要通过开发先进的分析工具支持反潜作战和一体化防空反导作战，提升大数据对海军作战的效果和能力，探寻利用大数据增强威胁评估预警、作战识别、一体化作战和任务计划以及执行能力的途径。 系统抗毁性防御组件。任何系统都要具备抵抗攻击的能力，由于数据在采集、整理、存储、传输、分析的过程中都可能遭到攻击甚至篡改，因而，抗毁性防御组件是贯穿整个大数据生态系统的。组件主要通过利用

12、云计算的安全性和完整性，增强海军大数据生态系统各模块的防御能力。2.3 典型应用项目在大数据时代，数据将会成为影响和决定军事行动的重要力量源泉。因此，数据搜集、分析和处理能力，以及基于数据作出的决策将会是未来战场上的制胜关键。大数据应用，尤其在联合作战中，可以极大地提高信息掌控优势，从而提升军事情报侦察预警能力；在指挥控制领域，还将显著增强数据的智能处理和指挥控制能力，从而有效提高体系对抗水平。近年来，美军已将大数据技术应用到诸多领域，包括ISR、作战指挥、后勤、赛博领域等。（1） ISR领域现代战争中不仅要及时收集、分发战场数据，针对强对抗环境，还需要将海量实时数据进行预处理，挖掘出有价值的

13、信息，并通过信息融合形成情报，从而及时判断出敌方的作战企图和兵力部署，拨开“战争迷雾”，真正做到“知己知彼”。美军通过多年的发展，已拥有全球最先进的情报侦察系统，对海量情报数据的分析，一直是美军情报侦察能力的短板，而大数据正好能够帮助美军突破这一瓶颈。基于大数据分析的情报搜集技术在管理海量数据并使分析人员专注重要工作方面具有极大潜力。基于大数据应用的情报搜集系统如图1所示。在此领域的典型项目包括DARPA的“洞察”（Insight）项目、美空军的“大数据集处理利用与分析”（PEALDS）项目等。图1 基于大数据应用的情报搜集系统1）DARPA的Insight项目此项目旨在开发一个集情报、监视和

14、侦察于一体的系统，该系统将能使分析人员有目的地把互不相干的“烟囱式”信息源整合成一个统一的战场图（如图2所示）。图2 Insight项目开发的系统可将“烟囱式”信息源整合成统一的战场图该项目的第1阶段创建了基线系统，最初重点关注反恐行动。第1阶段的承包商是BAE系统公司电子解决方案部和科学应用国际公司（SAIC）。在第1阶段中，BAE系统公司和SAIC公司启动了下一代ISR数据采集和资源管理系统（E&RM）的设计，该系统有助于美军情报专家们探测网络威胁、非常规性战争和恐怖主义行动。BAE系统公司和SAIC公司建立了基于模型的行为相关性分析工具、建模工具、预测和威胁网络分析工具，自动把来自多种不

15、同信息源的情报信息综合起来，提高了多源情报传感器的工作效率。他们已开发出联合数据管理和处理环境，将新型情报传感器数据和软件算法综合起来。该项目的第2阶段于2013年8月启动，总价值为8000万美元。第2阶段的目标包括：使第1阶段开发的能力更加成熟，提高数据采集和资源管理系统（E&RM）系统的适用性，扩展任务空间；探测识别敌方网络，汇集所有可能的来源信息，包括军事情报资料库、人员报告以及海陆空天传感器。Insight项目开发的系统采用基于标准的开放式即插即用体系结构，支持当前和未来ISR技术的快速集成。目前，该项目已供美陆军和空军使用。2）美空军开发的PEALDS项目目前美国国防部和大型企业面临

16、的主要挑战是数据集成以及掌握从多个传感器收集数据并将数据输入一个单独的管理系统中进行分析和提取的方法。基于此，2013年Logos技术公司与美空军研究实验室信息部共同开展了大数据集处理利用与分析（PEALDS）项目。PEALDS的目标是使观察者能快速对TB的传感器数据进行筛查，为战场士兵提供可行动的信息。美空军可利用大数据工具PEALDS创建战场态势图或关注区域的态势图，并对其进行实时监控、存储和回放。通过将传感器数据流与数据标签和趋势探测软件相结合，分析专家和战场士兵可进行观察、跟踪并根据所观察到的行为预测敌方部队的行动。在PEALDS项目中，Logo公司运用了大型图像存储技术提供三维建模和

17、广域数据绘图的算法和软件。（2）作战指挥指挥信息系统的信息处理速度、目标态势获取时间、决策周期以及快速响应时间决定着军事行动的成败。大数据在作战指挥领域的广泛运用，开启了“从数据到决策”的指挥新模式。美国防部大数据应用重点项目“从数据到决策”项目旨在通过构建快速准确分析数据的算法模型，将海量数据进行实时、自主关联和整合、认知，挖掘出有关目标威胁、航迹跟踪、火力打击等重要的情报信息，并提供面向任务可理解的决策，使军队中情报分析人员和指挥官能够以极高的速度理解和掌握战场态势。（3）后勤领域大数据技术在后勤领域的应用有助于提高后勤保障效率，降低费用。美国国防后勤局正在推行大数据战略，利用相关技术构建

18、本局范围内的权威机构数据源，形成灵活、自助式的报告和分析能力。美国国防后勤局通过推行大数据战略，期望大幅提高数据实时融合效率，让后勤分析师在更短的时间内通过各种渠道搜集数据，再对汇总的数据进行分析，最后确定有效的后勤保障方案。为帮助美军解决后勤行动中出现的难题，美国许多公司推出了各种大数据技术解决方案。如天睿公司为军方提供了名为“联合数据架构”系统的综合性大数据技术解决方案，该系统具有预测性分析功能，可预判武器装备中哪些零部件何时出故障需要修理，就在零部件出故障前向维修技师预警，告知技师将其拆除，而且拆下的位置非常方便技师修理和更换零部件，这样就能确保库存零部件得到最合理的使用。（4）赛博领域

19、美军最重要的赛博空间项目之一X计划亦称“基础赛博战”，旨在对网电作战的本质特性进行创新研究，支持主导网电战场空间所需的基础性战略的发展。X计划将创建一个确保军方能够在实时、大规模和动态网络环境中理解、规划、管理网电作战的端对端系统。X计划开展5个技术领域的研究以构建一个能够实时创建、模拟、评估和控制网电战场空间的原型系统，这5个技术领域包括： 系统结构。建设X计划系统基础设施，重点包括：网电战场绘图引擎的设计和应用以及端对端X计划系统基础设施的设计和集成。 网电战场空间分析。开发自动分析技术，协助人员理解网电战场空间，支持网电作战战略计划的制定；提供作战场景应用程序，衡量并模拟战场毁伤评估，以

20、优化计划。 任务构建。开发自动化技术，允许计划人员借助图形方式生成任务计划，并将计划自动同步到可执行任务脚本中。 任务执行。研究并开发任务脚本运行环境和保障平台。 直观界面。为指挥官、计划人员和作战人员提供一种包括工作流、直观视图、动作分析和集成视觉应用程序的全面综合视觉用户体验，以此管理网电作战活动。2016年6月，X计划走出实验室首次交付作战人员，并参与年度“赛博卫士”与“赛博旗帜”联合演习。X计划进入实战应用阶段意味着美军已拉开赛博空间可视化作战序幕，能够从技术上完成对战场赛博空间的基础建构。X计划是大数据技术在赛博领域的典型应用。大数据技术为集中管理海量信息资源提供高效的分析、融合方法

21、和手段。没有大数据技术的支撑，要实时测量和可视化总结数据巨大、结构复杂的赛博空间是不可能完成的任务。3发展重点和趋向分析（1）拓展大数据技术在ISR、作战指挥、赛博等各领域的应用，促进从“以网络为中心”向“以数据为中心”的作战转变现代战场敌情复杂，战机稍纵即逝，“发现即摧毁”成为美军的作战理念。当美军提出“发现即摧毁”时，有价值的信息逐渐成其为作战的优先关注点和中心环节。通过大数据技术在各领域的广泛应用，美军将会在数据获取、存储、管理、分析和分发等方面得到质的飞跃，进而提升美军战场态势感知、情报分析、智能决策以及安全防护能力，大大缩短决策循环（OODA）周期，大大缩短从传感器到射手的时间，最终

22、实现“发现即摧毁”的效果。大数据的发展将促使“物理网络服务”到“网络应用服务”的转型，促进从“以网络为中心”向“以数据为中心”的作战转变。（2）在关键技术领域研发方面，重点关注数据分析技术、可视化技术等。美军研发大数据技术最看重的就是提升对海量、异构数据的分析处理能力，从获取信息向分析利用信息转变。除此之外，美军的研发重点还包括可视用户界面技术等等。美军在关键技术领域，一是强调数据分析技术的核心地位。大数据分析工具可将大数据转化为有价值的情报决策数据，为用户提供可理解的信息，提高战场态势感知能力。这对作战十分重要。美国国防部遴选的10个大数据项目中，有9个项目与数据分析技术直接相关，如XDAT

23、A项目、影像检索与分析工具项目等，由此可说明美军对数据分析技术的重视。二是大力发展数据可视化技术。用数据可视化技术来分析大数据，对作战指挥决策十分重要。XDATA项目的研发团队开发了一种新型的动态可视化系统，用于对大型复杂数据集的交互可视化搜索。（3）未来投资保持持续增长，优先投资重点应用领域2017年1月31日，美国防部长Mattis发布了关于“重建美国陆海空三军”总统备忘录的实施指南。这份新的指南表明了未来将增长大数据技术领域的国防投资。此外，据德尔泰克软件公司（Deltek）预计，美国防部将致力于大数据技术以提升作战能力和增大武器系统的致命性。例如，美空军和海军计划增大无人系统和航行器的使用，这就需要增加对此领域的数据分析的投资。此外，随着管理部门重点关注防范赛博攻击，在整个国防系统的企业范围大数据分析的应用将会优先考虑。美国防信息系统局需要依赖大数据工具监控和防护国防部信息网（DoDIN），在这一领域的投资也将会获得支持。考虑到这些优先性投资，Deltek给出了未来几年（2018至2021年）美国防部在大数据技术领域的投资预测（见图3）。专心-专注-专业