大数据的应用现状与展望(2020年-2021年)225413.pdf

《大数据的应用现状与展望(2020年-2021年)225413.pdf》由会员分享，可在线阅读，更多相关《大数据的应用现状与展望(2020年-2021年)225413.pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！6 个关键领域：结构化数据分析、文本分析、Web 分析、多媒体分析、社交网络分析和移动分析，并列举了若干大数据的典型应用。最后从基础理论、关键技术、应用实践以及数据安全等4 个方面总结了大数据的研究现状，并对大数据应用未来的研究进行展望。关键词：大数据数据分析数据存储4V在过去的20 年中，各个领域都出现了大规模的数据增长，包括医疗保健和科学传感器用户生成数据、互联网和金融公司、供应链系统等。国际数据

2、公司IDC 报告1称，2011 年全球被创建和复制的数据总量为1.8ZB（1ZB 1021ZB），在短短5 年间增长了近9 倍，而且预计这一数字将每两年至少翻一番。大数据这一术语正是产生在全球数据爆炸增长的背景下用来形容庞大的数据集合。与传统的数据集合相比，大数据通常包含大量的非结构化数据，且大数据需要更多的实时分析。此外，大数据还为挖掘隐藏的价值带来了新的机遇，同时给我们带来了新的挑战，即如何有效地组织管理这些数据。一、大数据的定义目前，虽然大数据的重要性得到了大家的一致认同，但是关于大数据的定义却众说纷纭。大数据是一个抽象的概念，除去数据量庞大，大数据还有一些其他的特征，这些特征决定了大数

3、据与“海量数据”和“非常大的数据”这些概念之间的不同。一般意义上，大数据是指无法在有限时间内用传统IT 技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。科技企业、研究学者、数据分析师和技术顾问们，由于各自的关注点不同，对于大数据有着不同的定义。通过以下定义，或许可以帮助我们更好地理解大数据在社会、经济和技术等方而的深刻内涵。2010 年Apache Hadoop 组织将大数据定义为，“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。在此定义的基础上，2011 年5 月，全球著名咨询机构麦肯锡公司发布了名为“大数据：下一个创新、竞争和生产力的前沿”的

4、报告，在报告中对大数据的定义进行了扩充。大数据是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集。该定义有两方而内涵：（1）符合大数据标准的数据集2020年-2021年最新欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！大小是变化的，会随着时间推移、技术进步而增长；（2）不同部门符合大数据标准的数据集大小会存在差别。目前，大数据的一般范围是从几个TB 到数个PB（数千TB）2。根据麦肯锡的定义可以看出，数据集的大小并不是大数据的唯一标准，数据规模不断增长，以及无法依靠传统的数据库技术进行管理，也是大数据的两个重要特征。大数据价

5、值链可分为4 个阶段:数据生成、数据采集、数据储存以及数据分析。数据分析是大数据价值链的最后也是最重要的阶段，是大数据价值的实现，是大数据应用的基础，其目的在于提取有用的值，提供论断建议或支持决策，通过对不同领域数据集的分析可能会产生不同级别的潜在价值。二、大数据的特点大数据的4V 特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。“大数据”是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。“大数据”首先是指数据体量（volumes）大，指代大型数据集，一般在10TB 规模左右，但在实际应

6、用中，很多企业用户把多个数据集放在一起，已经形成了PB 级的数据量；其次是指数据类别（variety）大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。“大数据”的概念远不止大量的数据（TB）和处理大量数据的技术，或者所谓的“4个V”之类的简单概念，而是涵盖了人

7、们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而2020年-2021年最新欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！anal

8、ytic visualization data mining algorithms predictive analytic capabilities semantic engines data qualities and master data management 欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！1Traditional enterprise dataCRM systemsERP2Machine-generated/sensor dataCall Detail RecordsDigital exhaust3Social dat

9、aTwitterFacebook1234Open Data3欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！1 4.1business intelligence,BIOLAP;DQ20%15%7%欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！3000.3%4.2UPSUPSUPS2011UPS48282IBM35IBM100欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！24.34320134Wolfram Alpha,Facebook100F

10、acebook20273030 603123欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！4.41023600 0001851050%20%Mount Sinai Meddical CenterAyasdi100DNAAyasdi:topological data analysisHealthVault2007SDK4.5crowdsourcing欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！spatialcrowdsourcing:Amazon Turk79Crowdflower804.612-TXU Energy15 min欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！TXU Energy3ITtechnology,Tinformation,I1HadoopHadoop2006Spanner4Fl5SQI23欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！4what you see is what you get,WYSIWYU5IT6J:7欢迎您阅读并下载本文档，本文档来源于互联网整理，如有侵权请联系删除!我们将竭诚为您提供优质的文档！