课件第1章 大数据概述.pptx

《课件第1章 大数据概述.pptx》由会员分享，可在线阅读，更多相关《课件第1章 大数据概述.pptx（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第 1 章章大数据概述大数据概述1.1指数时代1.2大数据特征和价值1.3大数据研究现状和发展动态1.4大数据研究存在的主要问题1.5大数据时代统计学重构意义1.1 指 数 时 代 我们现在常常用指数效应来说明这个指数时代，指数效应或者指数的颠覆性效应是现代社会一种新的常态。目前，人类产生的数据总量每两年翻一倍，所有这些都验证了摩尔定律。摩尔定律是由英特尔(Intel)创始人之一戈登摩尔(Gordon Moore)提出来的，他认为，当价格不变时，集成电路上可容纳的元器件的数目，每隔 1824 个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔 1824 个月翻一倍

2、以上。这一定律揭示了信息技术发展的速度，这也进一步带来了一系列指数式的链式反应，尽管这种趋势已经持续了超过半个世纪，摩尔定律仍被认为是观测或推测，而不是一个物理或自然法则，但所有这些都表明数据的快速增长，我们已经进入了指数社会时代1.21.2大数据特征和价值大数据特征和价值1.2.1 大数据特征1.2.2 大数据价值1.21 大数据特征大数据特征4V 特点，Volume(数据量大)；Velocity(输入和处理速度快) ;Value(价值密度低);Variety(数据多样性)大数据给我们带来三个颠覆性观念转变1.不是随机样本而是全体数据2.不是精确性而是混杂性3.不是因果关系而是相关关系1.2

3、2 大数据价值大数据价值 1 1大数据延伸商业智能内大数据延伸商业智能内涵涵(1)客户关系管理(CRM)(2)盈利能力分析(3)控制成本(4)绩效管理2.2.大数据满足用户需求且市场空间巨大数据满足用户需求且市场空间巨大大3.3.大数据创造需求且拓宽市场边大数据创造需求且拓宽市场边界界4.4.大数据产业链分大数据产业链分析析 分为4个部分，即数据采集和整合、数据存储和运算、数据分析和挖掘、 数据应用和消费5.5.大数据技术是重要生产大数据技术是重要生产力力1.3大数据研究现状和发展动态大数据研究现状和发展动态1.3.1 大数据研究现状1.3.2 大数据研究发展动态1.3.1大数据研究现状大数据

4、研究现状“大数据”并不是很大或者很多数据。 第一，“大数据”并不是一部分数据样本，而是关于某个现象的所有数据； 第二， 由于掌握了关于某个现象的所有数据，那么在统计时就能接受更多不准确的信息； 第三，“大数据”着重分析了解“什么”而不是“为什么” 有学者把“大数 据”解读为巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人 工，在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息。 也有学者把“大数据”定义为巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。 什么样数据才可称其为

5、“大数据”？目前，国内外的专家学者对大数据只是在数据规模 上达成共识：“超大规模”表示的是 GB 级别的数据，“海量”表示的是 TB 级的数据，而“大数据”则是 PB 级别及其以上的数据。1.32 1.32 大数据研究发展动态大数据研究发展动态1.资源的管理与利用2.信息服务3.行业调整4关键技术1.4 大数据研究存在的主要问题大数据研究存在的主要问题1.4.1 大数据技术存在的问题1.4.2 研究方法问题1.4.3 领域融合问题1.41 1.41 大数据技术存在的问题大数据技术存在的问题1.数据采集方面2.数据存储方面3.数据分析方面4.数据显示方面5.数据安全方面1.42 1.42 研究方

6、法问题研究方法问题 大数据研究开创了科研的第四范式，与传统的逻辑推理研究不同，大数据研究是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳1.43 1.43 领域融合问题领域融合问题 当前大数据研究主要集中在各个学科的科学家对本领域的海量数据的处理，信息领域的 科学家只能起到助手的作用。各领域的科学问题还掌握在各学科的科学家手里，缺乏学科之间的交叉与融合，缺乏既拥有清 清理和组织大型数据的能力又懂得“商业语言”的数据科学家。1.5 大数据时代统计学重构意义大数据时代统计学重构意义1.5.1 对大数据的初步认识1.5.2 统计思维变化1.5.3 大数据时代下统计学重构 数据统计分析，就

7、是运用统计学的方法对数据进行处理。大数据分析离不开统计学，而传统的统计学也无法解决大数据分析的问题，所以数据统计分析的方法不得不随着大数据时代的到来而发生改变。1.5.11.5.1 对大数据的初步认识对大数据的初步认识 目前通常用 4V(Volume，Variety，Velocity 和 Value) 来形容大数据的特征，根本之处就是数字化基础上的数据化。通俗地说，大数据就是一切可记录信号的集合。1.5.21.5.2 统计思维变化统计思维变化 1认识数据的思维要变化 2收集数据的思维要变化 3分析数据的思维要变化1.5.3 1.5.3 大数据时代下统计学重构大数据时代下统计学重构 1需要改变总体、个体乃至样本的定义方式 2需要改变对不确定性的认识 3需要建立新的数据梳理与分类方法 4需要强化结构化数据与非结构化数据的对接研究 5需要转变抽样调查的功能 6需要归纳推断法与演绎推理法并用 7需要相关分析与因果分析并重 8需要统计技术与云计算技术融合