(1.2)--1.大数据概述2_大数据概念和影响.pdf

《(1.2)--1.大数据概述2_大数据概念和影响.pdf》由会员分享，可在线阅读，更多相关《(1.2)--1.大数据概述2_大数据概念和影响.pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术原理与应用大数据技术原理与应用第第1 1讲讲 大数据概述（大数据概述（2 2）学习目标学习目标 了解大数据时代的技术支撑了解大数据时代的技术支撑 了解数据产生方式了解数据产生方式 理解大数据的特征、定义理解大数据的特征、定义 了解大数据的影响了解大数据的影响 了解大数据关键技术了解大数据关键技术教学内容教学内容 1.1大数据时代大数据时代 1.2大数据的概念和影响大数据的概念和影响 大数据时代的数据爆炸增长大数据时代的数据爆炸增长1.2大数据的概念大数据的概念GBTBPBEBZB想驾驭这庞大的数据，我们必须了解大数据的特征。1.2.1大数据的特征大数据的特征 大数据（大数据（Big

2、Data）是指无法在一定时间内用常规软件工具）是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。对其内容进行抓取、管理和处理的数据集合。大数据并非单一的数据或技术，而是数据和大数据技术的大数据并非单一的数据或技术，而是数据和大数据技术的综合体。大数据技术主要包括数据采集、数据存储和管理综合体。大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内、数据处理与分析、数据安全和隐私保护等几个层面的内容。容。1.2.2大数据的定义大数据的定义 大数据对科学研究、思维方式、社会发展、就业市场大数据对科学研究、思维方式、社会发展、就业市场和人

3、才培养等方面，都产生了重要的影响。和人才培养等方面，都产生了重要的影响。1.2.3大数据的影响大数据的影响图灵奖获得者、著名数据库专家图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来博士观察并总结人类自古以来，在科学研究上，先后历经了实验科学、理论科学、计算科学和数据密，在科学研究上，先后历经了实验科学、理论科学、计算科学和数据密集型科学发现四种范式。集型科学发现四种范式。1.2.3大数据的影响大数据的影响实验理论计算数据密集型科学发现 在思维方式方面，大数据完全颠覆了传统的思维方式。在思维方式方面，大数据完全颠覆了传统的思维方式。全样而非抽样 效率而非精确 相关而非因

4、果1.2.3大数据的影响大数据的影响 一般而言，大数据处理流程可分为四步：数据收集、数据导入和清洗处理、数据统计分析和挖掘、结果可视化。1.2.4大数据关键技术大数据关键技术数据收集数据预处理数据转化数据挖掘结构化数据 社交网络数据 移动终端数据 O2O平台数据个性推荐Web挖掘与搜索异常检测 关联规则分析分类分析聚类分析 数据准备数据抽取挖掘应用 解析 清洗 重构 数据过滤 数据映射 数据关联 数据融合 数据模型 数据应用交易数据观测数据互动数据半/非结构化数据图1-9 大数据处理的基本流程大数据的大数据的4V特征。数据量大、种类和来源多样、处理速度快、价值密度特征。数据量大、种类和来源多样、处理速度快、价值密度低，商业价值高。低，商业价值高。大数据定义。大数据定义。科学研究上，大数据促使数据密集型科学发现第四种范式。科学研究上，大数据促使数据密集型科学发现第四种范式。思维方式上，大数据完全颠覆了传统的思维方式。思维方式上，大数据完全颠覆了传统的思维方式。大数据处理流程可分为四步：数据大数据处理流程可分为四步：数据收收集、数据导入和清洗处理、数据统集、数据导入和清洗处理、数据统计分析和挖掘、结果计分析和挖掘、结果可视化可视化。总结总结如何对大数据进行存储与分析？如何对大数据进行存储与分析？问题思考谢谢观看！