(6.1)--大数据导论第六章.pdf

大 数 据 导 论第一章：大数据概述contents目录第二章：大数据技术基础第三章：大数据的采集与清洗第四章：大数据的存储与管理第五章：大数据计算框架第六章：大数据的分析与挖掘第七章：大数据可视化第八章：大数据与云计算第九章：大数据行业案例PART6大数据分析与挖掘 第一节：数据分析介绍 第二节：机器学习的模型与算法 第三节：数据分析的工具与介绍 第四节：数据分析案例第一节：数据分析介绍数据分析介绍6.1随着计算机与信息技术的飞速发展，来自商业、医学、科学、社会以及日常生活中的数据，正以指数的方式在无限增长。面临着如此快速扩张的数据海洋，如何有效利用这一丰富数据海洋中蕴含的宝藏，已成为人们越来越关注的焦点。数据分析介绍6.1数据分析与挖掘指从大量数据中提取隐含的、先前未知的、有价值的知识和规则。它是人工智能和数据库发展相结合的产物，是国际上数据库和信息决策系统最前沿的研究方向之一。数据分析介绍-数据分析的价值6.1数据分析介绍-数据分析的价值6.1数据挖掘与数学、统计学、计算机学、算法等基本理论知识无法分割；数据挖掘为其他技术的研发、应用和落地提供基础；数据挖掘创造了新的计算方式、技术处理方式；数据挖掘在银行、电信、购物等商业应用领域发挥着积极促进的作用数据挖掘能帮助解决许多典型的商业问题，比如:数据库营销、客户群体划分，背景分析、交叉销售等市场分析行为，以及客户流失性分析、客户信用评估、欺诈发现等等引导企业各种业务的开展方向，为整个行业的走向提供社会趋向指导能够勾勒客户的个人心理画像，展现行业发展在市场反馈中体现的影响和人们的态度趋向大数据为人的生活带来的不仅只是便利，还有紧密的生活服务网络，毫无疑问，大数据的数据挖掘技术的发展，促进了人类社会的进步，所带来的社会价值不可估量数据分析介绍6.1数据分析背景数据分析介绍数据分析的价值本讲:数据分析介绍关联分析分类分析聚类分析下一讲:机器学习的模型与算法第二节：机器学习的模型与算法6.2机器学习的模型与算法-关联分析机器学习的模型与算法6.2 关联分析是一种简单且实用的分析技术，它的目的就是为了发现大量数据当中隐藏的关联性和相关性，进而描述出某些事务同时出现的规律和模式。这些规律、模式及关联规则，就是数据之间的关系，关联分析广泛应用于市场营销、事务分析等领域。机器学习的模型与算法6.2面包和牛奶的关联性机器学习的模型与算法-关联分析6.2一种挖掘关联规则的频繁项集算法通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集将提供频繁项集的数据库压缩到一棵频繁模式树仍保留项集关联信息机器学习的模型与算法-关联分析6.2 第1步统计某一个项目集出现的频率，并找出那种不小于最小支持度的一个项目集，找出这样的一个项目集；第2步开始循环处理，直到没有更大的项目集出现。循环过程就是在每一步当中，根据前一步的最大项目集的组合数据进行搜索，得到新项目集的支持度。机器学习的模型与算法 分类分析6.2分类分析是数据挖掘当中一种预测任务，用于预测离散的目标变量，分类就是通过学习，得到一个目标函数。预测某类股票未来价值，是回归任务，因为这个股票的价值是连续属性。这两个任务目标都是训练一个模型，使目标变量预测值与实际值之间的误差达到最小，这就是分类。机器学习的模型与算法 分类分析6.2已知发生概率，构成决策树来求取净现值的期望值大于等于零的概率直观运用概率分析的一种图解法分类错误概率最小的分类器平均风险最小的分类器如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性机器学习的模型与算法 分类分析6.2两结点间若存在着一条弧：这两结点相对应的随机变量是概率相依的，反之则说明这两个随机变量是条件独立的。结点：一个随机变量。条件概率表：结点X在其父节点取各可能值时的条件概率。若结点X无父节点，则X的CPT为其先验概率分布。机器学习的模型与算法 分类分析6.2应用贝叶斯网络分类器进行分类主要分成两阶段 贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和CPT学习。是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是NP完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。机器学习的模型与算法 聚类分析6.2聚类分析是将一群物理对象划分成相似的对象集合的一个过程。那么每一个类簇是相似数据对象的集合，在一个类簇中所有的对象都是彼此相似的，而类簇与类簇之间的对象是相异的。机器学习的模型与算法 聚类分析6.2一种迭代求解的聚类分析算法随机选取K个对象作为初始的聚类中心计算每个对象与各个种子聚类中心之间的距离把每个对象分配给距离它最近的聚类中心对 K-means 算法的优化和改进通过某种相似性测度计算节点之间的相似性，并按相似度由高到低排序，逐步重新连接个节点机器学习的模型与算法6.2关联分析分类分析聚类分析本讲:机器学习的模型与算法数据分析的工具与介绍下一讲:数据分析的工具与介绍第三节：数据分析的工具与介绍数据分析的工具与介绍6.3具有丰富数据挖掘分析和算法功能常用于解决各种的商业关键问题免费、非商业化基于 Java 环境下开源的机器学习(machine learning)以及数据挖掘软件用户友好智能的数据集成、数据处理、数据分析和数据勘探平台数据分析的工具与介绍6.3基于组件的数据挖掘和机器学习软件套装多功能的可视化编程前端基于 C+和 Python 开发，它的图形库是由跨平台的 Qt 框架开发用于统计分析、绘图、数据挖掘基于组件的大数据挖掘平台包括一系列可视化、探索、预处理和建模组件数据分析的工具与介绍6.3数据分析的工具与介绍本讲:数据分析的工具与介绍数据分析案例下一讲:数据分析案例第四节：数据分析案例数据分析案例 需求6.4数据分析案例6.3读取数据预处理可视化本讲:数据分析案例数据可视化概述数据可视化工具数据可视化案例下一讲:大数据可视化