《数据挖掘导论》教材配套教学ppt——第1章-认识数据挖掘课件.ppt
《《数据挖掘导论》教材配套教学ppt——第1章-认识数据挖掘课件.ppt》由会员分享,可在线阅读,更多相关《《数据挖掘导论》教材配套教学ppt——第1章-认识数据挖掘课件.ppt(65页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益第1章认识数据挖掘数据挖掘定义机器学习数据查询专家系统数据挖掘过程/作用/技术/应用Weka数据挖掘软件清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益本章目标掌握数据挖掘的定义了解机器学习中的基本方法概念学习归纳学习有指导的学习无指导的聚类了解与数据挖掘有关的数据查询、专家系统了解数据挖掘的过程、作用、技术、应用掌握Weka数据挖掘软件的使用方法30 十二月 20222为了规范事业单位聘用关系,建
2、立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.1数据挖掘定义清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益数据挖掘(DataMining)技术角度利用一种或多种计算机学习技术,从数据中自动分析并提取信息的处理过程。目的是寻找和发现数据中潜在的有价值的信息、知识、规律、联系和模式。数据挖掘与计算机科学有关,一般使用机器学习、统计学、联机分析处理、专家系统和模式识别等多种方法来实现。学科角度数据挖掘是一门交叉学科,涉及数据库技术、人工智能技术、统计学、可视化技术、并行计
3、算等多种技术。30 十二月 20224清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益商业角度商业智能信息处理技术;围绕商业目标开展的,对大量商业数据进行抽取、转换、分析和处理,从中提取辅助商业决策的关键性数据,揭示隐藏的、未知的或验证已知的规律性,是一种深层次的商业数据分析方法。数据挖掘(DataMining)30 十二月 20225为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.2机器学习清华大学出版社为了规范事业单位聘用关系,建立和完善
4、适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.2.1概念学习通过对大量实例进行训练,从中发现经验化规律的过程。机器学习结果的通常表现形式为概念。机器最擅长的是学习概念。概念(Concept)具有某些共同特征的对象、符号或事件的集合。概念可以从三个不同的角度来看待30 十二月 20227清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.2.1概念学习1、传统角度(ClassicalView)所有概念都有明确的定义。2、概率角度(ProbabilisticView)对个别样本实
5、例进行概括性描述,概括性说明构成了概率角度中的概念。3、样本角度(ExemplarView)样本角度中的概念是将某个概念中的典型实例组成一个集合,使用该集合来描述概念定义。30 十二月 20228清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.2.2归纳学习(Induction-BasedLearning)基于归纳的学习机器学习方式人类学习最重要方式之一人类通过对事物的特定实例的观察,对所掌握的已有经验材料研究。归纳学习从归纳中获取和探索新知识,并以概念的形式表现出来的学习。30 十二月 20229清华大学出
6、版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.2.3有指导的学习(SupervisedLearning)定义通过对大量已知分类或输出结果值的实例进行训练,调整分类模型的结构,达到建立能够准确分类或预测未知模型的目的。这种基于归纳的概念学习过程被称为有指导(监督)的学习。数据实例(Instance)用于有指导学习的样本数据训练实例(TrainingInstance)用于训练的实例检验实例(TestInstance)分类模型建立完成后,经过检验实例进行检验,判断模型是否能够很好地应用在未知实例的分类或预测中。30 十二月
7、 202210为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益【例1.1】给定如表1.1所示的数据集T,使用有指导的学习方法建立分类模型,对未知类别的实例进行分类。清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益表1.1感冒诊断假想数据集序号Increased-lym淋巴细胞升高Leukocytosis白细胞升高Fever发烧Acute-onset起病急Sore-throat咽痛Cooling-effect退热效果Group群体发病Cold-ty
8、pe感冒类型1YesNoYesYesNoGoodYesViral2NoYesYesNoYesNotgoodYesBacterial3YesNoYesYesYesGoodYesViral4YesNoNoYesNoUnknownNoViral5NoNoNoNoYesUnknownNoBacterial6NoYesYesYesYesNotgoodNoBacterial7NoYesYesNoYesNotgoodNoViral8YesNoYesNoNoGoodYesViral9YesYesYesYesYesGoodYesViral10YesYesYesNoYesNotgoodNoBacterial表1.
9、1感冒诊断假想数据集30 十二月 202212清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益决策树(DecisionTree)倒立树,非叶子节点表示在一个属性上的分类检查,叶子节点表示决策判断的结果,该结果选择了正确分类较多实例的分类。决策树有很多算法(第2章)图1.1感冒类型诊断C4.5决策树30 十二月 202213清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益分类未知实例分类模型建立和检验完成后,就可以实际投入使用,即用该
10、模型对未知分类的实例进行分类。表1.2未知分类的数据实例序号Increased-lym淋巴细胞升高Leukocytosis白细胞升高Fever发烧Acute-onset起病急Sore-throat咽痛Cooling-effect退热效果Group群体发病Cold-type感冒类型NoYesYesNoNoNotgoodNo?YesNoYesNoYesGoodNo?30 十二月 202214清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益产生式规则决策树一般都可以被翻译为一个产生式规则集合。产生式规则的格式为:IF前
11、提条件THEN结论图1.1翻译为4条产生式规则(1)IFSore-throat=NoTHENCold-type=Viral(2)IFSore-throat=Yes&Cooling-effect=GoodTHENCold-type=Viral(3)IFSore-throat=Yes&Cooling-effect=NotgoodTHENCold-type=Bacterial(4)IFSore-throat=Yes&Cooling-effect=UnknownTHENCold-type=Bacterial30 十二月 202215清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济
12、体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.2.4无指导的聚类(UnsupervisedClustering)无指导(监督)聚类一种无指导(无教师)的学习;在学习训练之前,无预先定义好分类的实例,数据实例按照某种相似性度量方法,计算实例之间的相似程度,将最为相似的实例聚类在一个组簇(Cluster)中,再解释和理解每个簇的含义,从中发现聚类的意义。30 十二月 202216为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益【例1.2】给定如表1.1所示的数据集T,使用无指导聚类方法,对所有实例进行分类,解释每
13、个簇的含义。清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益挖掘准备删除Cold-type(感冒类型)属性选择算法无指导聚类有很多种算法,K-means(K-均值)算法、凝聚聚类方法、概念分层Cobweb算法、EM算法等。K-means算法是一种最为常用和易用的算法。指定初始簇K-means(K-均值)算法在聚类前指定一个初始的簇的个数,本例指定为2。30 十二月 202218清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益聚类结果
14、聚类为两个簇,每个簇有5个实例,分别为Cluster0=1,3,4,8,9Cluster1=2,5,6,7,10每个簇的概念结构可以表示为一个产生式规则(1)IFIncreased-lym=Yes&Cooling-effect=GoodTHENCluster=0(ruleaccuracy=4/4=100%,rulecoverage=4/5=80%)(2)IFSore-throat=Yes&Cooling-effect=NotgoodTHENCluster=1(ruleaccuracy=4/4=100%,rulecoverage=4/5=80%)30 十二月 202219为了规范事业单位聘用关系
15、,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.3数据查询清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益数据查询(DataQuery)通过数据查询语言在数据中找出所需要的数据或信息。什么时候使用数据挖掘,什么时候使用数据查询呢?获取浅知识或多维知识(MultidimensionalKnowledge)获取数据中潜在的、隐藏的信息或知识隐含知识(HiddenKnowledge)30 十二月 202221为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事
16、业单位工作人员聘用制度,保障用人单位和职工的合法权益1.4专家系统清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益专家系统(ExpertSystem)一种具有“智能”的计算机软件系统。能够模拟某个领域的人类专家的决策过程,解决那些需要人类专家处理的复杂问题。一般包含以规则形式表示的领域专家的知识和经验,系统就是利用这些知识和方法进行推理和判断,从而解决该领域中实际问题。专家(Expert)有能力解决领域中复杂问题的人通常被称为该领域中的专家(Expert)30 十二月 202223清华大学出版社为了规范事业单位聘
17、用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益专家系统方法与数据挖掘方法图1.2专家系统方法vs数据挖掘方法30 十二月 202224为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.5数据挖掘的过程清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益KDD过程数据挖掘是KDD过程中的一个阶段(第3章)一次数据挖掘实验分为4个步骤(1)准备数据,包括准备训练数据和检验数据(2)选择一种数据挖掘技术
18、或算法,将数据提交给数据挖掘软件(3)解释和评估结果(4)模型应用图1.3数据挖掘实验过程示意图30 十二月 202226清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.5.1准备数据是整个数据挖掘过程中较为重要和费时费力的阶段。在明确数据挖掘目标后,可以通过从传统数据库、数据仓库和平面文件三种途径收集和抽取数据。1、传统数据库操作型数据库(OperationalDatabase),它是面向日常事务处理的数据库,通常结构为关系模型。数据库中包含若干个规范化了的二维关系表。2、数据仓库数据仓库(DataWare
19、house)是面向决策支持而不是日常事务处理而设计的。3、平面文件一些数据量较小的数据集可以存储在如Excel电子表格、.csv、.arff等平面文件中。30 十二月 202227清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.5.2挖掘数据选择一种数据挖掘技术或算法,将数据提交给数据挖掘工具,应用该算法建立模型。选择数据挖掘技术或算法需要考虑(1)判断学习是有指导的还是无指导的。(2)数据集中的哪些实例和属性提交给数据挖掘工具;哪些数据实例作为训练数据;哪些数据实例作为检验数据。(3)如何设置数据挖掘算法的
20、参数。30 十二月 202228清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保障用人单位和职工的合法权益1.5.3解释和评估结果对数据挖掘的输出进行检查,评估其是否达到挖掘目标,确定所发现的信息或知识是有价值的。数据挖掘的评估工具有多种(第5章)如果结果不理想,可以(1)(2)进行重复实验,直到得到满意结果为止。(1)使用或选择新的数据实例或属性(2)选择新的数据挖掘算法或参数一个数据挖掘过程是个迭代的过程。30 十二月 202229清华大学出版社为了规范事业单位聘用关系,建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度,保
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据挖掘导论 数据 挖掘 导论 教材 配套 教学 ppt 认识 课件
限制150内