数据挖掘概念与技术CHAPTER6-分类基本概念ppt课件.ppt

《数据挖掘概念与技术CHAPTER6-分类基本概念ppt课件.ppt》由会员分享，可在线阅读，更多相关《数据挖掘概念与技术CHAPTER6-分类基本概念ppt课件.ppt（85页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。1Chapter 6.分类分类:基本概念基本概念n分类:基本概念n决策树归纳n贝叶斯分类n基于规则的分类n模型评价与选择n提高分类准确率的技术:集成方法Ensemble MethodsnSummary从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2有监督有监督 vs.无监督学习无监督学习n有监督学习有监督学习(分类分类)n监督：训练数据（观察，测量等）都带有标签监督：

2、训练数据（观察，测量等）都带有标签,指示观察的类别指示观察的类别n根据训练集分类新数据根据训练集分类新数据n无监督学习无监督学习(聚类聚类)n训练集的类别（标签）未知训练集的类别（标签）未知n给定一个观察，测量等的集合，目标是建立数给定一个观察，测量等的集合，目标是建立数据中存在的数据的类或簇据中存在的数据的类或簇从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。3n分类分类n预测分类的类标签预测分类的类标签(离散离散 or名义名义)n基于训练数据和类标签基于训练数据和类标签 构造一个模型，并分类新数据构造

3、一个模型，并分类新数据n数值预测数值预测 n建连续值函数建连续值函数/模型模型,预测未知预测未知/缺失值缺失值 n典型应用典型应用n信用卡信用卡/贷款审批贷款审批:n医疗诊断医疗诊断:肿瘤是癌或良性？肿瘤是癌或良性？n欺诈检测欺诈检测:交易欺诈交易欺诈?n网页分类：这是哪一类？网页分类：这是哪一类？预测问题：预测问题：分类分类vs.数值预测数值预测从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。4分类分类:一个两步的过程一个两步的过程n模型构建模型构建:描述一组预先定义的类描述一组预先定义的类n假定每个元

4、组假定每个元组/样本样本 属于一个类属于一个类,由由类标签属性类标签属性设定设定n用于构建模型的元组集合称为训练集用于构建模型的元组集合称为训练集training setn模型可以表示为分类规则模型可以表示为分类规则,决策树决策树,数学公式数学公式n模型使用模型使用:分类将来分类将来/未知对象未知对象n估计模型的准确率估计模型的准确率n测试集：测试集：独立于训练集的样本独立于训练集的样本(避免过分拟合避免过分拟合overfitting)n比较测试样本的已知标签比较测试样本的已知标签/由模型预测（得到）标签由模型预测（得到）标签n准确率：准确率：测试样本集中模型正确预测测试样本集中模型正确预测/

5、分类的样本的比分类的样本的比率率n如果准确率合时如果准确率合时,使用模型来分类标签为未知的样本使用模型来分类标签为未知的样本从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。5Process(1):模型构建模型构建TrainingDataClassificationAlgorithmsIF rank=professorOR years 6THEN tenured=yes Classifier(Model)从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工

6、程施工中已很少使用，在此不再说明。6Process(2):Using the Model in Prediction ClassifierTestingDataUnseen Data(Jeff,Professor,4)Tenured?从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。Issues:Evaluating Classification MethodsnAccuracynclassifier accuracy:predicting class labelnpredictor accuracy:gu

7、essing value of predicted attributesnSpeedntime to construct the model(training time)ntime to use the model(classification/prediction time)nRobustness:handling noise and missing valuesnScalability:efficiency in disk-resident databases nInterpretabilitynunderstanding and insight provided by the model

8、nOther measures,e.g.,goodness of rules,such as decision tree size or compactness of classification rules从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。8Chapter 6.分类分类:决策树归纳决策树归纳n分类:基本概念n决策树归纳n贝叶斯分类n基于规则的分类n模型评价与选择n提高分类准确率的技术:集成方法Ensemble MethodsnSummary从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之

9、中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。9决策树归纳决策树归纳:例子例子age?overcaststudent?credit rating?40noyesyesyes31.40nofairexcellentyesnoq训练集:购买计算机q结果:从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。10决策树归纳的算法决策树归纳的算法n基本算法基本算法(贪心算法贪心算法)n树构建：自顶向下递归地分治方式树构建：自顶向下递归地分治方式n开始，所有的训练样本位于根节点开

10、始，所有的训练样本位于根节点n属性是分类属性属性是分类属性(若是连续值若是连续值,事先离散化事先离散化)n基于选择的属性，样本被递归地分割基于选择的属性，样本被递归地分割n基于启发式基于启发式/统计测来选择统计测来选择测试属性测试属性(例如例如 信息增益信息增益)n终止划分的条件终止划分的条件n一个给定节点的所有样本属于一个类别一个给定节点的所有样本属于一个类别n没有属性剩下，用于进一步划分没有属性剩下，用于进一步划分 运用多数投票来运用多数投票来标记此节点标记此节点n没有样本剩下没有样本剩下从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下

11、工程施工中已很少使用，在此不再说明。从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。属性选择度量属性选择度量n属性选择度量属性选择度量n分裂规则，决定给定节点上的元组如何分裂分裂规则，决定给定节点上的元组如何分裂n具有最好度量得分的属性选定位分裂属性具有最好度量得分的属性选定位分裂属性n三种度量三种度量n信息增益、增益率、信息增益、增益率、Gini指标指标n数学符号数学符号nD为元组的训练集，元组属于为元组的训练集，元组属于m个不同的类个不同的类Ci(i=1,m)nCi,D是是D中的中的Ci类的元组集合类

12、的元组集合n|Ci,D|和和|D|分别表示各自的元组个数分别表示各自的元组个数从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。13n选择具有最高信息增益的属性选择具有最高信息增益的属性n令令 pi 为为D中的任一元组属于类中的任一元组属于类 Ci概率概率,估计为估计为|Ci,D|/|D|n分类分类D中元组需要的中元组需要的期望信息期望信息(entropy):n(利用利用 A 分裂分裂D 为为v个部分后个部分后)分类分类D 需要的信息为需要的信息为:n以属性以属性A分枝得到的信息增益分枝得到的信息增益属性选

13、择度量属性选择度量:信息增益信息增益(ID3/C4.5)从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。14gClass P:买电脑=“yes”gClass N:买电脑=“no”属性选择属性选择:信息增益信息增益从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。15计算信息增益计算信息增益-连续值属性连续值属性n令 A 为连续属性n必须为A确定一个最佳分裂点 best split pointn上升序排序 A n典型地,

14、每对相邻值的中点是一个可能的分裂点n(ai+ai+1)/2 is the midpoint between the values of ai and ai+1n具有最小期望信息需求的点选为A的分裂点nSplit:nD1 为D中元组满足 A split-point,D2 是元组满足 A split-point从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。16增益率增益率(C4.5)n信息增益倾向于有大量不同取值的属性（划分更细，更纯）n极端：每个划分子集只有一个样本，即一个类n此时Info(d)=0 nC

15、4.5(ID3 后继)使用增益率来克服这一问题(规范化信息增益)nGainRatio(A)=Gain(A)/SplitInfo(A)nEx.ngain_ratio(income)=0.029/1.557=0.019n具有最大增益率的属性选为分裂属性 从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。17Gini Index指标指标(CART)n数据 D 包含n 类别的样本,gini指标,gini(D)定义为 pj 类别 j 在D中的频率n数据集 D 基于属性A 分裂为子集 D1 和 D2,gini 指标定义

16、为n不纯度减少:n具有最小ginisplit(D)的属性(or不纯度减少最大的)用于分裂节点(需要枚举所有可能的分裂情况)从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。18计算计算 Gini Index 指标指标nD 有 9个元组买电脑=“yes”/5 个买电脑=“no”n设属性income分裂D为包含10个元组的D1:low,medium/4个元组的D2 Ginilow,high=0.458;Ginimedium,high=0.450.因此low,medium/high分裂，由于其有最小的Gini i

17、ndexn假设所有属性都是连续值，需要其他技术,e.g.,聚类,来获得可能的分裂点从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。19比较属性选择度量比较属性选择度量n通常三种度量获得较好的结果n信息增益信息增益Information gain:n偏向于多值属性n增益率增益率Gain ratio:n倾向于不平衡的分裂，其中一个子集比其他小得多nGini index:n偏向于多值属性n当类数目较大时，计算困难n倾向于导致大小相等的分区和纯度从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全

18、部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。20其他属性选择度量其他属性选择度量nCHAID:一种流行的决策树算法,基于独立 2 检验的选择度量nC-SEP:某些情况下比信息增益gini指标更好nG-statistic:非常近似于 2 分布nMDL(最小描述长度)(i.e.,首选最简单的解):n最佳树为需要最小二进位的树(1)编码树,(2)编码树的异常n多元划分(基于多变量组合来划分)nCART:基于属性的线性组合来发现多元划分n哪一个是最好的?n 大部分可以获得较好结果,没有一个显著地优于其他从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开

19、式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。21过拟合与数剪枝过拟合与数剪枝n过拟合过拟合Overfitting:一棵归纳的树一棵归纳的树 可能过分拟合训练数据可能过分拟合训练数据n分枝太多分枝太多,某些反映训练数据中的异常，噪音某些反映训练数据中的异常，噪音/孤立点孤立点n对未参与训练的样本的低精度预测对未参与训练的样本的低精度预测n两种处理方法两种处理方法 n先剪枝先剪枝:提前终止树构造提前终止树构造 n如果对一个节点的分裂会产生低于给定的阈值的度量，如果对一个节点的分裂会产生低于给定的阈值的度量，划分停止划分停止n选择一个合适的阈值很难选择一个合适的阈值很难n后剪枝后

20、剪枝:从完全生长的树中剪去树枝从完全生长的树中剪去树枝得到一个逐步修剪得到一个逐步修剪树树n例如，最小化代价复杂度（树节点个数和错误率的函数）例如，最小化代价复杂度（树节点个数和错误率的函数）n使用不同于训练集的数据来确定哪一个是使用不同于训练集的数据来确定哪一个是“best pruned tree”从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。22决策树归纳的增强决策树归纳的增强n允许连续值属性允许连续值属性n动态地定义新的离散值属性，其把连续值属性分动态地定义新的离散值属性，其把连续值属性分成离散的

21、区间成离散的区间n处理缺失属性值处理缺失属性值n分配属性的最常见值分配属性的最常见值n为每一个可能的值分配概率为每一个可能的值分配概率n属性构造属性构造n基于现有的稀少出现的属性创建新的属性，基于现有的稀少出现的属性创建新的属性，n这减少了分散，重复和复制这减少了分散，重复和复制从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。23大型数据库中分类大型数据库中分类n分类分类被统计学和机器学习研究人员广泛地研究一个被统计学和机器学习研究人员广泛地研究一个经典问题经典问题n可伸缩性可伸缩性:以合理的速度分类由带

22、有数百个属性的百以合理的速度分类由带有数百个属性的百万个样本组成的数据集万个样本组成的数据集n为什么决策树归纳受欢迎？为什么决策树归纳受欢迎？n相对快的训练速度相对快的训练速度(与其他分类方法相比与其他分类方法相比)n转换为简单、易于理解的分类规则转换为简单、易于理解的分类规则n可用可用 SQL查询来访问数据库查询来访问数据库n与其它方法可比的分类精度与其它方法可比的分类精度nRainForest(VLDB98 Gehrke,Ramakrishnan&Ganti)nBuilds an AVC-list(attribute,value,class label)从使用情况来看，闭胸式的使用比较广泛

23、。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。24RainForest雨林的可扩展性框架雨林的可扩展性框架n可扩展性和确定质量树的标准相分离n建并维持 AVC-list:AVC(属性属性-值值,类标号类标号)nAVC集集 (of an attribute X)n把训练集投影到属性X和类标签上，给出属性X的每个值上的类标签计数nAVC组群组群 (在节点n)n节点n上所有预测属性的AVC集合-组群 从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。25Ra

24、inforest:训练集和训练集和AVC集集 studentBuy_Computeryesnoyes61no34AgeBuy_Computeryesno4032CreditratingBuy_Computeryesnofair62excellent33AVC-set on incomeAVC-set on AgeAVC-set on StudentTraining ExamplesincomeBuy_Computeryesnohigh22medium42low31AVC-set on credit_rating从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但

25、在近些年的城市地下工程施工中已很少使用，在此不再说明。26BOAT(Bootstrapped Optimistic Algorithm for Tree Construction)n使用一个叫做使用一个叫做 bootstrapping 自助法的统计技术多自助法的统计技术多个更小的样本集（子集）个更小的样本集（子集）,每一个可放入内存每一个可放入内存n每个子集产生一个树每个子集产生一个树,导致多个树导致多个树 n考察这些树并用他们构造一个新树考察这些树并用他们构造一个新树Tn事事实证实证明，明，T 非常接近于使用全部数据集构造的非常接近于使用全部数据集构造的树树nAdv:只要求扫描只要求扫描DB

26、两遍两遍,并且是一个并且是一个增量算法增量算法.从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。17 一月 2023Data Mining:Concepts and Techniques27分类结果的陈述分类结果的陈述/表示表示从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。17 一月 2023Data Mining:Concepts and Techniques28决策树可视化决策树可视化SGI/MineSet 3

27、.0SGI公司和美国公司和美国Standford大学联合开发的多大学联合开发的多任务任务数据挖掘数据挖掘系统。系统。MineSet以先进的可视化显示方法闻名于世以先进的可视化显示方法闻名于世 从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。29Chapter 6.分类分类:贝叶斯分类贝叶斯分类n分类:基本概念n决策树归纳n贝叶斯分类n基于规则的分类n模型评价与选择n提高分类准确率的技术:集成方法Ensemble MethodsnSummary从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构

28、、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。30贝叶斯理论贝叶斯理论n令令X 为数据样本为数据样本:类标签未知类标签未知n令令H为一个假设在：为一个假设在：X属于类别属于类别 C n分类就是确定分类就是确定 P(H|X)(后验概率后验概率),n给定观察数据给定观察数据 X，假设，假设H成立的概率成立的概率nP(H)(先验概率先验概率)最初的概率最初的概率n例例,不管年龄和收入等条件不管年龄和收入等条件 X将会购买计算机将会购买计算机nP(X):样本数据样本数据x被观察到的概率被观察到的概率nP(X|H)(可能性可能性),n假设假设H成立，那么观测到样本成立，那么观

29、测到样本X的概率的概率nE.g.,已知已知X购买计算机，购买计算机，X 为为31.40且中等收入的且中等收入的概率概率从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。31贝叶斯理论贝叶斯理论Bayesian Theoremn给定训练数据给定训练数据 X,假设假设 H的后验概率的后验概率 P(H|X满足贝叶斯理论满足贝叶斯理论n通俗地说，这可以写成通俗地说，这可以写成posteriori=likelihood x prior/evidencen预测预测X属于类别属于类别C2当且仅当概率当且仅当概率P(Ci|

30、X)是所有是所有 P(Ck|X)for all the k classes最大的最大的n实际困难实际困难:需要许多可能性的初步知识，计算成本显著需要许多可能性的初步知识，计算成本显著从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。32Nave Bayesian ClassifiernD为训练数据集（包含类别标签）为训练数据集（包含类别标签）,并且每个元组表示为一并且每个元组表示为一个个n-维的属性向量维的属性向量X=(x1,x2,xn)n假定有假定有 m 个类别个类别 C1,C2,Cm.n分类就是推导最大

31、的后验概率分类就是推导最大的后验概率,i.e.,the maximal P(Ci|X)n可以由贝叶斯理论计算可以由贝叶斯理论计算n由于对所有类由于对所有类P(X)是常量，只需要最大化是常量，只需要最大化从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。33朴素贝叶斯分类器的推导朴素贝叶斯分类器的推导n一个简单假定一个简单假定:属性是条件独立的属性是条件独立的(i.e.,属性间没有依赖关系属性间没有依赖关系):n这样极大地减少了计算代价：这样极大地减少了计算代价：只需要统计类的分布只需要统计类的分布n若若Ak

32、 是分类属性是分类属性nP(xk|Ci)=Ci 类中类中Ak 取值为取值为xk 的元组数的元组数/|Ci,D|(类类Ci 的大小的大小)n若若Ak 是连续值是连续值,P(xk|Ci)通常基于均值通常基于均值 标准差标准差 的高斯分布计的高斯分布计算算nP(xk|Ci)=从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。34朴素贝叶斯分类朴素贝叶斯分类:训练数据集训练数据集两个类别:C1:buys_computer=yesC2:buys_computer=no数据样本 X=(age=30,Income=med

33、ium,Student=yesCredit_rating=Fair)从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。35Nave Bayesian Classifier:例子例子nP(Ci):P(buys_computer=“yes”)=9/14=0.643 P(buys_computer=“no”)=5/14=0.357nCompute P(X|Ci)for each class P(age=“=30”|buys_computer=“yes”)=2/9=0.222 P(age=“=30”|buys_co

34、mputer=“no”)=3/5=0.6 P(income=“medium”|buys_computer=“yes”)=4/9=0.444 P(income=“medium”|buys_computer=“no”)=2/5=0.4 P(student=“yes”|buys_computer=“yes)=6/9=0.667 P(student=“yes”|buys_computer=“no”)=1/5=0.2 P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667 P(credit_rating=“fair”|buys_computer=“no

35、”)=2/5=0.4n X=(age=30,income=medium,student=yes,credit_rating=fair)P(X|Ci):P(X|buys_computer=“yes”)=0.222 x 0.444 x 0.667 x 0.667=0.044 P(X|buys_computer=“no”)=0.6 x 0.4 x 0.2 x 0.4=0.019P(X|Ci)*P(Ci):P(X|buys_computer=“yes”)*P(buys_computer=“yes”)=0.028 P(X|buys_computer=“no”)*P(buys_computer=“no”)

36、=0.007Therefore,X belongs to class(“buys_computer=yes”)从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。36贝叶斯分类贝叶斯分类:Why?n一个统计学分类器一个统计学分类器:执行概率预测执行概率预测,i.e.,预测类成员的概率预测类成员的概率n基础基础:基于贝叶斯理论基于贝叶斯理论 nPerformance:一个简单的贝叶斯分类器一个简单的贝叶斯分类器,朴素贝叶斯分类器朴素贝叶斯分类器,可以与决策树和经过挑选的神经网络分类器相媲美可以与决策树和经过挑选

37、的神经网络分类器相媲美n增量增量:每次训练的样本可以逐步增加每次训练的样本可以逐步增加/减少一个假设是正确的减少一个假设是正确的可能性可能性先验知识可与观测数据相结合先验知识可与观测数据相结合nStandard:即使贝叶斯方法是难以计算的即使贝叶斯方法是难以计算的,最优决策制定提供最优决策制定提供标准（其他方法可以衡量）标准（其他方法可以衡量）从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。37避免零概率问题避免零概率问题n朴素贝叶斯要求每个条件概率非零.然而,预测的概率可能为零 nEx.假定有1000

38、元组,e=low(0),income=medium(990),and income=high(10)nUse Laplacian correction校准校准(or Laplacian estimator估计法)nAdding 1 to each caseProb(income=low)=1/1003Prob(income=medium)=991/1003Prob(income=high)=11/1003n校准的“corrected”概率估计很接近未校准的从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。3

39、8Nave Bayesian Classifier:评论评论 nAdvantages nEasy to implement nGood results obtained in most of the casesnDisadvantagesnAssumption:类条件独立性,损失精度n实际中,变量间存在依赖 nE.g.,医院：患者：简介：年龄，家族病史等症状：发烧，咳嗽等疾病：肺癌，糖尿病等 nDependencies among these cannot be modeled by Nave Bayesian ClassifiernHow to deal with these depende

40、ncies?Bayesian Belief Networks从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。39Chapter 6.分类分类:基于规则的分类基于规则的分类n分类:基本概念n决策树归纳n贝叶斯分类n基于规则的分类n模型评价与选择n提高分类准确率的技术:集成方法Ensemble MethodsnSummary从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。40使用使用IF-THEN 规则分类规则分类n使用

41、 IF-THEN 规则表示知识R:IF age=youth AND student=yes THEN buys_computer=yesn规则前件/前提 vs.规则结论n评估规则:覆盖率coverage and 准确率accuracy nncovers=#规则R覆盖的元组数%给定元组，规则的前提满足覆盖元组nncorrect=#R正确分类的元组数coverage(R)=ncovers/|D|/%D:训练数据集accuracy(R)=ncorrect/ncoversn如果超过1条规则被触发,需要解决冲突解决冲突n规模序Size ordering:最高优先权赋予“最苛刻”的规则(即,最多属性测试)

42、n基于类的序:每个类的错误分类代价的下降序n基于规则的序(决策表):根据一些规则的质量度量或由专家建议，规则被组织成一个长的优先级列表从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。41age?student?credit rating?40noyesyesyes31.40nofairexcellentyesnonExample:Rule extraction from our buys_computer decision-treeIF age=young AND student=no THEN buys

43、_computer=noIF age=young AND student=yes THEN buys_computer=yesIF age=mid-age THEN buys_computer=yesIF age=old AND credit_rating=excellent THEN buys_computer=noIF age=old AND credit_rating=fair THEN buys_computer=yes从决策树提取规则从决策树提取规则n规则比一棵大的决策树更容易理解n从根到每个叶子的路径产生一个规则n沿路径的每个属性值对一起形成了一个联合:叶节点形成规则后件 n规则是

44、互斥的互斥的和穷举的穷举的n没有冲突规则，每个元组被覆盖没有冲突规则，每个元组被覆盖从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。42顺序覆盖算法的规则归纳顺序覆盖算法的规则归纳 n顺序覆盖算法:直接从训练数据抽取规则n典型的算法:FOIL,AQ,CN2,RIPPERn规则被顺序地学习,类Ci 的规则将尽量覆盖Ci 的元组，不或少覆盖其他类的元组nSteps:n一次学习一个规则n每学习一个规则，删除此规则覆盖的元组n对剩下的元组重复该过程直到终止条件,e.g.,没有训练样本/返回的规则的质量低于用户给定

45、的阈值n与决策树对照：同时学习一组规则从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。43顺序覆盖算法顺序覆盖算法while(enough target tuples left)产生一个规则删除这个规则覆盖的元组Examples coveredby Rule 3Examples coveredby Rule 2Examples coveredby Rule 1Positive examples从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已

46、很少使用，在此不再说明。44Rule GenerationnTo generate a rulewhile(true)找到最好的谓词pif 规则质量度量(p)threshold then add p to current ruleelse breakPositive examplesNegative examplesA3=1A3=1&A1=2A3=1&A1=2&A8=5从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些

47、年的城市地下工程施工中已很少使用，在此不再说明。如何学习一个规则如何学习一个规则?n从可能的最一般的规则开始:condition=emptyn采用贪心的深度优先策略添加新属性（于规则中）n选择对“规则质量”提高最大的那个属性从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。47规则质量度量与剪枝规则质量度量与剪枝n规则质量度量:同时考虑 覆盖率和准确率nFoil-gain(in FOIL&RIPPER):评价扩展条件的info_gainn偏向于具有高准确率并覆盖许多正元组的规则n正用于学习规则的类的元组正元

48、组正元组；其余为负元组负元组 nPos(neg):规则覆盖的正（负）元组数n基于一个独立的测试集进行规则剪枝（即删除一个属性测试）Pos/neg are#被R覆盖的正/负元组.If 规则R 剪枝后FOIL_Prune 较高,那么剪枝R从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。48Chapter 6.分类分类:模型评价与选择模型评价与选择n分类:基本概念n决策树归纳n贝叶斯分类n基于规则的分类n模型评价与选择n提高分类准确率的技术:集成方法Ensemble MethodsnSummary从使用情况来看

49、，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。模型评价与选择模型评价与选择n评价指标:怎样度量准确率?考虑其他指标?n使用测试集（带标签）代替训练集评估准确度n估计分类器准确率的方法:nHoldout method,random subsamplingn交叉验证 Cross-validationn自助法（解靴带）BootstrapnComparing classifiers:n置信区间Confidence intervalsn代价效益分析和ROC曲线nCost-benefit analysis and ROC Cur

50、ves49从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。分类器评价指标分类器评价指标:混淆矩阵混淆矩阵Actual classPredicted classbuy_computer=yesbuy_computer=noTotalbuy_computer=yes6954467000buy_computer=no41225883000Total7366263410000n感兴趣的类定为“正类正类”或“阳性类阳性类”，对应的为“负负/阴性阴性类类”n正样本/负样本 n给定 m 个类,CMi,j 表示#类i的样