第8章 分类方法.pptx
课程主讲人：第8章 分类方法医学大数据分析分类方法高等教育出版社CONTENTS目 录1什么是分类2决策树3随机森林算法4朴素贝叶斯分类4分类算法评估1什么是分类？分类是指把数据样本映射到一个事先定义的类中的学习过程，即给定一组输入的属性向量及其对应的类，用基于归纳的学习算法得出分类。什么是分类？什么是分类？ 分类的作用： 预测分类字段（或离散值） 预测种类基于训练集形成一个模型，训练集中的类标签是已知的，使用该模型对新的数据进行分类。 典型应用： 信用评分 医疗诊断 性能预测分类的特点 模型的创建：对一个类别已经确定的数据集创建模型 用于创建模型的数据集叫：训练集 模型的使用：用创建的模型预测未来或者类别未知的记录 估计模型的准确率 使用创建的模型在一个测试集上进行预测，并将结果和实际值进行比较 准确率：正确被模型分类的测试样本的百分比 测试集和训练集是独立的分类的两个步骤训练数据分类算法If “年龄” = “3140”and “收入”=“高”then “信誉度”= “非常好” 模型(分类规则)分类过程1：模型创建模型(分类规则)测试数据未知数据(李斌, 3140,“高”)信誉度分类过程1：模型使用获取数据预处理 去除噪声数据 数据变换 数据压缩分类器设计 划分数据集 分类器构造 分类器测试分类决策 对新数据样本进行分类分类的过程2决策树决策树(Decision Tree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题，决策树算法容易理解，适用于各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。决策树名字名字体温体温表皮表皮覆盖覆盖胎生胎生水生水生动物动物飞行飞行动物动物右腿右腿冬眠冬眠类标号类标号人类恒温毛发是否否是否哺乳类鲑鱼冷血鳞片否是否否否鱼类鲸恒温毛发是是否否否哺乳类青蛙冷血无否半否是是两栖类巨蜥冷血鳞片否否否是否鸟类蝙蝠恒温毛发是否是是是哺乳类鸽子恒温羽毛否否是是否鸟类猫恒温软毛是否否是否哺乳类豹纹鲨冷血鳞片是是否否否鱼类海龟冷血鳞片否半否是否爬行类企鹅恒温羽毛否半否是否鸟类豪猪恒温刚毛是否否是是哺乳类鳗冷血鳞片否是否否否鱼类蝾螈冷血无否半否是是两栖类决策树名字名字体温体温表皮表皮覆盖覆盖胎生胎生水生水生动物动物飞行飞行动物动物右腿右腿冬眠冬眠类标号类标号人类恒温毛发是否否是否哺乳类鲑鱼冷血鳞片否是否否否鱼类鲸恒温毛发是是否否否哺乳类青蛙冷血无否半否是是两栖类巨蜥冷血鳞片否否否是否鸟类蝙蝠恒温毛发是否是是是哺乳类鸽子恒温羽毛否否是是否鸟类猫恒温软毛是否否是否哺乳类豹纹鲨冷血鳞片是是否否否鱼类海龟冷血鳞片否半否是否爬行类企鹅恒温羽毛否半否是否鸟类豪猪恒温刚毛是否否是是哺乳类鳗冷血鳞片否是否否否鱼类蝾螈冷血无否半否是是两栖类体温：冷血，体表：带鳞片，不是胎生类别是什么？决策树假如我们现在发现了一种新物种Python，它是冷血动物，体表带鳞片，并且不是胎生，通过这棵决策树判断它的所属类别是什么？非哺乳动物根节点体温恒温冷血是否胎生非哺乳动物哺乳动物内部节点叶节点决策树在决策过程中，我们一直在对记录的特征进行提问，最初的问题所在的地方叫做根节点，在得到结论前的每一个问题都是中间节点，而得到每一个结论都叫叶子节点。节点类别：1. 根节点：没有进边，只有出边，包含最初的针对特征的提问2. 中间节点：既有进边也有出边，进边只有一条，出边可以有很多条，都是针对特征的提问。3. 叶子节点：有进边，没有出边，每个叶子节点都是一个类别标签。4. 子节点和父节点：在两个相连的节点中，更接近根节点的是父节点，另一个是子节点。决策树没有=1有=2,3=3=1,214X检验的方法的准确率为99%是否诊断张三患有K疾病？例：对任意顾客X，购买计算机的概率是多少？P(X)：年龄段为“中年”，且收入为“高”的概率，P(C):顾客购买计算机的概率计算P(C|X)=?贝叶斯定理朴素贝叶斯分类计算P(X|Ci)朴素贝叶斯分类流程图 优点： 容易创建 在某些领域，足以媲美其他分类算法，例如决策树和神经网路 缺点： 成立的前提是类条件独立性 现实中，变量之间不一定是独立的 例如，医院诊断书上，家族病史和是否患某种疾病存在一定的依赖关系。朴素贝叶斯算法总结 贝叶斯分类前提假设属性之间相互独立, 这个假设在实际应用中往往是不成立的, 这给模型的正确分类带来了一定影响. 在属性个数较少时贝叶斯分类性能较好。 比较多或者属性之间相关性较大时,朴素贝叶斯模型的分类效率比不上决策树模型。决策树和朴素贝叶斯分类比较5分类算法评估训练集测试集分类算法分类器评估应用模型分类算法的评估 预测准确率 速度 创建速度 使用速度 强壮性 处理噪音和丢失值 伸缩性 对磁盘驻留数据的处理能力 可解释性: 对模型的可理解程度。 规则好坏的评价 决策树的大小 分类规则的简明性分类算法的评估 保持方法：2/3训练集，1/3测试集 随机二次抽样：是保持方法的变形，将保持方法重复k次，总准确率估计取每次迭代的准确率的平均值数据测试集训练集导出模型评估准确率评估分类准确率的方法 交叉验证，k-折交叉验证，例如：10-折交叉验证 每个样本用于训练的次数相同，并用于测试一次 准确率估计=k次迭代正确分类的元组总数/初始数据中元组的总数 具有较低的偏移和方差1份测试9份训练评估分类准确率的方法THANKS本讲结束高等教育出版社
