03基于KNN算法的分类模型教学课件 .pptx

《03基于KNN算法的分类模型教学课件 .pptx》由会员分享，可在线阅读，更多相关《03基于KNN算法的分类模型教学课件 .pptx（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、03基于KNN算法的分类模型教学课件 基于KNN算法的分类模型K最近邻算法原理第一节K最近邻算法流程第二节K最近邻算法关键第三节目录 contentcontentK最近邻算法原理第一节K最近邻算法原理假假设设有两个不同有两个不同类别类别的数据，分的数据，分别别用用红色红色小三角形和小三角形和蓝色蓝色小正方形表示，小正方形表示，图图中中间间那那个个绿绿色的色的圆圆点点所所标标示的数据示的数据则则是待分是待分类类的数据的数据，现在这个新的圆点应该属于哪个分，现在这个新的圆点应该属于哪个分类呢？类呢？K K最近邻最近邻(K-Nearest Neighbor(K-Nearest Neighbor，KN

2、N)KNN)算法的核心思想就是距离的比较，即离谁近，算法的核心思想就是距离的比较，即离谁近，就和谁属于同一分类。就和谁属于同一分类。K最近邻算法原理假假设设K代表代表邻邻居的个数，从上居的个数，从上图图中，我中，我们们看到：看到：如果如果K=3，圆圆点最点最邻邻近的近的3个个邻邻居是居是2个小三角形和个小三角形和1个小正方形，少数从服从多数，个小正方形，少数从服从多数，基于基于统计统计的方法，判定的方法，判定圆圆点属于三角形一点属于三角形一类类。如果如果K=5，圆圆点最点最邻邻近的近的5个个邻邻居是居是2个三角形和个三角形和3个正方形，个正方形，还还是少数服从多数，是少数服从多数，基于基于统计

3、统计的方法，判定的方法，判定圆圆点属于正方形一点属于正方形一类类。由此我由此我们们看到，在看到，在KNN算法中，所算法中，所选择选择的的邻邻居都是已居都是已经经正确分正确分类类的的对对象，象，对对于新来于新来的待分的待分样样本，只要找到离它最近的本，只要找到离它最近的K个个实实例，按照少数服从多数原例，按照少数服从多数原则则，哪个，哪个类别类别多多就就把它把它归为归为哪一哪一类类。K最近邻算法原理K最近最近邻邻算法，即是算法，即是给给定一个定一个训练训练数据集，数据集，对对新的新的输输入入实实例，在例，在训练训练数据集中找到数据集中找到与与该实该实例最例最邻邻近的近的k个个实实例，例，这这k个

4、个实实例的多数属于某个例的多数属于某个类类，就把，就把该输该输入入实实例分例分类类到到这这个个类类中。中。K最近邻算法流程第二节K最近邻算法的流程（1）计计算已知算已知类别类别数据集中的点与当前点之数据集中的点与当前点之间间的距离；的距离；（2）按照距离）按照距离递递增次序排序；增次序排序；（3）选选取与当前点距离最小的取与当前点距离最小的k个点；个点；（4）确定前）确定前k个点所在个点所在类别类别的出的出现频现频率；率；（5）返回前）返回前k个点所出个点所出现频现频率最高的率最高的类别类别作作为为当前点的当前点的预测预测分分类类。K最近邻算法关键第三节K最近邻算法的关键1.K最近最近邻邻算法

5、中算法中k的的选选取取K K最近邻算法中的最近邻算法中的k k值我们应该怎么选取呢？值我们应该怎么选取呢？k k为多少效果最好呢？为多少效果最好呢？如果我们选取较小的如果我们选取较小的k k值，那么就会意味着我们的整体模型会变得复杂，容易发生值，那么就会意味着我们的整体模型会变得复杂，容易发生过拟合。过拟合。K最近邻算法的关键1.K最近最近邻邻算法中算法中k的的选选取取假设我们选取假设我们选取k=1k=1这个极端情况，我们有训练数据和待分类点如下图：这个极端情况，我们有训练数据和待分类点如下图：我们能够看出来绿色圆点离红色的三角形最近，我们能够看出来绿色圆点离红色的三角形最近，k k又等于又等

6、于1 1，我们最终判定待分类点是红色的三角形。，我们最终判定待分类点是红色的三角形。由这个由这个例子我们很容易能够感觉出问题了，如果例子我们很容易能够感觉出问题了，如果k太小了，比如等于太小了，比如等于1，那么模型就太复杂了，我们，那么模型就太复杂了，我们很容易学习到噪声，也就非常容易判定为噪声类很容易学习到噪声，也就非常容易判定为噪声类别。别。K最近邻算法的关键1.K最近最近邻邻算法中算法中k的的选选取取如果如果k k大一点，假设大一点，假设k=7k=7，离圆点最近的，离圆点最近的7 7个邻居中，蓝色正方形有个邻居中，蓝色正方形有5 5个，少数服个，少数服从多数，我们判断出圆点属于正方形类，

7、我们很容易得到正确的分类，如下图：从多数，我们判断出圆点属于正方形类，我们很容易得到正确的分类，如下图：K最近邻算法的关键1.K最近最近邻邻算法中算法中k的的选选取取假设选择极端值假设选择极端值k=Nk=N（N N为训练样本的个数），那么，我们统计出红色三角形是为训练样本的个数），那么，我们统计出红色三角形是5 5个，蓝色方形个数是个，蓝色方形个数是6 6个，就会得出绿色圆点是属于蓝色方形的错误结论，如下个，就会得出绿色圆点是属于蓝色方形的错误结论，如下图。图。如果我如果我们选们选取取较较大的大的k值值，就相当于用，就相当于用较较大大邻邻域中域中的的训练训练数据数据进进行行预测预测，这时这时与

8、待分与待分类实类实例例较远较远的的（不相似）（不相似）训练实训练实例也会例也会对预测对预测起作用，使起作用，使预测预测发发生生错误错误，k值值的增大意味着整体模型的增大意味着整体模型变变得得简单简单。K最近邻算法的关键1.K最近最近邻邻算法中算法中k的的选选取取由此可知，选取不同的由此可知，选取不同的k k值，会对结果造成很大的影响，那么我们一般怎么选取值，会对结果造成很大的影响，那么我们一般怎么选取呢？呢？k k值的选取，既不能太大，也不能太小，何值为最好，需要实验调整参数确定。值的选取，既不能太大，也不能太小，何值为最好，需要实验调整参数确定。K最近邻算法的关键2.距离的度量距离的度量K

9、K最近邻算法是在训练数据集中找到与该实例最邻近的最近邻算法是在训练数据集中找到与该实例最邻近的K K个实例，这个实例，这K K个实例的多个实例的多数属于某个类，我们就说预测点属于哪个类。数属于某个类，我们就说预测点属于哪个类。定义中所说的最邻近是如何度量呢？我们怎么知道谁跟测试点最邻近？定义中所说的最邻近是如何度量呢？我们怎么知道谁跟测试点最邻近？与该实例最近邻的与该实例最近邻的k k个实例，这个最近邻的定义是通过不同距离函数来定义，我个实例，这个最近邻的定义是通过不同距离函数来定义，我们最常用的是们最常用的是欧式距离欧式距离。K最近邻算法的关键2.距离的度量距离的度量欧式距离就是应用勾股定理计算两个点的直线距离。欧式距离就是应用勾股定理计算两个点的直线距离。二维空间的公式，二维空间的公式，P P为点（为点（x x1 1,y,y1 1）与点（）与点（x x2 2,y,y2 2）之间的欧式距离。之间的欧式距离。N维空间的公式维空间的公式:谢 谢 聆 听T H A N K S F O R Y O U R A T T E N T I O N