数据挖掘十大算法之Adaboost.ppt

数据挖掘十大算法之 AdaBoostAn example给定如下表所示的训练数据：序号序号12345678910 x0123456789y111-1-1-1111-1AdaBoost算法算法AdaptiveBoostingAdaBoost主要思想：从弱学习算法出发，反复学习，得到一系列弱 分类器，然后组合这些弱分类器，构成一个强 分类器。几个概念几个概念强可学习强可学习：在PAC学习的框架中，一个概念（类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的弱可学习弱可学习：在PAC学习的框架中，一个概念（类），如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，那么就称这个概念是弱可学习的在PAC学习框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习的AdaBoost算法算法.弱分类器强分类器AdaBoost算法算法AdaBoost算法算法弱分类器1AdaBoost算法算法权重增大弱分类器2AdaBoost算法算法权重增加AdaBoost算法算法弱分类器3AdaBoost算法算法最终的强分类器AdaBoost算法算法An example给定如下表所示的训练数据：序号序号12345678910 x0123456789y111-1-1-1111-1AdaBoost算法算法Adaboost算法最终分类器的错误率是多少？AdaBoost的目标：最小化损失函数AdaBoost算法在人脸检测上的应用参考文献：P.Viola and M.Jones.Robust real-time face detection.IJCV 57(2),2004.人脸检测的目标级联分类器人脸检测中的弱分类器AdaBoost算法改进参考文献：lY.Freund and R.E.Schapire.A decision-theoretic generalization of on-line learning and an application to boosting.Journal of Computer and System Sciences,55(1):119139,1997.lY.Freund and R.E.Schapire.A short introduction to boosting.Journal ofJapanese Society for Artificial Intelligence,14(5):771780,1999.