华工机器学习-导论教学提纲.ppt

《华工机器学习-导论教学提纲.ppt》由会员分享，可在线阅读，更多相关《华工机器学习-导论教学提纲.ppt（59页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、华工机器学习华工机器学习-导论导论Outline什么是机器学习什么是机器学习机器学习的研究内容及研究价值机器学习的研究内容及研究价值几个典型的机器学习示例几个典型的机器学习示例课程安排（教材，参考书等）课程安排（教材，参考书等）相关国际著名学术会议及期刊、相关国际著名学术会议及期刊、学术资源学术资源机器学习的发展简史机器学习的发展简史2 3学习的概念学习的概念什么是学习？什么是学习？通过观察、阅读、听讲、研究、实践等获得知识通过观察、阅读、听讲、研究、实践等获得知识或技能的过程。或技能的过程。-汉语词典汉语词典“学学”和和“习习”“学学”就是闻、见，是获得知识、技能。就是闻、见，是获得知识、技

2、能。“习习”是巩是巩固知识、技能，一般有三种含义：温习、实习、练习，固知识、技能，一般有三种含义：温习、实习、练习，有时还包括行的含义在内。有时还包括行的含义在内。“学学”偏重于思想意识的理偏重于思想意识的理论领域，论领域，“习习”偏重于行动实习的实践方面。学习就是偏重于行动实习的实践方面。学习就是获得知识，形成技能，培养聪明才智的过程。实质上就获得知识，形成技能，培养聪明才智的过程。实质上就是学、思、习、行的总称。是学、思、习、行的总称。-百度知道百度知道 4学习的概念学习的概念学习是一种既古老而又永恒的现象。学习是一种既古老而又永恒的现象。不同的学习观：不同的学习观：“学习是指人和动物在生

3、活过程中获得个体行为学习是指人和动物在生活过程中获得个体行为经验的过程。经验的过程。”“学习是学习者吸取信息并输出信息，通过反馈学习是学习者吸取信息并输出信息，通过反馈与评价得知正确与否的整体过程。与评价得知正确与否的整体过程。”“人的学习是个体掌握人类社会经验的过程人的学习是个体掌握人类社会经验的过程”“学习是通过由经验产生的个体行为的适应性变学习是通过由经验产生的个体行为的适应性变化而表现出来的过程。化而表现出来的过程。”子曰：子曰：“学而时习之学而时习之,不亦说不亦说(yu)乎乎?”5学习与智能学习与智能学习现象学习现象语言、文字的认知识别语言、文字的认知识别图像、场景、自然物体的认知识

4、别图像、场景、自然物体的认知识别规则规则（eg 下雨天要带雨伞）下雨天要带雨伞）复杂的推理、判断能力（智能）复杂的推理、判断能力（智能）好人与坏人？好人与坏人？好猫与坏猫？好猫与坏猫？数据数据知识知识认知认知推理推理决策决策识别识别学习学习6什么是机器学习？什么是机器学习？使得计算机具备和人类一样的学习能力使得计算机具备和人类一样的学习能力决策决策推理推理认知认知识别识别 等智能等智能给定数据（样本、实例）和一定的学习规则，给定数据（样本、实例）和一定的学习规则，从数据中获取知识的能力从数据中获取知识的能力7机器学习与人工智能机器学习与人工智能自然智慧的伟大与奥妙自然智慧的伟大与奥妙举例：婴儿

5、的认知能力（声音、人脸、汽车举例：婴儿的认知能力（声音、人脸、汽车）重要的二个特点重要的二个特点：容错性，推广能力（举一反三）容错性，推广能力（举一反三）机器智能：希望用机器实现部分智能机器智能：希望用机器实现部分智能基于数据的机器学习问题（基于数据的机器学习问题（引自清华张学工教授讲义引自清华张学工教授讲义）根据已知样本估计数据之间的依赖关系，从而对未知或无根据已知样本估计数据之间的依赖关系，从而对未知或无法测量的数据进行预测和判断法测量的数据进行预测和判断关键：推广能力关键：推广能力“One years research in artificial intelligenes enough

6、for one to believe in God”-cited from?8什么是机器学习什么是机器学习中科院王珏（中科院王珏（ju）研究员给出的定义：）研究员给出的定义：令令W是给定世界的有限或无限所有观测对象的集是给定世界的有限或无限所有观测对象的集合，由于我们的观测能力有限，我们只能获得这合，由于我们的观测能力有限，我们只能获得这个世界的一个子集个世界的一个子集 ，称为样本集。机器学，称为样本集。机器学习就是根据这个样本集，推算这个世界习就是根据这个样本集，推算这个世界W的模型，的模型，使它对这个世界（尽可能地）为真。使它对这个世界（尽可能地）为真。三个重要的理论问题：三个重要的理论问

7、题：一致：一致：W与与Q有相同的性质。有相同的性质。eg.i.i.d划分：设样本定义于划分：设样本定义于d维空间，要寻找在这个空间维空间，要寻找在这个空间上的决策分界面上的决策分界面泛化：（推广能力）：对未知样本的判断能力泛化：（推广能力）：对未知样本的判断能力9Whats is the Learning Problem?Learning=Improving with experience at some taskImprove over task TWith respect to performance measurement PBased on experience EExample:中国

8、象棋中国象棋任务任务T：下中国象棋：下中国象棋 性能目标性能目标P：比赛中击败对手（的百分比）：比赛中击败对手（的百分比）训练经验训练经验E：和自己进行对弈，或者看棋谱：和自己进行对弈，或者看棋谱Ref：机器学习机器学习（曾华军等译）（曾华军等译）10AAAI 给的定义给的定义Machine learning refers to a system capable of the autonomous acquisition and integration of knowledge.This capacity to learn from experience,analytical observat

9、ion,and other means,results in a system that can continuously self-improve and thereby offer increased efficiency and effectiveness.摘自：摘自：http:/www.aaai.org/AITopics/pmwiki/pmwiki.php/AITopics/MachineLearning 11Machine Learning引用自引用自CMU Dr.Eric Xing的的Lecture Notes12机器学习（机器学习（ML）与模式识别（）与模式识别（PR）ML ha

10、s origins in Computer SciencePR has origins in Engineering某种意义上看：某种意义上看：They are different facets of the same field13机器学习（机器学习（ML）与人工智能（）与人工智能（AI）任何一个没有学习能力的系统都很难被任何一个没有学习能力的系统都很难被认为是一个真正的智能系统认为是一个真正的智能系统1415机器学习的重要性！机器学习的重要性！Science2001年论文：年论文：每个科学领域的科学过程都有它自己的特点，但是，观每个科学领域的科学过程都有它自己的特点，但是，观察、创立假设、

11、根据决定性实验或观察的检验、可理解检察、创立假设、根据决定性实验或观察的检验、可理解检验的模型或理论，是各个学科所共有的。对这个抽象的科验的模型或理论，是各个学科所共有的。对这个抽象的科学过程的每一个环节，机器学习都有相应的发展，我们相学过程的每一个环节，机器学习都有相应的发展，我们相信它将导致科学方法中从假设生成、模型构造到决定性实信它将导致科学方法中从假设生成、模型构造到决定性实验这些所有环节的合适的、部分的自动化。当前机器学习验这些所有环节的合适的、部分的自动化。当前机器学习研究在一些基本论题上取得令人印象深刻的进展，我们预研究在一些基本论题上取得令人印象深刻的进展，我们预期机器学习研究

12、在今后若干年中将有稳定的进展！期机器学习研究在今后若干年中将有稳定的进展！”在稍早前，在稍早前，2000年年Science还发表了另外还发表了另外3篇篇ML方面方面的论文的论文“The Manifold Way of Perceptron”,“A global geometric framework for nonlinear dimensionality reduction”,”Nonlinear dimensionality reduction by locally”Mjolsness,D DeCoste,Machine Learning for Science:State of the

13、Art and Future Prospects-Science,2001:2051-2055.受到令人惊讶受到令人惊讶的重视！的重视！16机器学习的重要性机器学习的重要性摘自南京大学周志华教授摘自南京大学周志华教授PPT17研究意义研究意义如果我们能发现有效的机器学习方法，利用它如果我们能发现有效的机器学习方法，利用它可以将观察数据（现象）转换为模型，这将可以将观察数据（现象）转换为模型，这将一劳永逸的解决信息有效利用的难题！一劳永逸的解决信息有效利用的难题！网络数据网络数据金融数据金融数据生物数据生物数据气象数据气象数据地震观察数据地震观察数据自然物体分类识别数据自然物体分类识别数据从而实

14、现真正意义上的机器智能（电脑）从而实现真正意义上的机器智能（电脑）18机器学习（机器学习（ML）的目的）的目的Principled way of building high performance information processing systemssearch engines,adaptive user interfaces,personalized assistants,web bots,and scientific applicationsfrom medical records:treatments most effective How to construct compute

15、r programs that automatically improve with experiencehouses learn to optimize energy costscomputer gamesProgramming tasks that humans perform well but difficult to specify algorithmicallyLanguage Related TechnologiesIR,NLP,DAR,ASRChris Bishop,Pattern Recognition and Machine Learning,2007,Springer19相

16、关学科对相关学科对ML的影响的影响人工智能：人工智能：学习的概念符号表示学习的概念符号表示Bayes 方法方法统计学：统计学：统计学习理论统计学习理论(SLT)计算复杂性理论计算复杂性理论控制论控制论信息论：最小描述长度信息论：最小描述长度哲学：哲学：“Occams Razor原则原则”，“没有免费午餐没有免费午餐”心理学和神经生物学：心理学和神经生物学：Neural Networks（神经网络）（神经网络）22机器学习所要解决的一些典型问题机器学习所要解决的一些典型问题存在什么样的算法能从特定的训练数据学习出一般存在什么样的算法能从特定的训练数据学习出一般的目标函数（决策规则）？的目标函数（

17、决策规则）？那种训练数据是充足的？如何保证学习的泛化（推那种训练数据是充足的？如何保证学习的泛化（推广）能力？广）能力？如何引入先验知识？如何引入先验知识？怎样把学习任务简化为一个或多个函数逼近问题？怎样把学习任务简化为一个或多个函数逼近问题？学习过程能自动化吗？学习过程能自动化吗？学习机能自动改变来提高表示和学习目标函数的能学习机能自动改变来提高表示和学习目标函数的能力？力？23机器学习目前主要的一些研究领域机器学习目前主要的一些研究领域符号机器学习符号机器学习Eg.决策树，决策树，ID3，计算学习理论（统计学习理论）计算学习理论（统计学习理论）PAC，SVM监督学习，非监督学习，半监督学习

18、监督学习，非监督学习，半监督学习集群机器学习集群机器学习Ensemble Learning，Boosting流行（流行（Manifold）学习）学习强化学习强化学习Ranking学习学习聚类学习聚类学习2426例子例子(1)：网络安全：网络安全摘自南京大学周志华教授摘自南京大学周志华教授PPT27例子例子(2)：生物信息学（：生物信息学（BioInformatics）摘自南京大学周志华教授摘自南京大学周志华教授PPT28例子例子(3)：搜索引擎：搜索引擎摘自南京大学周志华教授摘自南京大学周志华教授PPT29例子（例子（4）、机器人自动驾驶学习）、机器人自动驾驶学习30Ref：机器学习机器学习（

19、曾华军等译）（曾华军等译）31例子（例子（5）：手写字符识别）：手写字符识别手写数字样本示例手写数字样本示例3233More 例子例子引用自引用自CMU Dr.Eric Xing的的Lecture Notes34上述问题的上述问题的ML解决方案解决方案35ML小结小结36课程安排课程安排37教学队伍教学队伍主讲：主讲：金连文金连文 博士博士,教授教授 Email: Web:http:/www.hcii- 博士，讲师博士，讲师Email:38课程考核方式课程考核方式小组课堂演讲：小组课堂演讲：40%平时课堂讨论：平时课堂讨论：10%期末报告：期末报告：50%39课程目标及安排课程目标及安排课程目

20、标课程目标对机器学习的基本概念有较好的了解和理解对机器学习的基本概念有较好的了解和理解培养针对特定问题的学习、归纳和总结的能力培养针对特定问题的学习、归纳和总结的能力锻炼团队合作精神和口头表达能力锻炼团队合作精神和口头表达能力课程安排课程安排教师主讲教师主讲3次机器学习的基本概念及典型方法次机器学习的基本概念及典型方法学生分组介绍学生分组介绍8-9个机器学习的基本模型及其应用个机器学习的基本模型及其应用期末提交大作业（含文档、程序、论文）期末提交大作业（含文档、程序、论文）40建议分组题目建议分组题目1.Linear Model for Regression and Classificatio

21、n（基于线性模型的（基于线性模型的拟合及分类）拟合及分类）2.Neural Network（神经网络）（神经网络）3.Decision Tree（决策树）（决策树）4.Support Vector Machine（支持向量机）（支持向量机）5.Expectation-Maximization(EM)Algorithm（最大期望算法（最大期望算法（EM）算法）算法）6.Hidden Markov Model（隐马尔科夫模型）（隐马尔科夫模型）7.Clustering Algorithms(k-means,Fuzzy-c,Gaussian Mixture model)（聚类算法）（聚类算法）8.A

22、daBoost Algorithm（提升算法）（提升算法）9.Conditional Random Field(CRM)（条件随机场）（条件随机场）10.Kernel-based Model（核函数）（核函数）11.Probability Graphic Model（概率图模型）（概率图模型）41建议演讲提纲建议演讲提纲基本概念以及数学定义基本概念以及数学定义基本性质及其物理意义基本性质及其物理意义具体算法应用（详细举例讲解）具体算法应用（详细举例讲解）该算法与其他类似算法的分析比较该算法与其他类似算法的分析比较可能的发展方向可能的发展方向参考文献参考文献4243教材及主要参考书教材及主要参考

23、书教材：教材：Chris Bishop,Pattern Recognition and Machine Learning,Springer 2006.美美 汤姆汤姆.米歇尔著，曾华军等译米歇尔著，曾华军等译机器学习机器学习，机械工业出版社，机械工业出版社，2003.主要参考书：主要参考书：R.O.Duda,P.E.Hart,D.G.Stork,模式分类模式分类（第（第2版），机械工版），机械工业出版社，业出版社，2007.I.H.Witten,E.Frank,数据挖掘数据挖掘实用机器学习技术实用机器学习技术，机械工业，机械工业出版社，出版社，2006李航，李航，统计学习方法统计学习方法，清华大

24、学出版社，清华大学出版社，201244学术期刊及国际会议学术期刊及国际会议摘自南京大学周志华教授摘自南京大学周志华教授PPT45一些网络资源一些网络资源(1)http:/machine- AAAI Machine Learning Topics：www.aaai.org/AITopics/html/machine.html-Support Vector Machines：http:/www.support-vector-machines.org/index.html 46一些网络资源一些网络资源(2)http:/www.cs.cmu.edu/tom/10701_sp11/lectures.sh

25、tmlMachine Learning(Spring 2011)CMUTom MitchellVideo Lecture&SlidesMachine Learning Resources:http:/ 47一些网络资源一些网络资源(3)Weka：Data Mining(ML)software in Java:http:/www.cs.waikato.ac.nz/ml/weka/LibSVM-A Library for Support Vector Machines：www.csie.ntu.edu.tw/cjlin/libsvm MLC+:http:/ library of C+classes

26、 for supervised machine learning UCI-Machine Learning information,software and databases:http:/archive.ics.uci.edu/ml/48一些网络资源一些网络资源(4)Kernal Machines:http:/www.kernel-machines.org/http:/mloss.org/software/:Machine Learning Open Source Softwarehttp:/www3.ntu.edu.sg/home/aswduch/ai-ml.html 数据挖掘研究院：数据

27、挖掘研究院：http:/ tell me!5152ML的发展历史的发展历史(1)1950s：神经科学的理论基础：神经科学的理论基础James关于神经元是相互连接的发现关于神经元是相互连接的发现McCullon&Pitts的神经元模型的神经元模型Hebb 学习律（相互连接强弱度的变换规则）学习律（相互连接强弱度的变换规则）1960s：感知器（：感知器（Perceptron）时代）时代1957年年Rosenblatt首次提出首次提出53ML的发展历史的发展历史(2)1969年：年：Perceptron出版，提出著名的出版，提出著名的XOR问题问题1970s：符号主义，逻辑推理：符号主义，逻辑推理1

28、980s：MLP+BP算法成功解决算法成功解决XOR问题，问题，从此进入神经网络时代（连接主义）从此进入神经网络时代（连接主义）1960s-1970s:统计学习理论创立统计学习理论创立VC维的基本概念维的基本概念结构风险最小化原则结构风险最小化原则概率空间的大数定律概率空间的大数定律54ML的发展历史的发展历史(3)1990s：统计学习理论的发展及完善：统计学习理论的发展及完善典型代表：典型代表：SVM（Vapnik，Bell实验室）实验室）结构风险最小化结构风险最小化最小描述长度原则最小描述长度原则小样本问题小样本问题核函数、核空间变化核函数、核空间变化PAC理论下的弱可学习理论的建立理论下

29、的弱可学习理论的建立支持向量机支持向量机55ML的发展历史的发展历史(4)2000s：各种机器学习理论及算法得以充分发展各种机器学习理论及算法得以充分发展符号机器学习符号机器学习计算机器学习（统计学习理论，典型例子：计算机器学习（统计学习理论，典型例子：SVM）集群机器学习（典型代表：集群机器学习（典型代表：Boosting）强化机器学习强化机器学习流行机器学习流行机器学习监督学习，非监督学习监督学习，非监督学习半监督学习、半监督学习、.56未来发展趋势未来发展趋势机器实际上是一个应用驱动的学科，其根本的驱动机器实际上是一个应用驱动的学科，其根本的驱动力是：力是：“更多、更好地解决实际问题更多

30、、更好地解决实际问题”由于近由于近20年的飞速发展，机器学习已经具备了一定年的飞速发展，机器学习已经具备了一定的解决实际问题的能力，似乎逐渐开始成为一种的解决实际问题的能力，似乎逐渐开始成为一种基基础性、透明化的础性、透明化的“支持技术、服务技术支持技术、服务技术”基础性：在众多的学科领域都得以应用（基础性：在众多的学科领域都得以应用（“无所不在无所不在”）透明化：用户看不见机器学习，看见的是防火墙、生物信透明化：用户看不见机器学习，看见的是防火墙、生物信息、搜索引擎；（息、搜索引擎；（“无所不在无所不在”）“机器更好用了机器更好用了”(正如正如CALO的一些描述：的一些描述：“you wont leave home without it”；”embodied as a software environment that transcends workstations,PDAs,cell phones,”)57End of todays lectureThanks!Thanks!金连文金连文 博士博士,教授教授 Email: Web:http:/www.hcii- any comments and suggestions to:58结束！结束！