机器人的学习研究进展：深度学习及应用.ppt

《机器人的学习研究进展：深度学习及应用.ppt》由会员分享，可在线阅读，更多相关《机器人的学习研究进展：深度学习及应用.ppt（85页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、机器机器人的人的学习研究进展：学习研究进展：深度学习深度学习及应用及应用深度学习及应用深度学习及应用内内 容容 l1 1.深度学习概述深度学习概述 l2.2.深度学习应用深度学习应用研究研究深度学习及应用深度学习及应用1 1.深度学习概述深度学习概述l1.1 1.1 概述概述l1.2 1.2 背景背景l1.3 1.3 人脑视觉机理人脑视觉机理l1.4 1.4 关于特征关于特征l1.5 1.5 深度学习的基本思想深度学习的基本思想l1.6 1.6 浅层学习（浅层学习（Shallow LearningShallow Learning）和深）和深度学习（度学习（Deep LearningDeep L

2、earning）深度学习及应用深度学习及应用1 1.深度学习概述深度学习概述l1.7 Deep learning1.7 Deep learning与与Neural NetworkNeural Networkl1.8 Deep learning1.8 Deep learning训练过程训练过程l1.9 Deep Learning1.9 Deep Learning的常用模型或者方法的常用模型或者方法深度学习及应用深度学习及应用1.1 1.1 概述概述lArtificial IntelligenceArtificial Intelligence，也就是人工智，也就是人工智能，就像长生不老和星际漫游一

3、样，是人能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，经取得了长足的进步，但是到目前为止，还没有一台电脑能产生还没有一台电脑能产生“自我自我”的意识。的意识。l的确如此的确如此，在人类和大量现成数据的帮助，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分辨一个喵星人了这两者，它甚至都不能分辨一个喵星人和一个汪星人。和一个汪星人。深度学习及应用深度学习及应用1.1 1.1 概述概述l l图灵（计算机和人工智能的鼻祖，分别对应于

4、其著名的图灵（计算机和人工智能的鼻祖，分别对应于其著名的图灵（计算机和人工智能的鼻祖，分别对应于其著名的图灵（计算机和人工智能的鼻祖，分别对应于其著名的“图灵机图灵机图灵机图灵机”和和和和“图灵测试图灵测试图灵测试图灵测试”）在）在）在）在 1950 1950 1950 1950 年的论文里，提出图灵试验的设想，即，隔年的论文里，提出图灵试验的设想，即，隔年的论文里，提出图灵试验的设想，即，隔年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，墙对话，你将不知道与你谈话的，是人还是电脑。这

5、无疑给计算机，墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。尤其是人工智能，预设了一个很高的期望值。尤其是人工智能，预设了一个很高的期望值。尤其是人工智能，预设了一个很高的期望值。l l但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，准。这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽

6、悠，准。这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，准。这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关领域是相关领域是相关领域是相关领域是“伪科学伪科学伪科学伪科学”。深度学习及应用深度学习及应用1.1 1.1 概述概述l但是自但是自 2006 2006 年以来，机器学习领域，取年以来，机器学习领域，取得了突破性的进展。图灵试验，至少不是得了突破性的进展。图灵试验，至少不是那么可望而不可及了。至于技术手段，不那么可望而不可及了。至于技术手段，不仅仅依赖于云计算对大数据的并行处理能仅仅依赖于云计算对大数据的并行处理能力，而且依赖于算法。力，而且依赖于算法。l这个算法

7、就是，这个算法就是，Deep LearningDeep Learning。借助于。借助于 Deep Learning Deep Learning 算法，人类终于找到了如算法，人类终于找到了如何处理何处理“抽象概念抽象概念”这个亘古难题的方法。这个亘古难题的方法。深度学习及应用深度学习及应用1.1 1.1 概述概述l2 2012012年年6 6月，纽约时报披露了月，纽约时报披露了Google Google BrainBrain项目项目，吸引了公众的广泛关注。这，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学个项目是由著名的斯坦福大学的机器学习教授习教授Andrew NgAndrew

8、Ng和在大规模计算机系统和在大规模计算机系统方面的世界顶尖专家方面的世界顶尖专家JeffJeff DeanDean共同主导，共同主导，用用1600016000个个CPU CoreCPU Core的并行计算平台训练的并行计算平台训练一种称为一种称为“深度神经网络深度神经网络”（DNNDNN，Deep Deep Neural NetworksNeural Networks）的机器学习模型（内）的机器学习模型（内部共有部共有1010亿个节点。亿个节点。深度学习及应用深度学习及应用1.1 1.1 概述概述l这一网络自然是不能跟人类的神经网络相这一网络自然是不能跟人类的神经网络相提并论的。要知道，提并论

9、的。要知道，人脑人脑中可是有中可是有150150多亿多亿个神经元，互相连接的节点也就是突触数个神经元，互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过，如果更是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞的轴突和将一个人的大脑中所有神经细胞的轴突和树突依次连接起来，并拉成一根直线，可树突依次连接起来，并拉成一根直线，可从地球连到月亮，再从月亮返回地球）从地球连到月亮，再从月亮返回地球）。l“深度神经网络深度神经网络”在在语音识别和图像识别语音识别和图像识别等领域获得了巨大的成功。等领域获得了巨大的成功。深度学习及应用深度学习及应用1.1 1.1 概述概述l l项目负责人

10、之一项目负责人之一项目负责人之一项目负责人之一AndrewAndrewAndrewAndrew称：称：称：称：“我们没有像通常做的那样自我们没有像通常做的那样自我们没有像通常做的那样自我们没有像通常做的那样自己框定边界，而是直接把海量数据投放到算法中，让数据己框定边界，而是直接把海量数据投放到算法中，让数据己框定边界，而是直接把海量数据投放到算法中，让数据己框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。自己说话，系统会自动从数据中学习。自己说话，系统会自动从数据中学习。自己说话，系统会自动从数据中学习。”另外一名负责人另外一名负责人另外一名负责人另外一名负责

11、人JeffJeffJeffJeff则说：则说：则说：则说：“我们在训练的时候从来不会告诉机器说：我们在训练的时候从来不会告诉机器说：我们在训练的时候从来不会告诉机器说：我们在训练的时候从来不会告诉机器说：这是一只猫。这是一只猫。这是一只猫。这是一只猫。系统其实是自己发明或者领悟了系统其实是自己发明或者领悟了系统其实是自己发明或者领悟了系统其实是自己发明或者领悟了“猫猫猫猫”的概念。的概念。的概念。的概念。”深度学习及应用深度学习及应用1.1 1.1 概述概述l l2012201220122012年年年年11111111月，月，月，月，微软微软微软微软在中国天津的一次活动上公开演示了一个全自在中

12、国天津的一次活动上公开演示了一个全自在中国天津的一次活动上公开演示了一个全自在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流自动完成语音识别、英中机器翻译和中文语音合成，效果非常流自动完成语音识别、英中机器翻译和中文语音合成，效果非常流自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是畅

13、。据报道，后面支撑的关键技术也是畅。据报道，后面支撑的关键技术也是畅。据报道，后面支撑的关键技术也是DNNDNNDNNDNN，或者深度学习（，或者深度学习（，或者深度学习（，或者深度学习（DLDLDLDL，DeepLearningDeepLearningDeepLearningDeepLearning）。）。）。）。l l2013201320132013年年年年1 1 1 1月，在月，在月，在月，在百度百度百度百度年会上，创始人兼年会上，创始人兼年会上，创始人兼年会上，创始人兼CEOCEOCEOCEO李彦宏高调宣布要成立李彦宏高调宣布要成立李彦宏高调宣布要成立李彦宏高调宣布要成立百度研究院，其

14、中第一个成立的就是百度研究院，其中第一个成立的就是百度研究院，其中第一个成立的就是百度研究院，其中第一个成立的就是“深度学习研究所深度学习研究所深度学习研究所深度学习研究所”（IDLIDLIDLIDL，Institue of Deep LearningInstitue of Deep LearningInstitue of Deep LearningInstitue of Deep Learning）。）。）。）。深度学习及应用深度学习及应用1.1 1.1 概述概述l l为什么拥有大数据的互联网公司争相投入大量资源研发深为什么拥有大数据的互联网公司争相投入大量资源研发深为什么拥有大数据的互联网

15、公司争相投入大量资源研发深为什么拥有大数据的互联网公司争相投入大量资源研发深度学习技术。听起来感觉度学习技术。听起来感觉度学习技术。听起来感觉度学习技术。听起来感觉deeplearningdeeplearningdeeplearningdeeplearning很牛那样。很牛那样。很牛那样。很牛那样。那什么是那什么是那什么是那什么是deep learningdeep learningdeep learningdeep learning？为什么有为什么有为什么有为什么有deep learningdeep learningdeep learningdeep learning？它是怎么来的？它是怎么来

16、的？它是怎么来的？它是怎么来的？又能干什么呢？又能干什么呢？又能干什么呢？又能干什么呢？目前存在哪些困难呢？目前存在哪些困难呢？目前存在哪些困难呢？目前存在哪些困难呢？l l这些问题的简答都需要慢慢来。咱们先来了解下机器学习这些问题的简答都需要慢慢来。咱们先来了解下机器学习这些问题的简答都需要慢慢来。咱们先来了解下机器学习这些问题的简答都需要慢慢来。咱们先来了解下机器学习（人工智能的核心）的背景。（人工智能的核心）的背景。（人工智能的核心）的背景。（人工智能的核心）的背景。深度学习及应用深度学习及应用1.2 1.2 背景背景l l机器学习（机器学习（机器学习（机器学习（Machine Lear

17、ningMachine LearningMachine LearningMachine Learning）是一门专门研究计算机怎是一门专门研究计算机怎是一门专门研究计算机怎是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，样模拟或实现人类的学习行为，以获取新的知识或技能，样模拟或实现人类的学习行为，以获取新的知识或技能，样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的重新组织已有的知识结构使之不断改善自身的性能的重新组织已有的知识结构使之不断改善自身的性能的重新组织已有的知识结构使之不断改善自身的性能的学科。学科。学科。学科

18、。l l1959195919591959年美国的年美国的年美国的年美国的塞缪尔塞缪尔塞缪尔塞缪尔(Samuel)(Samuel)(Samuel)(Samuel)设计了一个下棋程序，这个设计了一个下棋程序，这个设计了一个下棋程序，这个设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋程序具有学习能力，它可以在不断的对弈中改善自己的棋程序具有学习能力，它可以在不断的对弈中改善自己的棋程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。艺。艺。艺。4 4 4 4年后，这个程序战胜了设计者本人。又过了年后，这个程序战胜了设计者本人。又过了年后，这个程序战胜了设计者本人。又过了

19、年后，这个程序战胜了设计者本人。又过了3 3 3 3年，这年，这年，这年，这个程序战胜了美国一个保持个程序战胜了美国一个保持个程序战胜了美国一个保持个程序战胜了美国一个保持8 8 8 8年之久的常胜不败的冠军。年之久的常胜不败的冠军。年之久的常胜不败的冠军。年之久的常胜不败的冠军。l l这个程序向人们展示了这个程序向人们展示了这个程序向人们展示了这个程序向人们展示了机器学习的能力机器学习的能力机器学习的能力机器学习的能力，提出了许多令人，提出了许多令人，提出了许多令人，提出了许多令人深思的社会问题与哲学问题深思的社会问题与哲学问题深思的社会问题与哲学问题深思的社会问题与哲学问题。深度学习及应用

20、深度学习及应用1.2 1.2 背景背景l机器学习虽然发展了几十年，但还是存在机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题：很多没有良好解决的问题：深度学习及应用深度学习及应用1.2 1.2 背景背景l例如图像识别、语音识别、自然语言理解、例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。目天气预测、基因表达、内容推荐等等。目前我们通过机器学习去解决这些问题的思前我们通过机器学习去解决这些问题的思路都是这样的（以视觉感知为例子）：路都是这样的（以视觉感知为例子）：深度学习及应用深度学习及应用1.2 1.2 背景背景l l从开始的通过传感器（例如从开始的通过传感

21、器（例如从开始的通过传感器（例如从开始的通过传感器（例如CMOSCMOSCMOSCMOS）来）来）来）来获得数据获得数据获得数据获得数据。然后经过。然后经过。然后经过。然后经过预处预处预处预处理理理理、特征提取特征提取特征提取特征提取、特征选择特征选择特征选择特征选择，再到，再到，再到，再到推理、预测或者识别推理、预测或者识别推理、预测或者识别推理、预测或者识别。最后一。最后一。最后一。最后一个部分，也就是个部分，也就是个部分，也就是个部分，也就是机器学习机器学习机器学习机器学习的部分，绝大部分的工作是在这方面的部分，绝大部分的工作是在这方面的部分，绝大部分的工作是在这方面的部分，绝大部分的工

22、作是在这方面做的，也存在很多的做的，也存在很多的做的，也存在很多的做的，也存在很多的学术论文学术论文学术论文学术论文和研究。和研究。和研究。和研究。l l而中间的三部分，概括起来就是而中间的三部分，概括起来就是而中间的三部分，概括起来就是而中间的三部分，概括起来就是特征表达特征表达特征表达特征表达。良好的特征表达，。良好的特征表达，。良好的特征表达，。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计对最终算法的准确性起了非常关键的作用，而且系统主要的计对最终算法的准确性起了非常关键的作用，而且系统主要的计对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都

23、耗在这一大部分。但算和测试工作都耗在这一大部分。但算和测试工作都耗在这一大部分。但算和测试工作都耗在这一大部分。但是是是是这块实际中一般都是人这块实际中一般都是人这块实际中一般都是人这块实际中一般都是人工完成的工完成的工完成的工完成的，即，即，即，即靠人工提取特征。靠人工提取特征。靠人工提取特征。靠人工提取特征。深度学习及应用深度学习及应用1.2 1.2 背景背景l l截止现在，也出现了不少截止现在，也出现了不少截止现在，也出现了不少截止现在，也出现了不少优优优优秀秀秀秀特征特征特征特征表示方式表示方式表示方式表示方式（好的特征（好的特征（好的特征（好的特征应具有不变性（大小、尺度应具有不变性

24、（大小、尺度应具有不变性（大小、尺度应具有不变性（大小、尺度和旋转等）和可区分性）和旋转等）和可区分性）和旋转等）和可区分性）和旋转等）和可区分性）。l l例如例如例如例如SiftSiftSiftSift的出现，是局部图的出现，是局部图的出现，是局部图的出现，是局部图像特征描述子研究领域一项像特征描述子研究领域一项像特征描述子研究领域一项像特征描述子研究领域一项里程碑式的工作。由于里程碑式的工作。由于里程碑式的工作。由于里程碑式的工作。由于SIFTSIFTSIFTSIFT对对对对尺度尺度尺度尺度、旋转旋转旋转旋转以及一定以及一定以及一定以及一定视角视角视角视角和和和和光照变化光照变化光照变化光

25、照变化等图像变化都具等图像变化都具等图像变化都具等图像变化都具有不变性，并且有不变性，并且有不变性，并且有不变性，并且SIFTSIFTSIFTSIFT具有很具有很具有很具有很强的可区分性，的确让很多强的可区分性，的确让很多强的可区分性，的确让很多强的可区分性，的确让很多问题的解决变为可能。但它问题的解决变为可能。但它问题的解决变为可能。但它问题的解决变为可能。但它也不是万能的。也不是万能的。也不是万能的。也不是万能的。深度学习及应用深度学习及应用1.2 1.2 背景背景l l然而，手工地选取特征是一件非常费力、启发式（需然而，手工地选取特征是一件非常费力、启发式（需然而，手工地选取特征是一件非

26、常费力、启发式（需然而，手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经要专业知识）的方法，能不能选取好很大程度上靠经要专业知识）的方法，能不能选取好很大程度上靠经要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。验和运气，而且它的调节需要大量的时间。验和运气，而且它的调节需要大量的时间。验和运气，而且它的调节需要大量的时间。l l既然手工选取特征不太好，那么能不能自动地学习一既然手工选取特征不太好，那么能不能自动地学习一既然手工选取特征不太好，那么能不能自动地学习一既然手工选取特征不太好，那么能不能自动地学习一些特征呢？

27、答案是能！些特征呢？答案是能！些特征呢？答案是能！些特征呢？答案是能！Deep LearningDeep LearningDeep LearningDeep Learning就是用来干这就是用来干这就是用来干这就是用来干这个事情的，看它的一个别名个事情的，看它的一个别名个事情的，看它的一个别名个事情的，看它的一个别名UnsupervisedUnsupervisedUnsupervisedUnsupervised Feature Feature Feature Feature LearningLearningLearningLearning，就可以顾名思义了，就可以顾名思义了，就可以顾名思义了，

28、就可以顾名思义了，UnsupervisedUnsupervisedUnsupervisedUnsupervised的意思的意思的意思的意思就是不要人参与特征的选取过程。就是不要人参与特征的选取过程。就是不要人参与特征的选取过程。就是不要人参与特征的选取过程。深度学习及应用深度学习及应用1.2 1.2 背景背景l l那它是怎么学习的呢？怎么知道哪些特征好哪些那它是怎么学习的呢？怎么知道哪些特征好哪些那它是怎么学习的呢？怎么知道哪些特征好哪些那它是怎么学习的呢？怎么知道哪些特征好哪些不好呢？不好呢？不好呢？不好呢？l l我们说我们说我们说我们说机器学习机器学习机器学习机器学习是一门专门研究计算机怎

29、样模拟是一门专门研究计算机怎样模拟是一门专门研究计算机怎样模拟是一门专门研究计算机怎样模拟或实现人类的学习行为的学科。那或实现人类的学习行为的学科。那或实现人类的学习行为的学科。那或实现人类的学习行为的学科。那人类人类人类人类的视觉系的视觉系的视觉系的视觉系统是怎么工作的呢？为什么在茫茫人海，芸芸众统是怎么工作的呢？为什么在茫茫人海，芸芸众统是怎么工作的呢？为什么在茫茫人海，芸芸众统是怎么工作的呢？为什么在茫茫人海，芸芸众生，滚滚红尘中我们都可以找到另一个她（因为，生，滚滚红尘中我们都可以找到另一个她（因为，生，滚滚红尘中我们都可以找到另一个她（因为，生，滚滚红尘中我们都可以找到另一个她（因为

30、，你存在我深深的脑海里，我的梦里你存在我深深的脑海里，我的梦里你存在我深深的脑海里，我的梦里你存在我深深的脑海里，我的梦里、我的心里我的心里我的心里我的心里、我的歌声里我的歌声里我的歌声里我的歌声里）。）。）。）。深度学习及应用深度学习及应用1.2 1.2 背景背景l l人脑那么人脑那么优秀优秀，我们能不能参考人脑，模拟人，我们能不能参考人脑，模拟人脑呢？（脑呢？（注：注：好像和人脑扯上点关系的特征好像和人脑扯上点关系的特征、算法，都不错，但不知道是不是人为强加的，算法，都不错，但不知道是不是人为强加的，为了使自己的为了使自己的研究研究变得神圣和高雅。）变得神圣和高雅。）l l近几十年以来，近

31、几十年以来，认知神经科学、生物学认知神经科学、生物学等等学等等学科的发展，让我们对自己这个神秘的而又神奇科的发展，让我们对自己这个神秘的而又神奇的大脑不再那么的陌生。也给人工智能的发展的大脑不再那么的陌生。也给人工智能的发展推波助澜。推波助澜。深度学习及应用深度学习及应用1.3 1.3 人脑视觉机理人脑视觉机理l19811981年的诺贝尔医学年的诺贝尔医学/生理学生理学奖，颁发给了奖，颁发给了 David HubelDavid Hubel（出生于加拿大的美国神经生（出生于加拿大的美国神经生物学家）物学家）和和TorstenTorsten WieselWiesel以及以及 Roger Roger

32、 SperrySperry。前两位的主要贡献，是。前两位的主要贡献，是“发现了发现了视觉系统的信息处理视觉系统的信息处理机制机制”，发现，发现可视皮可视皮层是分级的层是分级的。如。如“人见到蛇的情景人见到蛇的情景”。深度学习及应用深度学习及应用深度学习及应用深度学习及应用1.3 1.3 人脑视觉机理人脑视觉机理l l我们看看他们做了什么。我们看看他们做了什么。我们看看他们做了什么。我们看看他们做了什么。1958 1958 1958 1958 年，年，年，年，DavidHubel DavidHubel DavidHubel DavidHubel 和和和和Torsten Wiesel Torste

33、n Wiesel Torsten Wiesel Torsten Wiesel 在在在在 JohnHopkins University JohnHopkins University JohnHopkins University JohnHopkins University研究研究研究研究了了了了瞳孔区域与大脑皮层神经元的对应关系。他们在猫的瞳孔区域与大脑皮层神经元的对应关系。他们在猫的瞳孔区域与大脑皮层神经元的对应关系。他们在猫的瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上开了一个后脑头骨上开了一个后脑头骨上开了一个后脑头骨上开了一个3 3 3 3 毫米的小洞，向洞里插入电极，毫米的

34、小洞，向洞里插入电极，毫米的小洞，向洞里插入电极，毫米的小洞，向洞里插入电极，测量神经元的活跃程度。测量神经元的活跃程度。测量神经元的活跃程度。测量神经元的活跃程度。l l然后，他们在小猫的眼前，展现各种然后，他们在小猫的眼前，展现各种然后，他们在小猫的眼前，展现各种然后，他们在小猫的眼前，展现各种形状形状形状形状、各种、各种、各种、各种亮度亮度亮度亮度的物体。并且，在展现每一件物体时，还改变物体放的物体。并且，在展现每一件物体时，还改变物体放的物体。并且，在展现每一件物体时，还改变物体放的物体。并且，在展现每一件物体时，还改变物体放置的置的置的置的位置位置位置位置和和和和角度角度角度角度。他

35、们期望通过这个办法，让小猫瞳。他们期望通过这个办法，让小猫瞳。他们期望通过这个办法，让小猫瞳。他们期望通过这个办法，让小猫瞳孔感受不同类型、不同强弱的刺激。孔感受不同类型、不同强弱的刺激。孔感受不同类型、不同强弱的刺激。孔感受不同类型、不同强弱的刺激。深度学习及应用深度学习及应用1.3 1.3 人脑视觉机理人脑视觉机理l l之所以做这个试验，目的是去证明一个猜测之所以做这个试验，目的是去证明一个猜测之所以做这个试验，目的是去证明一个猜测之所以做这个试验，目的是去证明一个猜测：位于后脑皮层的位于后脑皮层的位于后脑皮层的位于后脑皮层的不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系不同视觉神经

36、元，与瞳孔所受刺激之间，存在某种对应关系不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系。一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活跃。跃。跃。跃。l l经历了很多天反复的枯燥的试验，同时牺牲了若干只可怜的小经历了很多天反复的枯燥的试验，同时牺牲了若干只可怜的小经历了很多天反复的枯燥的试验，同时牺牲了若干只可怜的小经历了很多天反复的枯燥的试验，同时牺牲了若干只可怜的小

37、猫，猫，猫，猫，David Hubel David Hubel David Hubel David Hubel 和和和和Torsten Wiesel Torsten Wiesel Torsten Wiesel Torsten Wiesel 发现了一种被称为发现了一种被称为发现了一种被称为发现了一种被称为“方向方向方向方向选择性细胞选择性细胞选择性细胞选择性细胞（Orientation Selective CellOrientation Selective CellOrientation Selective CellOrientation Selective Cell）”的神经元细胞。的神经元细

38、胞。的神经元细胞。的神经元细胞。当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃。时，这种神经元细胞就会活跃。时，这种神经元细胞就会活跃。时，这种神经元细胞就会活跃。l l这个发现激发了人们对于神经系统的进一步思考。神经这个发现激发了人们对于神经系统的进一步思考。神经这个发现激发了人们对于神经系统的进一步思考。神经这个发现激发了人们对于神经系统的进一步思考。神经-中枢中枢中枢中枢-大脑的工作过程，或许是

39、一个不断迭代、不断抽象的过程。大脑的工作过程，或许是一个不断迭代、不断抽象的过程。大脑的工作过程，或许是一个不断迭代、不断抽象的过程。大脑的工作过程，或许是一个不断迭代、不断抽象的过程。深度学习及应用深度学习及应用1.3 1.3 人脑视觉机理人脑视觉机理l l这里的关键词有两个，一个是这里的关键词有两个，一个是这里的关键词有两个，一个是这里的关键词有两个，一个是抽象抽象抽象抽象，一个是，一个是，一个是，一个是迭代迭代迭代迭代。从。从。从。从原始信号，做原始信号，做原始信号，做原始信号，做低级低级低级低级抽象抽象抽象抽象，逐渐向，逐渐向，逐渐向，逐渐向高级高级高级高级抽象抽象抽象抽象迭代迭代迭代

40、迭代。人类人类人类人类的逻辑思维，经常使用高度抽象的概念的逻辑思维，经常使用高度抽象的概念的逻辑思维，经常使用高度抽象的概念的逻辑思维，经常使用高度抽象的概念。l l例如，从原始信号摄入开始（瞳孔摄入像素例如，从原始信号摄入开始（瞳孔摄入像素例如，从原始信号摄入开始（瞳孔摄入像素例如，从原始信号摄入开始（瞳孔摄入像素 PixelsPixelsPixelsPixels），接着做初步处理（大脑皮层某些细胞发现），接着做初步处理（大脑皮层某些细胞发现），接着做初步处理（大脑皮层某些细胞发现），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的边缘和方向），然后抽象（大

41、脑判定，眼前的物体的边缘和方向），然后抽象（大脑判定，眼前的物体的边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判形状，是圆形的），然后进一步抽象（大脑进一步判形状，是圆形的），然后进一步抽象（大脑进一步判形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。定该物体是只气球）。定该物体是只气球）。定该物体是只气球）。l l再比如人脸识别，如下图：再比如人脸识别，如下图：再比如人脸识别，如下图：再比如人脸识别，如下图：深度学习及应用深度学习及应用深度学习及应用深度学习及应用1.3 1.3 人脑视觉机理人脑视觉机理l l这个生理学的发现，促

42、成了计算机人工智能在四十年后的突破性这个生理学的发现，促成了计算机人工智能在四十年后的突破性这个生理学的发现，促成了计算机人工智能在四十年后的突破性这个生理学的发现，促成了计算机人工智能在四十年后的突破性发展。发展。发展。发展。l l总的来说，总的来说，总的来说，总的来说，人的视觉系统的信息处理是分级的人的视觉系统的信息处理是分级的人的视觉系统的信息处理是分级的人的视觉系统的信息处理是分级的。从低级的。从低级的。从低级的。从低级的V1V1V1V1区提区提区提区提取边缘特征，再到取边缘特征，再到取边缘特征，再到取边缘特征，再到V2V2V2V2区的形状或者目标的部分等，再到更高层，区的形状或者目标

43、的部分等，再到更高层，区的形状或者目标的部分等，再到更高层，区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。整个目标、目标的行为等。整个目标、目标的行为等。整个目标、目标的行为等。l l也就是说也就是说也就是说也就是说高层的特征是低层特征的组合高层的特征是低层特征的组合高层的特征是低层特征的组合高层的特征是低层特征的组合，从低层到高层的特征表，从低层到高层的特征表，从低层到高层的特征表，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而示越来越抽象，越来越能表现语义或者意图。而示越来越抽象，越来越能表现语义或者意图。而示越来越抽象，越来越能表现语义或者意图。而抽象层面

44、越高，抽象层面越高，抽象层面越高，抽象层面越高，存在的可能猜测就越少，就越利于分类存在的可能猜测就越少，就越利于分类存在的可能猜测就越少，就越利于分类存在的可能猜测就越少，就越利于分类。l l例如，单词集合和句子的对应是多对一的，句子和语义的对应又例如，单词集合和句子的对应是多对一的，句子和语义的对应又例如，单词集合和句子的对应是多对一的，句子和语义的对应又例如，单词集合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和意图的对应还是多对一的，这是个层级体系。是多对一的，语义和意图的对应还是多对一的，这是个层级体系。是多对一的，语义和意图的对应还是多对一的，这是个层级体系。是多对一的

45、，语义和意图的对应还是多对一的，这是个层级体系。深度学习及应用深度学习及应用1.3 1.3 人脑视觉机理人脑视觉机理l l敏感的人注意到敏感的人注意到敏感的人注意到敏感的人注意到这个这个这个这个关键词了：关键词了：关键词了：关键词了：分层分层分层分层。而。而。而。而Deep learningDeep learningDeep learningDeep learning的的的的deepdeepdeepdeep是不是就表示我存在多少层，也就是多深呢？是不是就表示我存在多少层，也就是多深呢？是不是就表示我存在多少层，也就是多深呢？是不是就表示我存在多少层，也就是多深呢？l l对对对对。那。那。那。那

46、Deep learningDeep learningDeep learningDeep learning是如何借鉴这个过程的呢是如何借鉴这个过程的呢是如何借鉴这个过程的呢是如何借鉴这个过程的呢？毕竟是？毕竟是？毕竟是？毕竟是归于计算机来处理，面对的一个问题就是归于计算机来处理，面对的一个问题就是归于计算机来处理，面对的一个问题就是归于计算机来处理，面对的一个问题就是怎么对这个过程怎么对这个过程怎么对这个过程怎么对这个过程进行进行进行进行建模建模建模建模？l l因为我们要学习的是因为我们要学习的是因为我们要学习的是因为我们要学习的是特征的表达特征的表达特征的表达特征的表达，那么关于特征，或者说，

47、那么关于特征，或者说，那么关于特征，或者说，那么关于特征，或者说关于这个层级特征，我们需要了解地更深入点。所以在说关于这个层级特征，我们需要了解地更深入点。所以在说关于这个层级特征，我们需要了解地更深入点。所以在说关于这个层级特征，我们需要了解地更深入点。所以在说Deep LearningDeep LearningDeep LearningDeep Learning之前，我们之前，我们之前，我们之前，我们下面下面下面下面有必要有必要有必要有必要解释一下解释一下解释一下解释一下特征特征特征特征。深度学习及应用深度学习及应用1.4 1.4 关于特征关于特征l特征特征是机器学习系统的原材料，对最终模

48、是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。型的影响是毋庸置疑的。l如果数据被很好如果数据被很好地地表达成了特征，通常线表达成了特征，通常线性模型就能达到满意的精度。性模型就能达到满意的精度。l那对于特征，我们需要考虑什么呢？那对于特征，我们需要考虑什么呢？深度学习及应用深度学习及应用1.4 1.4 关于特征关于特征l1.1.4.14.1 特征表示的粒度特征表示的粒度l1.1.4.24.2 初级（浅层）特征表示初级（浅层）特征表示l1.1.4.34.3 结构性特征表示结构性特征表示l1.1.4.44.4 需要有多少个特征需要有多少个特征深度学习及应用深度学习及应用1.1.4.14.1

49、 特征表示的粒度特征表示的粒度l l学习算法在一个学习算法在一个学习算法在一个学习算法在一个什么粒度上的特征表示什么粒度上的特征表示什么粒度上的特征表示什么粒度上的特征表示，才有能，才有能，才有能，才有能发挥作用？就一个图片来说，发挥作用？就一个图片来说，发挥作用？就一个图片来说，发挥作用？就一个图片来说，像素级的特征根本像素级的特征根本像素级的特征根本像素级的特征根本没有价值没有价值没有价值没有价值。l l例如例如例如例如上面上面上面上面的摩托车，从像素级别，根本得不到任的摩托车，从像素级别，根本得不到任的摩托车，从像素级别，根本得不到任的摩托车，从像素级别，根本得不到任何信息，其无法进行摩

50、托车和非摩托车的区分。何信息，其无法进行摩托车和非摩托车的区分。何信息，其无法进行摩托车和非摩托车的区分。何信息，其无法进行摩托车和非摩托车的区分。深度学习及应用深度学习及应用1.1.4.14.1 特征表示的粒度特征表示的粒度l l而如果特征是一个具有结构性（或者说有含义）的时而如果特征是一个具有结构性（或者说有含义）的时而如果特征是一个具有结构性（或者说有含义）的时而如果特征是一个具有结构性（或者说有含义）的时候，比如是否具有候，比如是否具有候，比如是否具有候，比如是否具有车把手车把手车把手车把手（handlehandlehandlehandle），是否具有），是否具有），是否具有），是否具