机器学习与应用第02讲人工神经网络ppt课件.pptx

经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经网络的思想起源神经元的原理神经网络结构正向传播算法怎样用于实际问题反向传播算法概述算法的历史神经网络训练时的优化目标函数几个重要的复合函数求导公式算法的推导算法的总结工程实现问题经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用人类的大脑由大约800亿个神经元组成这些神经元由突触与其他神经元相互连接，交换电信号和化学信号大脑通过神经元之间的协作完成各种功能神经元之间的连接关系是通过进化、生长发育和后天刺激形成的经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用人工神经网络受动物神经系统的启发，是一种仿生的方法。但只是简单的模仿是感知器模型、logistic回归的进一步发展经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经元的原理输入值连接权重偏置项输出值为什么需要激活函数？向量和矩阵形式经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用sigmoid函数定义域值域单调性导数经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经网络结构多层前馈型神经网络，也称为多层感知器模型MLP是一个分层结构，每一层有多个神经元输入层隐含层输出层经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经网络每一层完成的变换权重矩阵的每一行为本层神经元与上一层所有神经元的连接权重激活函数分别作用于每个神经元的输出值，即向量的每个分量，且使用了相同的函数内积加偏置激活函数经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用正向传播算法神经网络实现的是向量到向量的映射网络的每一层完成的变换对于前面例子中的网络经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用完整的正向传播算法设置输入值循环，对于结束循环输出经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经网络本质上是一个多层复合函数通过调整权重和偏置项实现不同的映射权重和偏置项的值通过训练得到经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用怎样用于实际问题分类问题-输入值为特征向量或原始数据，输出值为one-hot编码回归问题-输出值为回归函数值对于分类问题，分类结果为输出层神经元的最大值对于回归问题，直接是输出层的值经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用输入层有784个神经元输出层有10个神经元隐含层的神经元数量根据需要设定0123456789分类问题-手写数字图像识别经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用回归问题-预测人脸关键点神经网络直接为输入图像预测出关键点的坐标(x,y)经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用反向传播算法简介解决神经网络参数求导问题源自微积分中多元函数求导的链式法则与梯度下降法配合，完成网络的训练经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用David E.Rumelhart,Geoffrey E.Hinton,and Ronald J.Williams.Learning internal representations by back-propagating errors.Nature,323(99):533-536,1986.经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用以下面的3层网络为例：输入层隐含层输出层隐含层完成的变换：输出层完成的变换：激活函数选用sigmoid：写成矩阵和向量形式为：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经网络每一层完成的变换为：权重矩阵的每一行为本层神经元与上一层所有神经元的连接权重激活函数分别作用于每个神经元的输出值，即向量的每个分量，且使用了相同的函数内积加偏置激活函数经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经网络的权重和偏置参数通过训练得到训练的目标是最小化训练样本的预测误差以均方误差为例（也叫欧氏距离）：真实标签值神经网络的预测值二范数的平方可以写成对单个样本损失的均值：单个样本的损失所有参数如果对所有参数的梯度值已经计算出来，则可以用梯度下降法更新：现在的问题是目标函数是一个复合函数，每层都有权重矩阵与偏置向量，如何计算损失函数对它们的导数值？经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用欧氏距离损失函数的梯度值经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用多元函数求导的链式法则上一层中所有和本变量有关的变量都要考虑经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用问题1结论：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用问题2结论：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用问题3结论：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用问题4结论：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用问题5：结论：雅克比 矩阵经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用先从最外层算起计算某一层时需要依靠它外面贴近的那一层经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用正向传播时的变换公式：计算权重和偏置的梯度：这一项对于权重矩阵和偏置向量的梯度是共用的经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用输出层：权重和偏置的梯度可以直接求出：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用隐含层正向传播时的变换：定义误差项：根据后一层的梯度计算本层的梯度：终点递推公式经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用反向传播算法计算误差项：输出层：隐含层：计算梯度值：权重：偏置：梯度下降更新：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经网络的训练算法可以总结为梯度下降法有几种不同的实现单样本模式批量模式除梯度下降法以外，还可以采用二阶技术，如牛顿法随机梯度下降法经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用工程实现问题激活函数值，导数值，在正向传播的时候已经计算出来，存储备用编程语言中的向量和矩阵按行存储，因此计算公式有所变化