机器学习入门机器学习入门 (44).pdf

《机器学习入门机器学习入门 (44).pdf》由会员分享，可在线阅读，更多相关《机器学习入门机器学习入门 (44).pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、目目 录录2激励函数的类别激励函数的类别3激励函数的比较激励函数的比较1为什么使用激励函数为什么使用激励函数1.1 为什么使用激活函数（1）激活函数也称为激励函数。（2）线性计算其表达能力不足，比如卷积计算、全连接计算。为了解决线性模型表达能力不足的缺陷，加入了激活函数。激活函数的主要作用就是加入非线性因素，它通常在卷积计算或者全连接计算后。1 为什么使用激励函数4/75缺点1：在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大。缺点2：指数计算复杂(1)激活函数 sigmoid函数2 激活函数2 激活函数的类别f(x)x-e11f(

2、x)df(x)/dxf(x)的值（0,1）(2)激活函数 tanh函数（双曲正切函数）5/75缺点：两头依然过于平坦。缺点：两头依然过于平坦。梯度消失、梯度爆炸的问题和幂运算的问题仍然存在。xxeexx-xee-)(tanhtanh(x)dtanh(x)/dxtanh(x)的值（-1,1）(3)激活函数 ReLU函数ReLU(Rectified Linear Unit，修正线性单元)函数是目前比较火的一个激活函数。优点：为正值时始终有梯度，计算速度快，收敛速度快。缺点：存在存在dead Area。反向传播中，输入值是负值也不会再更新了。这意味着有些神经元是死的，永远不会被激活。f(x)df(x)/dx,0,x)(xfx0 x0 x=03 激活函数比较