深度学习基础Mchapter1ALL (4).pdf

《深度学习基础Mchapter1ALL (4).pdf》由会员分享，可在线阅读，更多相关《深度学习基础Mchapter1ALL (4).pdf（28页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、(InformationEntropy)信息熵信息熵1信息论中的熵(entropy)热力学中的熵:是表示分子状态混乱程度的物理量2 经常使用的熵概念有下列几种：信息熵 交叉熵 相对熵 条件熵 互信息克劳德艾尔伍德香农（Claude Elwood Shannon，1916年4月30日2001年2月24日）是美国数学家、信息论的创始人。1936年获得密歇根大学学士学位。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。香农提出了信息熵的概念，为信息论和数字通信奠定了基础。信息论中的熵：用来描述信源的不确定性的大小信息熵 信源信息的不确定性函数 通常满足两个条件：1)是概率

2、的单调递减函数。2)两个独立符号所产生的不确定性应等于各自不确定性之和，即?,?+?。对数函数同时满足这两个条件：?信息熵：要考虑信源所有可能发生情况的平均不确定性。若信源符号有n种取值:1,，对应概率为1,，且各种出现彼此独立。此时信源的平均不确定性应当为单个符号不确定性?log?的统计平均值(E)，称为信息熵，即?log?3交叉熵(crossentropy)定义：交叉熵是信息论中一个重要的概念,用于表征两 个变量概率分布P,Q（假设P表示真实分布,Q为模型预测的分布）的差异性。交叉熵越大,两个变量差异程度越大。交叉熵公式：交叉熵公式：,?4相对熵相对熵(relativeentropy)也称

3、为KL散度(KullbackLeibler divergence，简称KLD)、信息散度(information divergence)、信息增益(information gain)。相对熵的定义：是交叉熵与信息熵的差值。表示用分布Q模拟真实分布P，所需的额外信息。计算公式为?|?5交叉熵信息熵相对熵相对熵(relativeentropy)举例举例举例：举例：假设某字符发射器随机发出0和1两种字符。且其真实发出概率分布为A。现在有两人的观察概率分布B与C。各个分布如下：A(0)=1/2，A(1)=1/2B(0)=1/4，B(1)=3/4C(0)=1/8，C(1)=7/8则则B和和C哪个更接近实

4、际分布哪个更接近实际分布A？6 求解过程：求解过程：用公式用公式?|?，则?|?log?/?/?log?/?/?|?log?/?/?log?/?/?结果：?|=0.14,?|?0.41相对熵的性质相对熵的性质 相对熵（KL散度）有两个主要的性质：相对熵（KL散度）不具有对称性不具有对称性，即?|?|。例如?|?log?/?/?log?/?/?=0.1438,?|?log?/?/?log?/?/?=0.1308即即?|?|相对熵具有非负性具有非负性。即?|?07JS散度散度 JS散度散度(JensenShannon divergence)具有对称性：具有对称性：由于由于KL散度不具对称性，因此J

5、S散度在KL散度的基础上进行了改进。现有两个分布p1和p2，其JS散度公式为：?|?|?|?8联合熵 联合熵联合熵(复合熵，复合熵，JointEntropy)：用H(X,Y)表示 两个随机变量X，Y的联合分布的熵,形成联合熵联合熵9条件熵条件熵 条件熵（条件熵（theconditionalentropy）：H(X|Y)表示在已知随机变量Y的条件下随机变量X的不确定性。H(X|Y)=H(X,Y)H(Y)，表示(X,Y)的联合熵，减去Y单独发生包含的熵。推导推导过程：假设已知y?,则?对于y的各种可能值，需要根据出现概率做加权平均。即?,?,?10互信息 互信息互信息(MutualInformat

6、ion)可以被看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。;?,?1?1?,1?,?,?,?,?,?即互信息;是联合分布?,?与乘积分布?的相对熵11文氏图文氏图图解H(X)H(X,Y)H(Y)H(X|Y)H(Y|X)I(X;Y)H(X|Y)12Thanks!13(Gradientin Backpropagation)反向传播中的梯度反向传播中的梯度14反向传播（backpropagationbackpropagation）中的梯度反向传播需要通过递归调用链规则(chainrule)计算表达式的梯度。15?输入层输出层中间层

7、(隐藏层)正向传播正向传播中间层(隐藏层)输入层输出层反向传播反向传播反向传播（BP）算法的学习过程由正向传播过程和反向传播过程组成。梯度的简单解释 一般形式：?lim?举例1：对于函数,?,?,?，由于梯度 f实际上是偏导向量,因此我们有?,?,?举例2：对于函数max?,?,有?1?,?1?16使用链规则对复合表达式(Compoundexpressions)求导例：假设复合表达式为?,?。令?，则?，则有?,?,?1,?1,使用链规则，则有?1，?1，?17 u=1;v=2;w=3#正向传播正向传播 q=u+v f=q*w#反向传播反向传播 dfdq=w dfdu=1.0*dfdq dfd

8、v=1.0*dfdq dfdw=qqf+12?33?9?3?33?31Sigmoid门的反向传播 sigmoid函数?，则?1?假设有,?，则其正、反向传播过程为：importmathw=3,4,5x=6,7#正向传播正向传播dot=w0*x0+w1*x1+w2f=1.0/(1+math.exp(dot)#反向传播反向传播dfddot=(1 f)*fdfdx=w0*dfddot,w1*dfddotdfdw=x0*dfddot,x1*dfddot,1.0*dfddot18/?,?矩阵矩阵 矩阵相乘的梯度矩阵相乘的梯度矩阵矩阵相乘的梯度需要注意维度和转置操作。例如，?importnumpy asn

9、p#正向传播正向传播W=np.random.randn(5,10)X=np.random.randn(10,2)D=W.dot(X)#反向传播反向传播dD=np.random.randn(*D.shape)dDdW=dD.dot(X.T)dDdX=W.T.dot(dD)19Thanks!20(Perceptron)感知机感知机21什么是感知机（perceptron）Rosenblatt.Theperceptron:aperceivingandrecognizingautomaton(TechnicalReport854601).195722 感知机由Rosenblatt提出，是神经网络的基础。

10、感知机是两类分类的线性分类模型。假设输入为实例样本的特征向量，输出为实例样本的类别。则由输入空间到输出空间的如下函数称之为感知机。?或或?为激励函数，以达到对样本分类的目的。Rosenblatt的感知器用阶跃函数作为激励函数，其函数公式如下：?,z?1,z?,其中z=?12SUM112感知机模型的损失函数 损失函数的选择采用误分类点到超平面的距离（这里采用点到直线的距离）：?|?|w?|,其中|是L2范数。对于误分类点?,?来说：?总是成立。则误分类点到超平面的距离可以写为?w?,从而所有误分类点到超平面的总距离为?|?|?。不考虑?|?|,就得到极小化损失函数,?。其中M为误分类点的集合。2

11、3错误分类点感知机模型的优化随机梯度下降法优化目的：找到使损失函数?,?变小的参数。模型参数，即w和 b，的更新公式为:?，（其中是步长，0?1，?)是梯度）对w和b求的两个偏导分别为?,?感知机算法的损失函数极小化过程是每次随机选择一个误分类点使其梯度下降。因此，随机选择一个误分类点（，），对和进行更新。即?,?24感知机学习算法输入：训练数据集?,?,?,?,?,?，其中?,?1,?1?,?1,2,.学习速率（0?1）输出：感知机?的参数,训练学习过程：(1).选取初始值?,?(2).在训练集中选取数据?,?(3).如果?0,更新参数?,?(4).转至（2），直到训练集中没有误分类点。25

12、感知机迭代实例实例 学习笔记已知：正样本点：1?3,3?,2?4,3?，负样本点：3?1,1?，（正例的输出y为1，负例的输出y为1）求 感 知 机 模型?,其 中?,?,?,?，26感知机迭代实例实例学习笔记（续）解：构建最优化问题min?,?,?。其中M为误分类点的集合。求解,?1(1)取初始值?0,0?,?0(2)对样本点1?3,3?,?0,未能正确分类，更新,?3,3?,?得到线性模型f1?3?3?(3)对样本点1,2，显然，?0,被正确分类；对样本点3?1,1?，?0，被误分类，更新,：?2,2?,?得到线性模型f2?2?2?0(4)如此继续下去，直到?,?,?,得到线性模型?对所有数据点?0，没有误分类点，损失函数达到极小。27Thanks!28