ch4_3最小平方误差准则函数.ppt

4.4 最小平方误差准则函数（MSE,Minimum Squared-Error）n感知器准则函数及其梯度下降算法只适用于线性可分的情形，而对于线性不可分的情形，迭代过程无法终止，即算法不收敛。n但是在实际问题中，往往无法预先知道样本集是否线性可分。因此，我们希望找到一种既适合于线性可分的情形，又适合于线性不可分的情形。对于线性可分情形，利用该算法可以找到一个类似于上节算法的 (将全部样本正确分类)；对于线性不可分的情形，能够找到一个使得误差的平方和最小的权向量 。MSE准则函数的引入n对样本集中的样本向量，类似于上一节，做规范化处理；n假设训练集为：n规范化后的训练集为：最小平方(MSE)准则函数n假设已经找到了一个最佳的权向量 ，并由此构成判别函数。若给定样本 ，则判别函数为 ，则称 为 的希望输出。n若权向量 不是最佳的权向量 ，则对于样本 ，判别函数值为 。定义如下的误差函数：n最小平方误差(MSE)准则函数最小平方(MSE)准则函数的矩阵形式n最小平方(MSE)准则函数的矩阵形式其中，n下面的问题，是采用何种算法求解使 取得极小值的伪逆法n首先求 的梯度 令 ，得 式中的 是一个方阵，且一般为非奇异矩阵，因此可得解：其中，称其为 的伪逆伪逆。例已知样本：样本规范化：若取则故 n利用伪逆法，可以求得n但是该方法计算量大，这是由于并且要求 是非奇异的，其次，的计算量也很大，同时可能引起较大的计算误差。因此，通常采用下面的梯度下降法。梯度下降法n首先求出 的梯度如下：n梯度下降法的迭代公式为：n可以证明，若选择步长 ，而 是任意常数，则使用该算法得到的权向量序列收敛于使得 的权向量n注意：无论矩阵 是否奇异，该算法总能得到权向量 ，且该算法只涉及 的计算。Widrow-Hoff算法 上面的梯度下降法是一个批算法（成批修正算法），下面给出关于逐个样本的修正算法。定义：的梯度为：Widrow-Hoff算法n因此，可以得到如下的迭代公式：n其中步长 一般是人为指定的，可以放到步长中去，故迭代公式便可改写为：Widrow-Hoff算法n一般的，可以选择单样本修正算法n上述的伪逆算法和Widrow-Hoff算法，都存在一个致命的问题：如何确定如何确定 的希望输出的希望输出？是由最佳权向量 所确定的：，而 是未知的。既然 是未知的，的希望输出从何而来？n为此，假定单个样本的希望输出是已知的。在此基础之上，采用某种迭代算法求出权向量单样本修正算法n把 的某种函数作为判别函数 ，这样 的希望输出为 。并且该函数的值只需根据 的类别就能够确定。若 ，则 ;若 ，则即有，若 ，则 若 ，则单样本修正算法n如果使用了非最佳的权向量 构成了判别函数，那么对于 ，判别函数值 与其希望值之间一定存在误差n定义：准则函数为n利用梯度下降法求单样本修正算法n函数 的形式如何：n该函数应满足的条件：1）该函数的值域为 2）该函数是可导的。n满足上述条件的函数有很多，例如双极型S形函数单样本修正算法n双极型S形函数的图像单样本修正算法n双极型S形函数的基本属性1)当 时，；当 时，；2)函数 在 上可导。且函数的导数为单样本修正算法n准则函数 的梯度为n单样本修正算法的迭代公式为：单样本修正算法 MSE单样本修正算法与感知器准则函数单样本修正算法的分类器结构基本相同，其差别为：感知器准则函数单样本修正算法之最终分类器函数（激励函数）为sgn函数；而MSE准则函数单样本修正算法中的最终分类器函数（激励函数）为双极型S形函数。两者迭代公式为单样本修正算法两种算法的差别：n在线性不可分时，感知器准则函数单样本修正算法不收敛，而MSE准则函数单样本修正算法一定收敛，可以得到一个使MSE算法收敛的最小的权向量 。