模式识别第三章 判别函数分类器.ppt

第三章第三章 判别函数分类器判别函数分类器矢量矢量矢量X可以看作是N维欧氏空间中的一个点，用一个列矢量表示：矩阵矩阵矩阵可以看作是由若干个矢量构成的：矩阵的秩矩阵的秩n矩阵所有行向量的最大无关组个数称为行秩；n矩阵所有列向量的最大无关组个数称为列秩；n一个矩阵的行秩等于列秩，称为矩阵的秩。转置转置n列矢量W的转置WT为一个行矢量；nN*M的矩阵A的转置AT为一个M*N的矩阵。矢量与矢量的乘法矢量与矢量的乘法(1)n设W和X为N维列矢量结果是一个数。矢量与矢量的乘法矢量与矢量的乘法(2)n设W和X为N维列矢量结果是一个N*N维的矩阵。矢量与矩阵的乘法n设W为N维列矢量，A为一个N*M的矩阵：结果是一个N维列矢量。正交正交n设W和X为N维列矢量，如果W与X的内积等于零：则称W与X正交，也称W垂直于X。逆矩阵逆矩阵nA为一个N*N的方阵，A的逆阵用A-1表示，满足：其中I为单位阵。一个矩阵的逆阵存在条件：1)是一个方阵，2)是一个满秩矩阵，矩阵的秩为N矩阵的特征值和特征向量矩阵的特征值和特征向量nA为一个N*N的方阵，如果有：数称为A的特征值，矢量称为A的特征矢量。矩阵的迹和行列式值矩阵的迹和行列式值nA为一个N*N的方阵，A的迹为主对角线元素之和：nA为一个N*N的方阵，A的迹为主对角线元素之和：矩阵的迹、行列式值与特征值矩阵的迹、行列式值与特征值之间的关系之间的关系n矩阵A有N个特征值1，2，N，则有如下关系：矩阵对数值变量微分矩阵对数值变量微分n矩阵A(t)=aij(t)M*N，元素aij(t)是变量t的函数，矩阵A(t)对t的微分：矩阵函数对矩阵的微分矩阵函数对矩阵的微分n矩阵X=(xij)M*N，M*N元函数f(X)，定义f(X)对矩阵X的导数：常用矢量微分的性质nX和W为N维矢量，A为M*N的矩阵：3.1 线性判别函数线性判别函数n一、两类问题一、两类问题n二、多类问题二、多类问题两类问题的线性判别函数两类问题的线性判别函数nX0=(x1,x2,xN)T为待识模式的特征矢量；nW0=(w1,w2,wN)T称为权矢量。线性判别函数的增广形式线性判别函数的增广形式nX=(x1,x2,xN,1)T称为增广的特征矢量；nW=(w1,w2,wN,1)T称为增广的权矢量。两类问题线性判别准则两类问题线性判别准则多类问题（情况一）多类问题（情况一）n每一类模式可以用一个超平面与其它类别分开；n这种情况可以把M个类别的多类问题分解为M个两类问题解决；多类问题（情况一）多类问题（情况一）多类问题（情况一）判别规则多类问题（情况一）判别规则n当d1(X)0，而d2(X)0且d3(X)0时，判别X属于1；n当d2(X)0，而d1(X)0且d3(X)0时，判别X属于2；n当d3(X)0，而d1(X)0且d2(X)dj(Xk)，对任意的ji，则：W i(k+1)=W i(k)，i=1,L若Xk属于i，而dl(Xk)dj(Xk)，则：W i(k+1)=Wi(k)+CXk；W l(k+1)=Wl(k)+CXk W j(k+1)=Wj(k)，jI,l扩展的感知器算法扩展的感知器算法4.重复2，3步，当k=M时，检测L个判别函数是否能够对全部训练样本正确分类，如正确分类，则结束，否则k=1，转2，继续。3.4 非线性判别函数的学习非线性判别函数的学习n一、二次判别函数一、二次判别函数n二、分段线性函数二、分段线性函数n三、其它非线性判别函数方法三、其它非线性判别函数方法XOR问题二次判别函数二次判别函数n增加特征的高次项，降低维特征转化为高维特征；n2维特征的二次判别函数。XOR问题的二次函数解分段线性函数分段线性函数聚类的方法聚类的方法分段线性函数分段线性函数逐块二分法逐块二分法其它的非线性判别函数n函数逼近法：多项式函数，指数函数等；n多层感知器