贝叶斯决策理论ppt课件.ppt

《贝叶斯决策理论ppt课件.ppt》由会员分享，可在线阅读，更多相关《贝叶斯决策理论ppt课件.ppt（68页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章 贝叶斯决策理论 2.1 引言 2.2 最小错误率贝叶斯决策 2.3最小风险贝叶斯决策 2.4正态分布下的贝叶斯决策2.1引言 统计决策理论是根据每一类总体的概率分布决定未知类别的样本属于哪一类 贝叶斯决策是统计决策理论的基本方法，它的基本假定是分类决策是在概率空间中进行的，并且以下概率分布是已知的 每一类的概率分布 类条件概率密度继续考虑鲈鱼和鲑鱼的例子 假定传送带上送过来的鱼的种类是随机的，令表示鱼的种类，且为鲈鱼时=1，为鲑鱼时=2。由于我们无法确定性地预测鱼的种类，因此为随机变量。 如果要分类的鱼中鲈鱼和鲑鱼的数目相等，则我们认为下一次出现鲈鱼和鲑鱼的可能性一样。一般的，假定已知

2、出现鲈鱼的概率P(1)和出现鲑鱼的概率P(2)，则P(1)+ P(2)=1.这是我们在决策之前已知的先验知识，因此称为先验概率分布只依赖先验概率的决策 先验概率反映了我们在鱼真正出现之前就已经具有的关于鲈鱼和鲑鱼的出现的可能性的知识。它受很多因素的影响，比如一年中的时节和所在的区域等等。 假定在某个鱼还没有出现的时刻我们就不得不做出一种分类决策，这时我们拥有的信息只有两种鱼的先验概率。为了减少分类的错误率，合理的决策规则应该是： 如果P(1)P(2)，则决策为1 ，否则决策为2 。分类决策的分析 如果只对一条鱼做分类决策，则前面的决策规则是合理的，如果要对连续出现的多条鱼重复这一决策规则，就略

3、显怪异了：尽管我们知道会出现的鱼有两种，但我们只是重复同一决策。 这一决策规则的好坏取决于先验概率P(1)，P(2)的相对大小，如果P(1)P(2)，则这一决策规则的错误率就比较小，如果P(1)=P(2)，则错误率将达到50% 可以证明错误率是P(1)，P(2)中小的那个加入后验信息 多数情况下，我们不会只依据先验信息来做分类决策 假定我们利用光泽度来提高分类效果，由于不同的鱼会有不同的光泽度，我们仍然把它表示为一个随机变量 令x为一个连续值的随机变量，其分布取决于鱼的种类，并表示为p(x|)，这就是条件概率密度，也就是鱼的种类为 时x的概率密度函数。类条件概率密度函数光泽度的类条件概率密度函

4、数反应了两种鱼之间光泽度的差异后验概率 假定我们知道先验概率P(j)和类条件概率密度p(x| j),j=1,2，并且测得一条鱼的光泽度为x，那么如何在分类决策中利用这一信息呢？ 由于联合概率分布满足可得贝叶斯公式其中 P(j|x)就是类别关于光泽度的后验概率p(,x)P(| x)p(x)( |) ()jjjjp xP(x |)P()(| x).(x)jjjpPp21()(x |) P ()jjjpxp贝叶斯公式 贝叶斯公式的直观理解 Posterior = (Likelihood x Prior) / Evidence 贝叶斯公式表明通过观测x的值可以将先验概率转变成后验概率，也就是当观测值x

5、给定后样本属于各个类别的概率 p(x|j)也称为似然度，也就是在其他条件都相同的情况下，使p(x|j)越大的j越可能是样本所在的真实类别后验概率贝叶斯决策规则 如果对于观测到的x满足 则我们自然地决策为1，否则决策为2 。 在这一规则下的错误率为 P(error | x) = P(1 | x) 决策为 2P(error | x) = P(2 | x) 决策为 1 。显然，对于给定的x，上述决策规则使得错误率最小。12(| x)P(| x),P贝叶斯决策如果 P(1 | x) P(2 | x)，则决策为1 ，否则决策为2 。 在这一规则下的错误率为P(error | x) = min P(1 |

6、 x), P(2 | x)。思考：相比于直接利用先验概率的决策，贝叶斯决策的错误率是否减小了？分类器，判别函数和决策面 特征分类器有多种表示形式，最常用的是判别函数。给定一个判别函数集合 如果特征x满足则决策为 。 最小错误率贝叶斯决策中，可令gi(x)=P(i|x)。 最小风险贝叶斯决策中，可令gi(x)=-R(i|x)。 判别函数的选择并不唯一，可以为gi(x)的任意单调增函数f(gi(x)。(x),1, .igic ( )( ),ijg xgxji ix等价形式 因为p(x)只是一个伸缩因子，并不影响后验概率的相对大小，因此决策规则中可以不考虑p(x): 如果 p(x | 1)P(1)

7、p(x | 2 ) P(2) ，则决策为1 ，否则决策为2 。 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息，决策结果完全取决于先验概率 如果P(1) =P(2) ，两种类别等概率出现，决策规则取决于似然度p(x | j)。 基于最小错误率的贝叶斯决策规则基于最小错误率的贝叶斯决策规则：16贝叶斯决策规则及等价形式121122(| )(| )(| )(| )PxPxxPxPxx1,21,2112221111222(1) (| )max(| )(2) ( |) ()max ( |) ()( |)()(3) ( )( |)()()(4) ( )ln ( )ln ( |)ln (

8、|) ln()ijijiijjijPxPxxp xPp xPxp xPl xxp xPPh xl xp xp xxP 似然比形式等价形式等价形式2.2最小错误率贝叶斯决策 令 为c个类别的有限集，特征向量x是一个d维的随机向量，p(x|j)为类条件概率密度，P(j)是j的先验概率，则利用贝叶斯公式，可以计算后验概率其中，1c， ，(x |)P()P(| x),(x)jjjpp1(x)(x |)P().cjjjpp决策规则 如果对所有 都有 则决策为i. 在这一决策规则下，分类错误率 决策的平均错误率jiP(| x)P(| x),ij( | x)(| x)1(| x).jij iP ePP (

9、)( ,x)dx( | x) (x)dxP eP eP ep例例：假设在某个局部地区细胞识别中正常和异常两类的先验概率：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为分别为 正常状态：正常状态： 异常状态：异常状态： 现有一待识别的细胞，其观察值为现有一待识别的细胞，其观察值为x，类条件概率密度分别，类条件概率密度分别为为 , , 试试对该细胞对该细胞x进行分类进行分类。 解：解：1()0.9P2()0.1P12( |)0.2, ( |)0.4p xp x1112121121( |) ()0.2 0.9(| )0.8180.2 0.90.4 0.1( |) ()(| )1(| )0

10、.182(| )0.818(| )0.182jjjp xPPxp xPPxPxPxPxx 决策例子最小错误率的讨论 以一维情况为例讨论基于最小错误率的贝叶斯决以一维情况为例讨论基于最小错误率的贝叶斯决策确实对应最小错误率策确实对应最小错误率 统计意义上的错误率，统计意义上的错误率，即平均错误率，用即平均错误率，用P(e)表示表示20( )( , )( |)( )P eP e x dxP e x p x dx121212(| )(| )(| )( | )(| )(| )(| )PxPxPxP e xPxPxPx当其中，当最小错误率的讨论212122112211( )( |)( )=(|)( )(

11、|)( )(|)()(|)()()( )()( )ttttP eP e x p x dxPx p x dxPx p x dxp xPdxp xPdxPP ePP e两类错误率 在很多实际问题中，两类并不是同等的，比如在疾病的诊断中，假阳性是指误诊，而假阴性则为漏诊，假阳（阴）性率是指假阳（阴）性样本占整个阴性（阳性）样本的比例。 在评价一种检测方法的效果时，常用的两个概念是灵敏度(sensitivity)和特异性(specificity)。前者是指在真正的阳性样本中有多少能被检测出来，而后者是指在阴性样本中有多少比例没有被误判。两者是一对矛盾，需要根据实际情况取得最佳平衡。 在统计学上，假阳性

12、又被称为第一类错误(Type-I Error)，假阴性被称为第二类错误(Type-II Error)。两类错误率 用FP,FN,TP,TN分别表示假阳性，假阴性，真阳性，真阴性的样本数，Sn和Sp分别表示灵敏度和特异性，,分别表示第一类和第二类错误率，则 如果令1表示阴性， 2表示阳性，则前面最小错误率讨论中的P1(e)和P2(e)分别对应于第一类错误率和第二类错误率。总的错误率是两类错误率的加权平均。TPTNSn1,Sp1.TP+FNTN+FPNeyman-Pearson决策 在某些应用中，我们希望保证某个错误率不超过一个固定水平，在此前提下再考虑另一类错误率尽可能低。 比如，在鲈鱼和鲑鱼的

13、例子中，可能政府会强制性规定，鲑鱼错分为鲈鱼的比例不得超过1% 对某些重要疾病的诊断，我们希望确保漏诊率低于一个水平0(比如0.1%). 这种限定一类错误率而使另一类错误率最小的决策规则称作Neyman-Pearson决策规则。 可以用Lagrange乘子法求解。120min( )( ).P eP e2.3最小风险贝叶斯决策 在实际问题中，我们关心的可能不是分类的错误率本身，而是它所带来的风险 在鲈鱼和鲑鱼的例子中，把鲈鱼错判为鲑鱼和把鲑鱼错判为鲈鱼的损失是不一样的 在癌细胞的识别中，把正常细胞误判为癌细胞和把癌细胞误判为正常细胞的代价也是不一样的 因此，不考虑不同错误所带来的不同风险而将它们

14、一视同仁，在很多情况下是不恰当的 所谓最小风险贝叶斯决策，就是考虑各种错误造成损失不同时的一种最优决策问题描述 令 为c个类组成的状态空间，样本 为d维随机向量，对随机向量x可能采取的决策组成了决策空间 设对于实际状态为j的向量x,采取决策i所带来的损失为(i, j),i=1,k, j=1,c. (i, j),i=1,k, j=1,c 称为损失函数，通常用表格给出，在应用中需要根据问题的背景知识确定。1= c， ，T12x ,dx xx12,k 。A最小风险贝叶斯决策 对于某个样本x，它属于各个状态的后验概率是 对它采取决策 的期望损失是 设有某一个决策规则 ，它对所有可能样本x采取决策所造成

15、的期望损失是 P(| x),1,jjc ,1,iik 1(| x) (,)| x(,)P(| x), .ciijijjjREi1,k (x)( )( (x)| x)p(x)dxRR最小风险贝叶斯决策的决策规则 最小风险贝叶斯决策的决策规则即是最小化期望风险R()。 由于R( (x)|x)和p(x)都是非负的，且p(x)是已知的，因此要使R()最小，就要对所有x使R( (x)|x)最小，因此，最小风险贝叶斯决策就是：若 则 1,(| x)min(| x),ijjkRRi。决策步骤 利用贝叶斯公式计算后验概率 利用决策表，计算条件风险 在各种风险中选择风险最小的决策，即1(x |)P()(| x)

16、,1, .(x |)P()jjjciiipPjcp1(| x)(,) (| x),1, .ciijjjRPik 1,arg min(| x).iikR特殊情形 在样本和决策都是两类的情形下，最小风险贝叶斯决策为：其中， 显然，当 时，最小风险贝叶斯决策就变为最小错误率贝叶斯决策。11111222112222(| x)(| x)(| x)(| x),x.PPPP若则(,).ijij 11221221=0=1，几种等价形式11121122122211112212122222221121211111112222222111()P(|x) ()P(|x)x.P(|x)(x|)P( )x.(|x)(x|

17、)P()(x|)P( )()(x)x.(x|) P()()pPpplp 若 ，则若，则若，则决策例子决策状态12106210在前面例子的基础上，利用下面的决策表，按最小风险贝叶斯决策重新进行分类决策。P(1)=0.9， P(2)=0.1, 未知细胞x满足P(x|1)=0.2， P(x|2)=0.4。决策例子 解：已计算出的后验概率为 条件风险 由于 ，决策为2，即判别待识别细胞为异常细胞。12P(| x)0.818,P(| x)0.182.21112212211R(| x)(| x)(| x)1.092.R(| x)(| x)0.818.jjjPPP12R(| x)R(| x)分析 同样的数据

18、，因为对两类错误带来的风险的认识不同，得出了与前面相反的结论。 由于决策表是人为确定的，决策表的不同会导致决策结果的不同，因此，在实际应用中，需要认真分析所研究问题的内在特点和分类的目的，与应用领域的专家共同设计出适当的决策表，才能做出更有效的决策。 正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 多元正态概型下的最小错误率贝叶斯判别多元正态概型下的最小错误率贝叶斯判别函数和决策面函数和决策面 正态分布的重要性 正态分布是所有分布中最受关注的分布 数学上易于分析 物理上的合理性：适合于给定类别i的特征x是某个单值向量i的随机扰动的情形（根据中心极限定理，大量微小的，独立的随机

19、扰动加和的累积效应会导致高斯分布） 很多模式（比如鱼，手写字符，语音等）都可以看成一个理想模式被大量随机过程所扰动的结果，因此正态分布是描述实际概率分布的理想模型单变量正态分布 单变量正态分布概率密度函数定义为)(21exp21)(2xxpdxxxpxE)(dxxpx)()(22正态分布的重要性质 正态分布可以由均值和方差完全确定 正态分布与熵之间有着深刻的联系， 熵度量的是从一个分布中随机抽取样本时的不确定性 可以证明，在给定均值和方差的前提下，正态分布的熵是最大的( ( )( )ln( ).H p xp xp x dx 多元正态分布多元正态分布的概率密度函数 iiiEiiidxxpxdpx

20、xEd)()(xx)()(21exp|)2(1)(1212xxxTdp()()dEExx px d x111( ).( ).iiidp xp x dxdx dxdx协方差的各分量为：1111dddd111111dddd11dddd= ()() ()()()()()()()()TijExExxxE xxE xxE xxE xx x x jijijjiijjii2),()()(dxdxxxpxxxxEij协方差矩阵总是非负定阵。对于任意随机向量x，xTx是的二次型。如果对x0的一切x 有 xTx0 都成立，则称为非负定阵。若xTx0，则为正定阵。对于正定矩阵，各阶主子式非零（包括|0）。2.多元正

21、态分布的性质多元正态分布的性质 参数参数和和对分布的决定性对分布的决定性 等密度点的轨迹为一超椭球面等密度点的轨迹为一超椭球面 不相关性等价于独立性不相关性等价于独立性 边缘分布和条件分布的正态性边缘分布和条件分布的正态性 线性变换的正态性线性变换的正态性 线性组合的正态性线性组合的正态性参数和对分布的决定性 多元正态分布被均值向量和协方差矩阵所完全确定。2) 1(22dddddn均值向量由d个分量组成;n协方差矩阵由于其对称性故其独立元素有p(x)N(,)n多元正态分布概率密度函数常记为等密度点的轨迹为一超椭球面 从正态分布总体中抽取的样本大部分落在由和所确定的一个区域里。下图给出了从一个以

22、均值为中心的云团内的二维高斯分布中取出的样本。椭圆显示了等概率密度的高斯分布轨迹。)()(21exp|)2(1)(1212xxxTdp 当指数项为常数时，密度p(x)值不变，因此等密度点应是此式的指数项为常数的点，即应满足常数)()(1xxT可以 证明上式的解是一个超椭球面，且它的主轴方向由阵的特征向量所决定，主轴的长度与相应的协方差矩阵的本征值成正比。在数理统计中上式所表示的数量： )()(12xxT)()(12xxTn为x到的Mahalanobis距离的平方。所以等密度点轨迹是x到的Mahalanobis距离为常数的超椭球面。这个超椭球体大小是样本对于均值向量的离散度度量。n可以证明对应于

23、Mahalanobis距离为超椭球的体积是ddVV21|n其中Vd是d维单位超球体的体积。不相关性等价于独立性 不相关与独立的定义： 若 Exi xj= ExiExj 则定义随机变量xi和xj是不相关的。 若 p(xi,xj)= p(xi) p(xj) 则定义随机变量xi和xj是独立的。 一般情况下相关与独立的关系 独立性是比不相关性更强的条件，独立性要求独立性是比不相关性更强的条件，独立性要求 p(xi,xj)= p(xi) p(xj) 对于对于xi和和xj都成立。都成立。 不相关性是两个随机变量的积的期望等于两个随机变不相关性是两个随机变量的积的期望等于两个随机变量的期望的积，它反映了量的

24、期望的积，它反映了xi与与xj总体的性质。总体的性质。 若若xi和和xj相互独立，则它们之间一定不相关；反之则不相互独立，则它们之间一定不相关；反之则不一定成立。一定成立。多元正态分布情况多元正态分布情况l对多元正态分布的任意两个分量对多元正态分布的任意两个分量xi和和xj而言，若而言，若xi与与xj互不相关，则它们之间互不相关，则它们之间一定独立。一定独立。l在正态分布中不相关性等价于独立性。（证明见清华模式识别第二版在正态分布中不相关性等价于独立性。（证明见清华模式识别第二版P27)推论推论: 如果多元正态随机向量的协方差阵是对角阵，则如果多元正态随机向量的协方差阵是对角阵，则x的分量是相

25、互独立的正的分量是相互独立的正态分布随机变量。态分布随机变量。边缘分布和条件分布的正态性 多元正态分布的边缘分布和条件分布仍然是正态分布。多元正态分布的边缘分布和条件分布仍然是正态分布。 二元正态分布协方差矩阵二元正态分布协方差矩阵及其逆矩阵及其逆矩阵-1为为 22222121221122122212212111| )(21exp)2(1)()(| 2exp|)2()(21exp)2(1)()(2)(| 2exp| )2(1)(2)()(| 21exp| )2(1),()(2111111212211211212222112121112111111212211211222221121121222

26、22112122211212222211211222212211xdxxxxdxxxxxdxxxxxdxxxpxp根据边缘分布定义根据边缘分布定义412222211|其中由于其中由于所以所以x1的边缘分布的边缘分布 ),()(21111Nxp就是说边缘分布就是说边缘分布p(x1)服从以均值为服从以均值为 方差为方差为 的的正态分布。正态分布。12112111121141122221141241222221121121121122221141141221121)()(2)()(2xxxx 同理可以推出x2的边缘分布为对于给定对于给定x1的条件下的条件下x2的分布，有定义的分布，有定义 p(x2|

27、x1) = p(x1,x2 ) / p(x1) ),()(22222Nxp)(|2exp()(|2exp|)2()|(222112112112122221121211112xKxxxxp)()(|2exp|)2()|(2222222121122221212221xxxxp同理可以写出给定同理可以写出给定x2条件下条件下x1的分布的分布:线性变换的正态性 若对若对x用用线性变换矩阵线性变换矩阵A(A是非奇异是非奇异(|A|0)的的)作线作线性变换，性变换，y = Ax 则则y服从以均值向量为服从以均值向量为A，协方差矩阵为，协方差矩阵为AAT的的多元正态分布。即多元正态分布。即p(y)N(A，A

28、AT)线性组合的正态性 若若x为多元正态随机向量，则线性组合为多元正态随机向量，则线性组合xTy ),()(TTNyp是一维的正态随机变量，则是一维的正态随机变量，则y服从：服从：其中其中 是与是与x同维的向量。同维的向量。 根据最小错误率贝叶斯判别函数，在多元正态概型根据最小错误率贝叶斯判别函数，在多元正态概型(p(x|i)N(i，i),i=1,，c)下就可以立即写出其相应下就可以立即写出其相应的表达式。的表达式。 判别函数为判别函数为:)(ln|ln212ln2)()(21)(1iiiiTiiPdgxxx 决策面方程为决策面方程为: ( )( )0ijggxx即即 11|()11()()(

29、)()lnln022|()TTiiiiijjjjjPPxxxx(1) 这种情况中这种情况中每类的协方差矩阵都相等，而且类内各特征每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差间相互独立，具有相等的方差。下面再分二种情况讨论。下面再分二种情况讨论。 先验概率先验概率P(i)与与P(j)不相等不相等di2|ciIi, 2 , 1,2第一种情况第一种情况Ii211)(lnln212ln22)()()(22idiTiiPdgxxx代入（1），得到： 由于上式中的第二、三项与类别i无关，故可忽略，并将gi(x)简化为)(ln)()(21)(2iiTiiPgxxxdjijjiiTix12

30、2)(|)()(xxx为x到类i的均值向量i的欧氏距离的平方。i =1，c其中， 先验概率P(i)=P(j)时的情况)(ln)2(21)(2iiTiTiTiPgxxxx02)(ln)2(21)(iTiiiTiTiiwPgxwxxiiw21这种分类器称为这种分类器称为最小距离分类器最小距离分类器。忽略与忽略与i无关的无关的xTx，则判别函数为，则判别函数为: )(ln2120iiTiiPwwi0为第为第i个方向的阈值或偏置个方向的阈值或偏置。21,2.miniicx若要对观察若要对观察x进行分类，只要计算进行分类，只要计算x到各类均值到各类均值i的欧氏距离平方的欧氏距离平方 ，然后把然后把x归于

31、具有归于具有 的类。的类。2ix 判别函数判别函数gi(x)是是x的线性函数。的线性函数。 判别函数为线性函数的分类器称为判别函数为线性函数的分类器称为线性分类器线性分类器(linear machine)。02)(ln)2(21)(iTiiiTiTiiwPgxwxx0)()(xxjiggn所确定的一个超平面。所确定的一个超平面。n线性分类器的决策面是由线性方程线性分类器的决策面是由线性方程)(max)(xxiikgg若：若：则决策则决策xk。在在i=2I 下，这个方程可改写为下，这个方程可改写为wT(xx0) = 0 w=ij )()()(ln|)(21220jijijijiPPx其中其中 满

32、足满足wT(xx0) = 0式的式的x的轨迹为的轨迹为i与与j类间的决策面，类间的决策面，它是一个超平面它是一个超平面u当当P(i)= P(j)时，超平面通过时，超平面通过i与与j连线中点并与连线正交，如图所示。连线中点并与连线正交，如图所示。u当P(i)不等于 P(j)时，如图所示。如果2远小于|i-j|2，则决策面的位置对先验概率不敏感。第二种情况i= 由由i =2 =c =，即，即与与i无关，所以，其判别函无关，所以，其判别函数（数（1）可简化为）可简化为)(ln)()(21)(1iiiTiiPgxxxl若若c类先验概率都相等类先验概率都相等则判别函数可进一步简化为则判别函数可进一步简化

33、为l这时其决策规则为：为了对观察这时其决策规则为：为了对观察x进行分类，只要计算出进行分类，只要计算出x到每类的均值到每类的均值点点i的的Mahalanobis距离平方，最后把距离平方，最后把x归于最小的类别。归于最小的类别。)()()(12iiTiigxxx（2）)(ln|ln212ln2)()(21)(1iiiiTiiPdgxxx（1）将（将（2）式展开，忽略与）式展开，忽略与i无关的无关的xT-1x项，则判别函数可写成下面的项，则判别函数可写成下面的形式形式0)(iTiiwgxwx 其中， wi=-1i )(ln2110iiTiiPw（3）)(ln)()(21)(1iiiTiiPgxxx

34、（2）由式（由式（3）可见：它也是）可见：它也是x的线性判别函数，因此决策面仍是一个超的线性判别函数，因此决策面仍是一个超平面。平面。 如果决策域如果决策域R Ri和和R Rj相邻，则决策面方程应满足：相邻，则决策面方程应满足： gi(x) gj(x)=0 即 wT(xx0)=0 其中 w=-1(ij) )()()()()(ln)(2110jijiTjijijiPPx若各类的先验概率相等，则 此时此时x0点为点为i与与j连线的中点连线的中点，根据前面的讨论，决策，根据前面的讨论，决策面应通过这一点，如图面应通过这一点，如图2.12所示。所示。 )(210jixl若先验概率不相等若先验概率不相等

35、，x0就不在就不在i与与j连线的中点上，而是在连线上连线的中点上，而是在连线上向先验率小的均值点偏移。向先验率小的均值点偏移。l一般来说，一般来说，w与与i-j方向不同，因方向不同，因此决策面不垂直于此决策面不垂直于i与与j的连线。的连线。一般情况一般情况ij 各类的协方差阵不相等，则各类的协方差阵不相等，则01)(ln)ln(21)()(21)(iTiiTiiiiTiiwWPgxwxxxxx121iiW (dd矩阵矩阵) )(ln|ln212110iiiiTiiPwiiiw1 (d维列向量维列向量)其中：其中： 判别函数判别函数gi(x)表示为表示为x的二次型的二次型。 若决策域若决策域R Ri与与R Rj相邻，则相邻，则决策面决策面应满足应满足 gi(x)gj(x)=0 即即 xT(WiWj)x+(wiwj)Tx+wi0wj0=0 由上式所决定的决策面为超二次曲面由上式所决定的决策面为超二次曲面，随着，随着i，i，P(i)的不同而呈现为某种超二次曲面，如的不同而呈现为某种超二次曲面，如超球面、超椭球面、超抛物面、超双曲面或超超球面、超椭球面、超抛物面、超双曲面或超平面。平面。