第5章高阶统计分析ppt课件.ppt

《第5章高阶统计分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《第5章高阶统计分析ppt课件.ppt（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第5 5章章 高阶统计分析高阶统计分析清华大学自动化系 张贤达 功率谱估计，Weiner滤波器都是以信号的相关函数为工具。l 相关函数的局限性 模型的多重性：考虑功率谱由于 ,故即不同ARMA过程的功率谱具有相同形状的功率谱。这一特性称为相关函数的多重性或模型的多重性。 2222121|1|( )( )( )|1|qjiipjiieB zPA ze*11|1 ()| |1|jjee222221122211| |1|( )( )| |1|qqjiiiiippjiiiiiePPel两个具有零均值和相同方差的高斯白色噪声和指数分布白色噪声显然是不同的随机过程，但它们的功率谱相同。l用这样两个白色噪

2、声激励同一个ARMA模型，产生的两个ARMA过程显然是不同的随机过程，但它们的功率谱相同。l两个灰度图相同的图像有可能是不同的图像。 以上事实说明,要准确地刻画随机信号,仅使用相关函数（二阶统计量）是不够的，还必须使用更高阶的统计量。三阶和更高阶的统计量合称高阶统计量。 相关函数：刻画信号的粗糙像 高阶统计量：刻画信号的细节( )( ) ( )E g xf x g x dx特别地，若特别地，若 ，则称，则称( )jxg xe( )( )jxjxE ef x edx函数函数f(x)的的Fourier反变换。反变换。( )( )( )kkkkjxkj E x e 函数函数g(x)的均值：的均值：是

3、随机变量是随机变量x的特征函数。它实际上是概率密度的特征函数。它实际上是概率密度1. 单个随机变量单个随机变量x的高阶矩与高阶累积量的高阶矩与高阶累积量 特征函数的特征函数的k阶偏导数阶偏导数K阶矩的定义：阶矩的定义：用特征函数描述用特征函数描述K阶原点矩：令阶原点矩：令 则则 kxmE x原点矩：原点矩：()kxEx中心矩：中心矩： ( )(0)kkkj E x即即 ( )( )0()(0)()( )kkkkkxmE xjj 由于由于K阶矩由阶矩由 生成，故称特征函数生成，故称特征函数 为随机为随机变量变量x的矩生成函数的矩生成函数(矩母函数矩母函数)，又称第一特征函数。，又称第一特征函数。

4、( )0,( )第二特征函数：第二特征函数：( )ln( )k阶累积量阶累积量 (cumulant)：( )0( )()(0)()kkkkxkdcjjd 第二特征函数第二特征函数 累积量生成函数或累累积量生成函数或累积量模母函数积量模母函数( )k个随机变量个随机变量r.v. (random variable)1,kxx第一联合特征函数第一联合特征函数1 11()(,)kkkjxxEe11 11( )1111(,)(,) kkkkrrkkrrkjxxrrrkj E xx e 1krrr2. 多个随机变量的高阶矩与高阶累积量多个随机变量的高阶矩与高阶累积量第一联合特征函数的第一联合特征函数的 阶

5、偏导数阶偏导数第二联合特征函数第二联合特征函数11(,)ln(,)kk1( )1,1110cum,()(,)kkkkkcxxj k阶联合累积量：阶联合累积量：当当 时，有时，有11krr1( )11110()(,)krkkkmE xxj k个随机变量个随机变量r阶矩：阶矩：111( )110()(,)kkkrrrrrrkkmE xxj 考查随机信号考查随机信号 ，令，令( )x t1211( ), (), , ()kkxx txx txx t1111( ,)( ) ()()kxkkmE x t x tx t 随机信号随机信号x(t)的的k阶矩：阶矩： 随机信号随机信号x(t)的的k阶累积量：阶

6、累积量：1111( ,)cum( ), (), ()kxkkcx tx tx t3. 随机信号的高阶矩与高阶累积量随机信号的高阶矩与高阶累积量 随机信号的高阶矩与高阶累积量分别是多个随随机信号的高阶矩与高阶累积量分别是多个随机变量的高阶矩与高阶累积量的推广机变量的高阶矩与高阶累积量的推广高斯随机变量高斯随机变量 的矩与累积量的矩与累积量2(0,)N222( )e 0, 1 3(1), kxkkmkk 奇数偶数22( )ln( ) 2( ), 2( ), ( )0, 3kk 20, 1, 20, 3kxkckk第一特征函数：第一特征函数： K阶矩阶矩 第二特征函数：第二特征函数： 由于由于 故有

7、故有 结论：高斯随机变量的奇次阶矩恒为零，偶次阶矩仅决结论：高斯随机变量的奇次阶矩恒为零，偶次阶矩仅决定于二阶矩，而二阶累积量与二阶矩等价，所有高阶累积定于二阶矩，而二阶累积量与二阶矩等价，所有高阶累积量恒为零。量恒为零。 1111( ,)( ) ()()kxkkmE x t x tx t？11( ), (), ()kx tx tx t11( ,)kxkc111111( ,)( ) ()()Nkxkktmx t x tx tN1,2,kI符号集符号集矩矩累积量转换关系：累积量转换关系：111( )( 1)(1)!()qppqqxxppUIIcIqmI高阶矩的计算：高阶矩的计算：定义式：定义式：

8、估计式：估计式：问题：如何估计问题：如何估计集合集合 的无序、非空、无交连分割的无序、非空、无交连分割 (唯一性唯一性)1,2,Ik 1,2 I 集合的分割 1 , 2I 2q (1) 分割为分割为1个子集合：个子集合： 1q 1,2I 1( )( ) ()xmIE x t x t(2) 分割为分割为2个子集合：个子集合： 1( )( )()xmIE x tE x t2( ) ( ) () ( ) ()xcE x t x tE x tE x t矩矩累积量转换公式：累积量转换公式：若若x(t)为零均值，则为零均值，则 2( ) ( ) ()( )xxcE x t x tR312121212211

9、2( ,)( ) () () ( )() () ()( ) () ()( ) () 2( )()()xcE x t x tx tE x tE x tx tE x tE x t x tE x tE x t x tE x tE x tE x t 112( )( )()()xmIE x tE x tE x t 1 , 2 , 3I 321()()( ) ()xmIE x tE x t x t 33 , 1,2I 212()()( ) ()xmIE x tE x t x t 22 , 1,3I 112( )( )() ()xmIE x tE x tx t 1 1 , 2,3I 2q 12( )( )

10、() ()xmIE x t x tx t1,2,3I (1) 分割为分割为1个子集合：个子集合： 1q 矩矩累积量转换公式：累积量转换公式：(2) 分割为分割为2个子集合：个子集合： 1,2,3 I 集合的分割(3) 分割为分割为3个子集合：个子集合： 3q 4123123123231312 ( ,)( ) () () () ( ) ()() () ( ) ()() () ( ) ()() ()xcE x t x tx tx tE x t x tE x tx tE x t x tE x tx tE x t x tE x tx t 31212312( ,)( ) () ()( ,)xxcE x

11、t x tx tm 特别地，若特别地，若 具有零均值，则具有零均值，则( )x t类似地，对于零均值的随机过程或信号，有类似地，对于零均值的随机过程或信号，有2211( )( )( )( ) ()xxxNncmRx n x nN3312121211( ,)( ,)( ) () ()xxNncmx n x nx xN 四阶累积量的估计：四阶累积量的估计：412312311( ,)( ) () () ()Nxnmx n x nx nx nN 44123123132231312( ,)( ,)()() ()()()()xxxxxxxxcmRRRRRR 以上讨论的是以上讨论的是“实信号实信号”,复信号

12、的高阶复信号的高阶矩与高阶累积量的定义不同，详见后叙。矩与高阶累积量的定义不同，详见后叙。三阶累积量的估计：三阶累积量的估计：二阶累积量的估计：二阶累积量的估计：累积量的估计公式：累积量的估计公式：注释：注释：性质性质1:性质性质2: 矩和累积量相对于变元是对称的，即矩和累积量相对于变元是对称的，即11111111mom,mom,cum,cum,kkkikikkkikixxxxxxxx1111mom,mom,cum,cum,kkkiikiixxxxxxxx1,kii是是 的排列的排列1,k例：例：333333(, )( ,)(,)(,) (,)(,)xxxxxxcm ncn mcmnmcnmm

13、cn mncmnn 33 (,)cum( ), (), () cum(), ( ), ()(, )xxcm nmx tx tmx tnmx tmx tx tmncm n仅需知道阴影部分的值，便可知道整个平面仅需知道阴影部分的值，便可知道整个平面性质性质3: 可加性可加性12122mom,mom,mom,kkkxy xxx xxy xx例例. 观测数据观测数据 ， 与与 独立，独立，12122cum,cum,cum,kkkxy xxx xxy xx性质性质4: 若若 与与 独立，则独立，则1111cum,cum,cum,kkkkxyxyxxyy1,kxx1,kyy( )( )( )y nx nv

14、 n( )x n( )v n1()x n与与 独立，则独立，则1()v n111111( ,)( ,)( ,)kykkxkkvkccc高斯噪声高斯噪声3阶以上累积量恒为阶以上累积量恒为0又称为半不变量（又称为半不变量（semi-invariable cumulant）故称为故称为 “累积量累积量”。四阶矩没有半不变性。四阶矩没有半不变性。性质性质5: 若若 中某个子集同其他子集独立，则中某个子集同其他子集独立，则11( ,)0kxkc应用：独立同分布（应用：独立同分布（i.i.d）过程）过程 (iid: independently identifically distributed)1,kk阶

15、矩无此性质。阶矩无此性质。( )e t若若 为独立同分布，则累积量为独立同分布，则累积量11111111( ,)cum( ), (), (), 0 0, ( ,)kekkkekkekce te te trr 若其他其中其中11111, 0( ,)0, kk 若其他Fourier 变换变换常数常数高阶谱与频率无关，称为高阶谱与频率无关，称为“高阶白噪声高阶白噪声”（“白色光白色光”）而而 42222(0, , )( ) ( ) () () ( )()0emE e t e t e te tE etE et 性质性质6: 1212cum,cum,kkx xxx xx常数常数 对称性质：对称性质：36

16、, !k！种对称公式线性线性系统系统i.i.d非高斯信号非高斯信号非高斯信号的产生途径：非高斯信号的产生途径： 理论上可完全抑制高斯有色噪声理论上可完全抑制高斯有色噪声(“盲性盲性”) i.i.d过程过程 容易建立线性系统理论容易建立线性系统理论线性线性系统系统高斯白噪声高斯白噪声非高斯信号非高斯信号结论：用高阶累积量，而不用高阶矩结论：用高阶累积量，而不用高阶矩高阶累积量的优点：高阶累积量的优点：功率谱的缺点：功率谱的缺点：由功率谱只能恢复由功率谱只能恢复 ,不可能恢复不可能恢复2*( )( )( )( )xPfX fX f Xf“模型的多重性模型的多重性”( )X f自相关函数辨识系统，无

17、法辨识非最小相位系统自相关函数辨识系统，无法辨识非最小相位系统“自相关函数等价性自相关函数等价性”“功率谱等价性功率谱等价性”|( )|X f高阶谱（高阶谱（Higher-order spectrum）又称多谱）又称多谱 （polyspectrum），是信号），是信号 多个频率的能量谱。多个频率的能量谱。k-1维维DFT, 即即1 11111()1111(,)( ,)kkkjkxkkxkSce 三阶谱称为双谱三阶谱称为双谱 (bispectrum)，意即两个频率的谱。，意即两个频率的谱。1 12 212()12312(,)( ,)jxxBce 四阶谱称为三谱四阶谱称为三谱 (trispectr

18、um)，意即三个频率的谱。，意即三个频率的谱。1 12 23 3123()1234123(,)( ,)jxxTce 条件：条件： “绝对可求和绝对可求和”1111( ,)kkxkc 高阶谱定义为高阶谱定义为k阶累积量的阶累积量的二阶谱即为功率谱，它是单个频率的谱。二阶谱即为功率谱，它是单个频率的谱。 双谱估计的直接方法：双谱估计的直接方法：121212*1212 (,)()()() ()()()xBXXXXXX 双谱：( )x n双谱双谱2( )( )xPX功率谱： ( )x n( )X f*121212(,)()()()B ffX fX fXff 双谱估计的间接方法：双谱估计的间接方法：3(

19、 , )xcm n2D-FT123123123*123123 (,)()()()() ()()()()xTXXXXXXXX 三谱：非高斯信号非高斯信号 (非正态分布的随机信号的总称非正态分布的随机信号的总称)峰度峰度242( )3( )kE xtE xt高斯信号高斯信号亚高斯信号亚高斯信号 (Sub-Gaussian Signal)超高斯信号超高斯信号 (Super-Gaussian Signal)归一化峰度归一化峰度4122( )( )E xtkExt13k 亚高斯信号亚高斯信号13k 超高斯信号超高斯信号13k 归零化：归零化：4222( )3( )E xtkExt高斯信号：零峰度；高斯信

20、号：零峰度；亚高斯信号：负峰度；亚高斯信号：负峰度；超高斯信号：正峰度超高斯信号：正峰度1 12 21212()(,)121212(,)( ,)(,)jjkyBceBe 特性特性： 保留了幅值特性保留了幅值特性 保留了相位特性保留了相位特性 平移不变性平移不变性12( ) ,(,)xx tB 12() ,(,)xx tB 应用：应用： 飞机目标飞机目标 机动飞行机动飞行 希望目标特性与飞机飞行姿态无关希望目标特性与飞机飞行姿态无关 (平移不变性平移不变性) 飞机的电磁波辐射和散射特性飞机的电磁波辐射和散射特性 天线罩、发动机、出去口、蒙皮材料天线罩、发动机、出去口、蒙皮材料 ( “相位特性相位

21、特性”) 飞机尺寸飞机尺寸 (机长、翼宽机长、翼宽) ( “幅值特性幅值特性”)积分双谱积分双谱 (二维二维 一维一维)21faf 圆周积分双谱圆周积分双谱 (CIB: circularly integrated bispectrum)12 (,)( )pBB 极坐标形式：缺点缺点：“平凡双谱平凡双谱” 和和 “交叉项交叉项”不可避免不可避免 径向积分双谱径向积分双谱 (RIB: radically integrated bispectrum)1 (1)1110RIB( )(,)aaB f af df 轴向积分双谱轴向积分双谱 (AIB: axisially integrated bispec

22、trum)11221AIB()(,)2Bd CIB( )( )ppBd圆周积分双谱：特点：被选择的积分路径上所有双谱的总作用特点：被选择的积分路径上所有双谱的总作用“强强” 选择双谱：选择双谱：Fisher信息，类可分度信息，类可分度2( )( )( ),( , )( )( ),mean( )meanmean( )( )var( )lllkklkkl i ji jllkl i jBBmB分子：类间散布程度分子：类间散布程度 (希望：大希望：大)分母：类内散布程度分母：类内散布程度 (希望：小希望：小)特征向量特征向量 先验概率先验概率 (等概率等概率)第第 类目标对所有属于自己类目标对所有属于自己的的k组观测数据的平均双谱组观测数据的平均双谱（每类平均）（每类平均）l所有类目标对属于自己的所有类目标对属于自己的k组组观测数据的总平均双谱（全观测数据的总平均双谱（全体平均）体平均）选择双谱的优点: 只选择那些对分类作用最强的双谱作为特征向量。因此，这种方法可避免积分双谱方法共有的平凡双谱和交叉项等缺陷。 习 题l题5.1l题5.2 提示：使用积分公式 l题5.8 或 5.9l题5.1122exp(2)expACBAxBxC dxAA