the 动态测量数据的抗扰性分析研究3 guide download.pdf

《the 动态测量数据的抗扰性分析研究3 guide download.pdf》由会员分享，可在线阅读，更多相关《the 动态测量数据的抗扰性分析研究3 guide download.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、动态测量数据的抗扰性分析研究33 收稿日期:94年9月27日.收到修改稿日期:94年12月13日.范金城(西安交通大学理学院,西安,710049)胡 峰(西安卫星测控中心,西安,710043)摘 要 本文,从异常值的识别与滤波算法的抗扰性分析等方面,总结了动态测量数据的抗扰性处理技术的研究现状.1 引 言本文所谓的抗扰性(resistance),是指数据处理方法对采样数据及处理模型的微小扰动的不敏感性,它是统计决策的稳健性(robustness)理论在工程数据的探索性分析与高精度处理中应用的体现.换句话说,稳健性是抗扰性的概率表征2.抗扰性的研究工作最早见于Mosteller和Tukey(19

2、77)及其所引用的文献中.Huber(1981)对抗扰性给出了如下的描述性定义:“一个有限样本估计泛函Tn,如果数据的微小变动仅能导致估计泛函Tn的微小改变,我们则称它为抗扰的”.当然,Huber(1981)的这一定义主要是从统计学角度提出的,它未能反映模型的微小改变对估计量的影响.其实,在工程统计与过程控制中,经常会出现如下三种类型的“微小改变”:(1)由于信号记录设备的故障、操作人员的过失或其他原因,采样数据的集合中往往含有少量的异常值(outliers).也就是说,在采样序列中,出现小部分样本点明显偏离大部分数据所呈现的趋势;(2)由于信号记录设备精度的限制与记录时舍入误差的影响,采样点

3、列的数据大小只是目标真实状态的一组近似.即,大部分观测值都包含有微小的误差;(3)对工程数据进行处理时,总是对目标的运动状态进行一些简化与模型假定.但是,假定的理想化模型通常只是目标运行轨迹的一个近似描述.简单地说,情况(1)反映的是“小部分数据的巨大改变”,情况(2)反映的是“大部分数据的微小变动”,而(3)则反映的是模型设计可能出现的“微小扰动”.抗扰性研究,主要分析各种工程信号处理方法对数据的微小扰动(包括情形(1)、(2)及对模型的微小扰动(情形(3)的敏感性,并构造出具有良好抗扰性能的、易于工程实现的新的数据处理程序.11卷 第3期1996年9月数理统计与应用概率Mathematic

4、al Statistics and Applied ProbabilityVol.11,No.3Sep.1996 1995-2004 Tsinghua Tongfang Optical Disc Co.,Ltd.All rights reserved.本文,将从动态测量数据序列的异常样本点识别方法、抗扰法滤波方法和抗扰性能的评价体系等方面,对工程数据处理的抗扰性研究的发展作一简单回顾.2 异常值识别方法的研究与发展异常值的定义一直不很明确,不同的学者给其赋予的内涵也不尽相同19.最初,Edgeworth(1887)认为,异常值是“显然严重偏离了样本集合中其它观测值的观测值”20.这个纯主观的基

5、于数据的定义,对于简单随机抽样或可重复抽样的样本点的异常性描述是十分合适的.文21基于这种定义,从工程应用的角度综述了可重复抽样情况下异常值识别技术的发展状况,及工程实现时的一些问题.Edgeworth的关于异常值的定义影响了近一个世纪,直到本世纪70年代仍被采用.Knsch(1984)从时间序列分析的稳健化研究出发,首次提出了异常数据的生成模型,讨论了AO模型与IO模型下异常值的特点,并将动态测量数据集合中的异常值分为孤立型异常值、相依型异常值和异常值斑点三大类11.通过参考Knsch(1984)对异常值生成模型的合理描述,并充分吸收Edgeworth(1887)定义、文3定义的优点,文19

6、从工程信号处理的实际出发,建议采用异常数据的定义为:“集合Dn中严重偏离大部分数据所呈现趋势的小部分数据点.”本定义强调主体数据所呈现的趋势,以此为判别异常数据的指标,并明确指出异常数据在集合Dn中只占小部分(即最多不超过一半),这从直观上也是合理的.本定义不但可以覆盖简单随机抽样情形,包括了Edgeworth(1887)的定义,而且还覆盖了动态测量数据序列及随机系统中的异常数据情形.对于“异常值的识别方法”这一与工程应用密切相关的统计学课题,历史上曾有众多的统计学者(例如,Barnett和Lewis(1978),Anscombe(1960),Grubs(1969),Rousseeuw(198

7、7),Kale(1970)及5等)从回归分析、方差分析、试验设计、影响分析及数据变换等多方面对之做了大量的探索与研究.Huber(1964,1981)、Hample,et.al(1987)与Knsch(1984)等则从尽量减小数据与模型的微小扰动对统计决策不利影响的角度,提出和发展了稳健统计、稳健信号处理和稳健随机控制理论.采样数据中异常值的识别既是一个数据处理方面的课题,更多的还是一个应用统计问题.从本世纪六十年代末和七十年代初开始,这一问题受到应用统计与工程控制领域的广泛重视.Tukey(1976)根据数据处理的实际需要,以抗扰性分析为核心,系统介绍了探索性数据分析(Exploratory

8、 Data Analysis)方法;文19不但综述了动目标测量数据的常见识别方法,还首次提出了多个异常数据的“稳健2似然比检验”方法,并讨论了随机系统的异常值识别问题.近年来,随着高速计算机的迅速普及、采样数据集合越来越大、样本空间维数越来越高,识别异常样本数据的各种新方法(例如,统计图形法(Statistical Graphics)、投影寻踪(Projection Pursuit)法26以及统计诊断(Statistical Diagnostics)理论5)相继问世,并在数542第11卷第3期范金城等:动态测量数据的抗扰性分析研究 1995-2004 Tsinghua Tongfang Opt

9、ical Disc Co.,Ltd.All rights reserved.据处理和信号分析等领域得以广泛应用.3 抗扰性滤波的进展自从六十年代初期的状态空间理论和Kalman滤波算法提出以后,动态测量数据的工程处理方法在近三十年来无论从理论还是从处理技术上都有了长足的进展.但是,Kalman滤波从本质上看仍然是一组最优线性滤波.当采样数据中出现异常值时,它同其它的线性滤波方法一样,对异常值反应十分敏感.为了克服Kalman滤波的这些不利于工程应用的缺陷,信号处理、随机控制和应用统计等领域的专家学者对此进行了大量的探索研究.Martin(1983)首次从信号的频域分析的角度提出了“稳健2抗扰谱

10、分析”技术;Samarov(1986)从理论上提出了稳健谱回归的理论;随后Martin和Yohai(1986)从统计量的影响函数和灵敏度分析的角度,改进了Knsch(1984)提出的AR-模型的影响度量,并进行了推广.在状态空间的模型结构分析方面,Sage和Melsa(1978)讨论并计算了各种模型扰动的灵敏度;Hwang和Bhattacharyya(1987)从结构灵敏度的角度讨论了状态估计的稳健平稳化问题.利用稳健-抗扰性分析方法改进控制器的性能,这是近年来控制理论领域的一个研究热点:Ioannou和Tiakali(1986)提出了“稳健直接自适应控制器”的构想,Narendra和Anna

11、swarry(1986)讨论了出现有界分布时的自适应控制技术;Martin和Mintz(1983)则从对策论的角度考虑了线性随机系统的稳健滤滤和预报问题.近年来,这方面的研究十分活跃.在工程数据处理中,人们更关心的是能否构造出一些滤波方法,它们既保持一定的最优性又具备良好的抗扰性.对此,文13将稳健统计的M型估计方法推广到动态测量系统Xk+1=kXk+EkkYk=HkXk+Nkk的状态滤波上来,给出了M滤波估计的一般化方程、收敛的迭代算法,并从理论上证明了M型具有良好的抗扰性.另一种构造稳健-抗扰滤波的方法是,以递推的Kalman滤波算法为基础,并进行适当的抗异常值修正.文14中介绍的有界影响

12、滤波算法较好地体现了这一思想.有界影响滤波,形式上类似于递推的Kalman滤波算法,但它采用规范化的新息增量(Innovation)的大小来度量数据的异常程度,并以之修正后继的滤波算法,达到抗异常数据的效果.文14不但给出了最优 函数的取法,还给出了仿真计算结果.从仿真结果看,当样本中不含异常值时,滤波估计值接近Kalman滤波值;反之,当数据序列中含有异常值时,有界影响滤波的效果明显优于Kalman滤波的效果.抗扰性预报方面,Preston(1979)提出了“稳健预报”的问题;文9将有界影响滤波与M型滤波技术应用于随机系数的状态预报,并给出了两组易于工程实现的抗扰性预报642数理统计与应用概

13、率第11卷第3期 1995-2004 Tsinghua Tongfang Optical Disc Co.,Ltd.All rights reserved.算法.4 抗扰性分析的指标体系状态估计或滤波算法的抗扰性能的评价,往往是通过一组定性的、或定量的指标来完成的.早在1964年,Huber就将Minimax对策的思想引入稳健性分析36.文2指出,“稳健性”是分析“抗扰性”的概率表征.因此,在寻求最优抗扰性对策的时候,Minimax方法仍被工程数据处理人员纳入考虑的范围.Hampel(1971)在分析简单随机取样的参数估计时,首先提出了位置估计泛函的“崩溃点(Breakdown Point)”

14、概念37.文16将这一概念应用到状态滤波的全局抗扰性分析上来,并认为崩溃点是“含有使统计量的最大绝对偏差达到最大的污染数据的最小百分比”.该文还严格推导出了M型滤波的有限样本崩溃点的计算公式.抗扰性分析的另一个评价指标是估计泛函的拓扑弱连续性.Hampel(1971)首先提出了简单随机取样下的统计推断的定性稳健性概念,并给出了一组判定定理37.文16将这一思想应用于动态数据处理方法的抗扰性分析,提出了有限样本下状态估计的弱(W-)抗扰性和强(S-)抗扰性理论.并严格证明了,通过适当选取 函数,可保证M型滤波是W-抗扰的.总之,动态测量系统信号处理方法的抗扰性研究,从近三十年的发展情况看,主要集

15、中在如下三个方面:(1)研究和改进传统的算法;(2)构造一个大的滤波或估计族,在某种抗扰性准则下,选取最优的抗扰性算法;(3)完善评价体系,从理论上分析各种状态估计方法的抗扰性;并且,在每一个方面或分支上都取得了一些进展.但是,抗扰性研究是一个与工程应用紧密相关的课题.每一种新的抗扰算法都必须经过大量实测数据的检验,由实践来评价算法的抗扰效果.因此,无论是各种已有方法的对比研究、新算法的开发,还是评价体系的完善,都有大量的工作有待进一步探索研究.参 考 文 献1Anscombe,F.J.:Graphs in Statistical Analysis,Ann,Statist.27.2Hampel

16、,et.al:Robust Statistics-approach based on influence,John Wiley and Sons Press,1986.3 王学仁,阎波:Outliers问题及Outiliers的判别与处理,第IV届多元统计分析会议交流资料,西安:第四军医大学,1988.4Martin,R.D.and Yohai,V.J.:Influence Functional for Time Series,Ann.Stat.,1986,vol.14,no.3,781-818.5 韦博成,鲁国斌,史建清:统计诊断引论,南京:东南大学出版社,1991.6Huber,P.J.:

17、Robust Estimators of a Location Parameter,Ann.Statist.1964,35,73-101.742第11卷第3期范金城等:动态测量数据的抗扰性分析研究 1995-2004 Tsinghua Tongfang Optical Disc Co.,Ltd.All rights reserved.7Dixon,W.J.:Analysis of Extreme Value,Ann.Math.Stat.,1950,21.8Tiao,G.C.:Autoregressive Moving Average Models,Inter.Problems and Outl

18、iers Detection in Time Series,Handbookof Stat.5.9 胡 峰,范金城:动态测量系统的抗扰性预报算法,待刊于 宇航学报,1994,第四期.10Xueren Wang and Shi Lei:Assessment of Local Inference in Multivariate Analysis,Technical Reports(1990-1991),Yunnan University,1991.9.11Knsch,H:Infinitesmal Robustness for Antoregressive Process,Ann.Statist.1

19、984,12,843-863.12Priestly,M.B.:Time Series and Spectral Analysis,John Wiley Press,1981.13 胡 峰:动态测量的抗扰性滤波,西安交大硕士学位论文,交通大学图书馆藏,1989.14 胡 峰,范金城:动态测量系统的有界影响滤波,控制理论与应用,1989,Vol.10,No.1,36-58.15 范金城,胡 峰:动态测量系统的M-型滤波,智能控制与智能自动化(下卷),1987-1991,科学出版社,1990.16 范金城,胡 峰:动态测量系统M-型滤波的抗扰性分析,工程数学学报,1991,Vol.8,No.3,13

20、3-140.17Mosteller,F.and Tukey,J.W.:Data Analysis and Regression,Addison-Wesley,Reading Mass,1977.18Hubet,P.J.:Robust Statistics,Wiley,New York,198119 胡 峰:动态测量数据的合理性检验方法综述,人造卫星观测与研究,1993,No,1,39-54.20Anscombe,F.J.:Rejection of Outliers,Technometrics,1960,2,123-14721 胡 峰:可重复抽样情况下异常数据的合理性检验方法综述,飞行器测控技术

21、,1993,2.22Barnett,V.and Lewis,T.:Outliers in Statistical Data,Wiley,New York,1978.23Grubbs,F.E.:Procedures for Detecting Outlying Observations in Samples,Technometrics,1969,No.11,1-21.24Rousseew,P.J.:A new infinitesimal approach to robust estimation,Z.Wahrsch.verw.Geb.,1981,No,56,127-132.25Tukey,J.W

22、.:Exploratory Data Analysis,Addison2Wesley,Reading Mass,1977.26Huber,P.J.:Projection Pursuits,Ann.of Statist.,1985,No.13,435-525.27Martin,R.D.:Robust2Resistant Spectrum Estimators,Proc.IEEEE,1982,70,1097-1115.28Samorov,A.:Bounded2Influence Regression via Local Minimax Mean Squred Error,Technical Rep

23、rot,40,Center forComput.Research in Economics and Magement Science,1983,Cambridge.29 胡 峰,魏为贤:周期递进模型分析及应用,全国第五届空间及运动体控制技术会议论文集,1992,西安:西北工业大学,87-93.30Sage,A.P.and Melsa,P.L.:估计理论及其在通讯控制中的应用,田承骏译,科学出版社,1978.31Hwang and Bhattacharyya,P.K.:Robust Stability with Structured Real Parameter Perturbations,IE

24、EE.Trans.Au2to.Contr.,1987,AC-32.32Ioannou,P.A.and Tsakalis,K.S.:A Robust Direct Adaptive Controller,IEEE.Trans.Auto.Contr.,1986,AC-3.33K.S.Narendra,et al:Robust Adaptive Control in the Presence of Bounded Disturbutions,IEEE.Trans.Auto.Contr.,1986,AC-31.34Martin,R.D.and Mintz,T.:Robust Filtering and

25、 Prediction for Linear System with Uncertain Dynamics-part 1:agame theoretic approach,IEEE,Trans.Auto.Contr.,1983,AC-28.35Preston,D.B.:Robust Forecasting,Applied Time Series,1979.36 胡 峰:Kalman滤波在工程应用中的问题与对策,航天测控技术 92 学术年会论文集,1992,西安,87-93.37Hampel,F.R.:A General Qualitative Definition of Robustness,Ann.Math.Stat.,1971,42,1887-1896.38 胡 峰,范金城:C-L模型参数向量(6,)的仿射同变M型估计的渐近协方差阵,数理统计与应用概率,1992,Vol.7,No.1,41-50.39 范金城,胡 峰:回归系数估计的渐近二次偏差灵敏度,数理统计与应用概率,1989,Vol.4,No.2.842数理统计与应用概率第11卷第3期 1995-2004 Tsinghua Tongfang Optical Disc Co.,Ltd.All rights reserved.