数据处理算法.pptx

《数据处理算法.pptx》由会员分享，可在线阅读，更多相关《数据处理算法.pptx（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基本数据处理算法内容提要基本数据处理算法内容提要克服随机误差的数字滤波算法克服随机误差的数字滤波算法消除系统误差的算法、非线性校正消除系统误差的算法、非线性校正工程量的标度变换。工程量的标度变换。诸如频谱估计、相关分析、复杂滤波等算法，阅读数字信号处理方面的文献。诸如频谱估计、相关分析、复杂滤波等算法，阅读数字信号处理方面的文献。第1页/共22页第一节第一节 克服随机误差的数字滤波算法克服随机误差的数字滤波算法 随机误差：由串入仪表的随机干扰、仪器内部器件噪声和A/D量化噪声等引起的，在相同条件下测量同一量时，其大小和符号作无规则变化而无法预测，但在多次测量中符合统计规律的误差。采用模拟滤波器

2、是主要硬件方法。数字滤波算法的优点：（1）数字滤波只是一个计算过程，无需硬件，因此可靠性高，并且不存在阻抗匹配、特性波动、非一致性等问题。模拟滤波器在频率很低时较难实现的问题，不会出现在数字滤波器的实现过程中。（2）只要适当改变数字滤波程序有关参数，就能方便的改变滤波特性，因此数字滤波使用时方便灵活。第2页/共22页常用的常用的数字滤波算法数字滤波算法 一、克服大脉冲干扰的数字滤波法一、克服大脉冲干扰的数字滤波法1限幅滤波法限幅滤波法 2 2中值滤波法中值滤波法 3 3基于拉依达准则的奇异数据滤波法基于拉依达准则的奇异数据滤波法（剔除粗大误差）（剔除粗大误差）4.4.基于中值数绝对偏差的决策滤

3、波器基于中值数绝对偏差的决策滤波器 二、抑制小幅度高频噪声的平均滤波法二、抑制小幅度高频噪声的平均滤波法1 1算数平均算数平均 2 2滑动平均滑动平均 3 3加权滑动平均加权滑动平均三、复合滤波法三、复合滤波法 第3页/共22页一、克服大脉冲干扰的数字滤波一、克服大脉冲干扰的数字滤波法法 克服由仪器外部环境偶然因素引起的突变性扰动或仪器内部不稳定引起误码等造成的尖脉冲干扰，是仪器数据处理的第一步。通常采用简单的非线性滤波法。第4页/共22页1 1 1 1限幅滤波法限幅滤波法限幅滤波法限幅滤波法 限限幅幅滤滤波波法法（又又称称程程序序判判别别法法）通通过过程程序序判判断断被被测测信信号号的的变变

4、化化幅幅度度，从从而而消消除除缓缓变变信信号号中中的的尖尖脉脉冲冲干干扰扰。具具体体方方法法是是，依依赖赖已已有有的的时时域域采采样样结结果果，将将本本次次采采样样值值与与上上次次采采样样值值进进行行比比较较，若若它它们们的的差差值值超超出出允允许许范范围围，则则认认为为本本次次采采样样值值受受到到了了干干扰，应予易除。扰，应予易除。已滤波的采样结果：已滤波的采样结果：l若本次采样值为若本次采样值为y yn n，则本次滤波的结果由下式确定：，则本次滤波的结果由下式确定：第5页/共22页a a是是相相邻邻两两个个采采样样值值的的最最大大允允许许增增量量，其其数数值值可可根根据据y y的的最最大大

5、变变化化速速率率V Vmaxmax及及采采样样周周期期T T确确定定，即即 a a=V Vmax max T T 实实现现本本算算法法的的关关键键是是设设定定被被测测参量相邻两次采样值的最大允许误差参量相邻两次采样值的最大允许误差a.a.要求准确估计要求准确估计V Vmaxmax和采样周期和采样周期T T。第6页/共22页2 2中值滤波法中值滤波法 中中值值滤滤波波是是一一种种典典型型的的非非线线性性滤滤波波器器，它它运运算算简简单单，在在滤滤除除脉脉冲冲噪噪声声的的同同时时可可以以很好地保护信号的细节信息。很好地保护信号的细节信息。对对某某一一被被测测参参数数连连续续采采样样n n次次（一一

6、般般n n应应为为奇奇数数），然然后后将将这这些些采采样样值值进进行行排排序序，选取中间值为本次采样值。选取中间值为本次采样值。对对温温度度、液液位位等等缓缓慢慢变变化化的的被被测测参参数数，采采用用中中值值滤滤波波法法一一般般能能收收到到良良好好的的滤滤波波效效果。果。第7页/共22页设设滤滤波波器器窗窗口口的的宽宽度度为为n=2k+n=2k+1 1，离离散散时时间间信信号号x x（i i）的的 长长 度度 为为N N，（i i=1=1，2 2，N N；N Nn n），则则当当窗窗口口在在信信号号序序列列上上滑滑动动时时，一一维中值滤波器的输出维中值滤波器的输出:medmed x x（i i

7、）=x x(k k)表表示示窗窗口口2 2k k+1+1内内排排序序的的第第k k个值，即排序后的中间值。个值，即排序后的中间值。原始信号 中值滤波后的信号对不同宽度脉冲滤波效果第8页/共22页3 3基于拉依达准则的奇异数据滤波基于拉依达准则的奇异数据滤波法（剔除粗大误差）法（剔除粗大误差）拉依达准则法的应用场合与程序判别拉依达准则法的应用场合与程序判别法类似，并可更准确地剔除严重失真法类似，并可更准确地剔除严重失真的奇异数据。的奇异数据。拉依达准则：拉依达准则：当当测量次数测量次数N N足够多且测足够多且测量服从正态分布时量服从正态分布时，在各次测量值中，在各次测量值中，若某次测量值若某次测

8、量值X Xi i所对应的所对应的剩余误差剩余误差V Vi i33，则认为该则认为该X Xi i为坏值，予以剔除。为坏值，予以剔除。第9页/共22页拉依达准则法实施步骤拉依达准则法实施步骤 （1 1）求）求N N次测量值次测量值X X1 1至至X XN N的算术平均值的算术平均值（2 2）求各项的剩余误差）求各项的剩余误差V Vi i（3 3）计算标准偏差）计算标准偏差（4 4）判断并剔除奇异项）判断并剔除奇异项V Vi i3 3，则认为该Xi为坏值，予以剔除。第10页/共22页依据拉依达准则净化数据的局限性依据拉依达准则净化数据的局限性 采采用用33准准则则净净化化奇奇异异数数据据，有有的的仪

9、仪器器通通过过选选择择LL中中的的L L值值（L L2 2，3 3，4 4，5 5）调调整整净净化化门门限限，L L3 3，门门限限放放宽宽，L L3 3，门门限限紧紧缩缩。采采用用33准准则则净净化化采采样样数数据据有有其其局局限限性性，有时甚至失效。有时甚至失效。（1 1）该准则在）该准则在样本值少于样本值少于1010个时不能判别任何奇异数据；个时不能判别任何奇异数据；（2 2）33准准则则是是建建立立在在正正态态分分布布的的等等精精度度重重复复测测量量基基础础上上，而而造造成成奇奇异异数数据据的的干干扰扰或或噪声难以满足正态分布。噪声难以满足正态分布。第11页/共22页4.4.基于中值数

10、绝对偏差的决策滤波器 中中值值绝绝对对偏偏差差估估计计的的决决策策滤滤波波器器能能够够判判别别出出奇奇异异数数据据，并并以以有有效效性性的的数数值值来来取取代代。采采用用一一个个移移动动窗窗口口，利利用用m m个个数数据据来来确确定定的的有有效效性性。如如果果滤滤波波器器判判定定该该数数据据有有效效，则则输输出出，否否则则，如如果果判判定定该该数数据据为为奇奇异异数数据据，用用中中值值来取代。来取代。，第12页/共22页（1 1）确定当前数据有效性的判别准）确定当前数据有效性的判别准则则一一个个序序列列的的中中值值对对奇奇异异数数据据的的灵灵敏敏度度远远无无小小于于序序列列的的平平均均值值，用

11、用中中值值构构造造一一个尺度序列，设个尺度序列，设 中值为中值为Z Z，则，则给出了每个数据点偏离参照值的尺度给出了每个数据点偏离参照值的尺度 令令d(k)d(k)的的中中值值为为D D，著著名名的的统统计计学学家家FR.HampelFR.Hampel提提出出并并证证明明了了中中值值数数绝绝对对偏偏差差MADMAD1.4826*D1.4826*D，MADMAD可可以以代代替替标标准准偏偏差差。对对33法法则则的的这这一一修修正正有时称为有时称为“HampelHampel标识符标识符”。第13页/共22页(2)(2)实现基于实现基于L*MADL*MAD准则的滤波算准则的滤波算法法 建立移动数据窗

12、口(宽度m m）计算出窗口序列的中值Z Z（排序法）计算尺度序列 的中值d d（排序法）令Q Q1.4826*d=MAD1.4826*d=MAD计算如果 则 否则可以用窗口宽度可以用窗口宽度m m和门限和门限L L调整滤波器的特性。调整滤波器的特性。m m影响滤波器的总一致性，影响滤波器的总一致性，m m值至少为值至少为7 7。门限参数。门限参数L L直接决定滤波器主动进取程度，本非线性滤波器具有比例不变性、因直接决定滤波器主动进取程度，本非线性滤波器具有比例不变性、因果性、算法快捷等特点，实时地完成数据净化。果性、算法快捷等特点，实时地完成数据净化。第14页/共22页二、抑制小幅度高频噪声的

13、平均滤波法二、抑制小幅度高频噪声的平均滤波法小小幅幅度度高高频频电电子子噪噪声声：电电子子器器件件热热噪声、噪声、A/DA/D量化噪声等。量化噪声等。通通常常采采用用具具有有低低通通特特性性的的线线性性滤滤波波器器：算算数数平平均均滤滤波波法法、加加权权平平均均滤滤波法、波法、滑动加权平均滑动加权平均滤波法等。滤波法等。第15页/共22页1 1算数平均滤波算数平均滤波 N N个个连连续续采采样样值值（分分别别为为X X1 1至至X XN N）相相加加，然然后后取取其其算算术术平平均均值值作作为为本本次次测测量量的的滤滤波值。即波值。即设设滤波效果主要取决于采样次数滤波效果主要取决于采样次数N

14、N，N N越大，滤越大，滤波效果越好，波效果越好，但系统的但系统的灵敏度要下降灵敏度要下降。因此。因此这种方法只适用于这种方法只适用于慢变信号慢变信号。S Si i为采样值中的有用部分为采样值中的有用部分n ni i为随机误差。为随机误差。第16页/共22页2 2滑动平均滤波法滑动平均滤波法 对于采样速度较慢或要求数据更新率对于采样速度较慢或要求数据更新率较高的实时系统，算术平均滤法无法较高的实时系统，算术平均滤法无法使用的。使用的。滑动平均滤波法把滑动平均滤波法把N N个测量数据看成一个测量数据看成一个队列，队列的长度固定为个队列，队列的长度固定为N N，每进行，每进行一次新的采样，把测量结

15、果放入队尾，一次新的采样，把测量结果放入队尾，而去掉原来队首的一个数据，这样在而去掉原来队首的一个数据，这样在队列中始终有队列中始终有N N个个“最新最新”的数据。的数据。第17页/共22页为第n次采样经滤波后的输出；为未经滤波的第ni次采样值；N为滑动平均项数。平滑度高，灵敏度低；但对偶然出现的脉冲性干扰的抑制作用差。实际应用时，通过观察不同N值下滑动平均的输出响应来选取N值以便少占用计算机时间，又能达到最好的滤波效果。第18页/共22页3 3加权滑动平均滤波加权滑动平均滤波增加新的采样数据在滑动平均中的比重，以提高系统对当前采样值的灵敏度，即对不同时刻的数据加以不同的权。通常越接近现时刻的

16、数据，权取得越大。按FIR滤波设计确定系数第19页/共22页三、复合滤波法三、复合滤波法 在在实实际际应应用用中中，有有时时既既要要消消除除大大幅幅度度的的脉脉冲冲干干扰扰，有有要要做做数数据据平平滑滑。因因此此常常把把前前面面介绍的两种以上的方法结合起来使用，介绍的两种以上的方法结合起来使用，形成复合滤波形成复合滤波。去去极极值值平平均均滤滤波波算算法法：先先用用中中值值滤滤波波算算法法滤滤除除采采样样值值中中的的脉脉冲冲性性干干扰扰，然然后后把把剩剩余余的的各各采采样样值值进进行行平平均均滤滤波波。连连续续采采样样N N次次，剔剔除除其其最最大大值值和和最最小小值值，再再求求余余下下N N2 2个采样的平均值。显然，这种方法既能抑制随机干扰，又能滤除明显的脉冲干扰。个采样的平均值。显然，这种方法既能抑制随机干扰，又能滤除明显的脉冲干扰。第20页/共22页 为使计算为使计算更方便，更方便，N N2 2应为应为2 2，4 4，8 8，1616常取常取N N为为4 4，6 6，1010，1818。第21页/共22页感谢您的观看！第22页/共22页