传感器原理与应用数据分析第讲章数据分析与处理.ppt
《传感器原理与应用数据分析第讲章数据分析与处理.ppt》由会员分享,可在线阅读,更多相关《传感器原理与应用数据分析第讲章数据分析与处理.ppt(56页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、现在学习的是第1页,共56页8.1 8.1 数据分析意义数据分析意义一、数据分析概述一、数据分析概述数据分析:数据分析:数据分析的目的是把隐没在一大批看起来杂乱无章的数据中的信息数据分析的目的是把隐没在一大批看起来杂乱无章的数据中的信息集中、萃取和提炼出来,以找出研究对象的内在规律。集中、萃取和提炼出来,以找出研究对象的内在规律。数据分析内容:数据分析内容: 1)收集信息;)收集信息; 2)选定模型;)选定模型; 3)推断处理:识别真假信号、修正系统误差;分析信号的基本特)推断处理:识别真假信号、修正系统误差;分析信号的基本特性和类型,便于选择性和类型,便于选择合理合理信号处理方法;提高信号处
2、理的可靠性信号处理方法;提高信号处理的可靠性。数据分析的方法通常有:数据分析的方法通常有: 1) 频域分析:傅里叶变换;频域分析:傅里叶变换; 2)时域分析:微积分运算;平滑和滤波;统计分析;)时域分析:微积分运算;平滑和滤波;统计分析;现在学习的是第2页,共56页1、正态性检验、正态性检验l根据被测信号的概率密度分布图判别根据被测信号的概率密度分布图判别l正态性检验通常把一组数据序列点在一种专用的正态概率纸上,若正态性检验通常把一组数据序列点在一种专用的正态概率纸上,若各点近似地落在一条直线上,则说明样本符合正态分布。各点近似地落在一条直线上,则说明样本符合正态分布。l通过累积概率分布图通过
3、累积概率分布图的规律也可进行数据正态性的检验。的规律也可进行数据正态性的检验。2、平稳性检验、平稳性检验如果信号的均值近似是常数,信号的自相关和起始时间无关如果信号的均值近似是常数,信号的自相关和起始时间无关,仅和时间差有关。,仅和时间差有关。l目测的话,平稳信号曲线各部分的变化小、波峰波谷分布均目测的话,平稳信号曲线各部分的变化小、波峰波谷分布均匀、变化频率较为一致。匀、变化频率较为一致。l平稳信号对应的被测系统的基本特性不随时间改变。平稳信号对应的被测系统的基本特性不随时间改变。l分段统计特性分析法(轮次法)分段统计特性分析法(轮次法)二、典型的数据类型二、典型的数据类型现在学习的是第3页
4、,共56页 设有随机序列X、长度为M,现将其分成N个子区间、求出各子区间的均方值、然后再求这N个均方值的中值、即大小处于中间位置的值。所谓轮次检验是将这N个均方值逐个与中值比较、其大于中值者记为“+,小于中值者记为“”、这种从“+”到“一”和从“一到“+的变化次数称为轮次数,用r表示。一个序列的轮次数反映序列的独立性,平稳随机过程的轮次数将满足定的统计规律12N N=+1N121222N N (2N N -N)=N (N-1)式中:N为区间总数;N1均值大于中值的子区间数; N2均值大于中值的子区间数;a为置信度区间;22rrr随机序列平稳性检测的轮次法随机序列平稳性检测的轮次法现在学习的是第
5、4页,共56页3、周期性检验、周期性检验l根据被测系统根据被测系统的物理力学特性判别的物理力学特性判别 如果系统的基本物理力学特性随时间周期性变化,则认为被测信如果系统的基本物理力学特性随时间周期性变化,则认为被测信号呈现周期性。号呈现周期性。l目测检验目测检验 观测被测信号的记录曲线,如果信号曲线成周期性变化,则认为观测被测信号的记录曲线,如果信号曲线成周期性变化,则认为被测信号呈现周期性。被测信号呈现周期性。l自相关分析法自相关分析法:如果自相关函数曲:如果自相关函数曲线呈现周期性变化,则认为被测信号呈线呈现周期性变化,则认为被测信号呈现周期性。如图所示。现周期性。如图所示。现在学习的是第
6、5页,共56页 数据采集所得的原始信号,在分析处理前需要进行预处理。数据采集所得的原始信号,在分析处理前需要进行预处理。预处预处理工作主要包括去干扰、消除趋势项、剔除异常数据、平滑、拟合等理工作主要包括去干扰、消除趋势项、剔除异常数据、平滑、拟合等。一、趋势项一、趋势项 1、趋势项就是在信号中存在线性项或缓慢变化的、周期大于记录长趋势项就是在信号中存在线性项或缓慢变化的、周期大于记录长度的非线性成分。度的非线性成分。 原因原因: (1)抽样时未对原始信号加以适当的处理,如在抽样时未对原始信号加以适当的处理,如在AD转换前转换前未进行必要的高通滤波,使抽样信号中含有不需要的低频成分。未进行必要的
7、高通滤波,使抽样信号中含有不需要的低频成分。 (2)由于外界原因,包括传感器或仪器的零点漂移;传感器安装不当由于外界原因,包括传感器或仪器的零点漂移;传感器安装不当、测试对象的基础运动等原因引起的信号波形漂移;、测试对象的基础运动等原因引起的信号波形漂移; 积分放大器后积分放大器后产生的趋势项。产生的趋势项。8.2 8.2 数据预处理数据预处理现在学习的是第6页,共56页2.趋势项的处理方法趋势项的处理方法1)零均值化处理)零均值化处理l 设有序列设有序列 ,即,即其均值为其均值为零均值化后零均值化后 即即 如图所示。如图所示。 零均值化处理零均值化处理 nxn123Nx =x ,x ,x .
8、xNxii=11 =xNnxnnxx =x -tx(t)预处理前预处理后现在学习的是第7页,共56页2)平均斜率法消除趋势项)平均斜率法消除趋势项 即:一阶趋势项的零均值化即:一阶趋势项的零均值化0u(t)=+a(t-T /2)+x(t)00tT 式中 调试所得的原始信号; 均值; 平均斜率; 抽样总时间; 清除趋势项后的信号;u(t)a0Tx(t)现在学习的是第8页,共56页2)平均斜率法消除趋势项平均斜率法消除趋势项前后曲线变化,如图所示。(a)消除趋势项前的原始数据 (b)消除趋势项后的原始数据 平均斜率法消除趋势项现在学习的是第9页,共56页3)有高阶趋势项的零均值化 设有序列 设高阶
9、趋势项表达式为: nxn123Nx =x ,x ,x .x n1122kkx =ax +ax +L+ax根据最小二乘法原理求出 123ka ,a ,a ,.a则零均值化后 , nx nnnxxx如图所示。tx(t)预处理前预处理后现在学习的是第10页,共56页三测试数据的五点三次平滑三测试数据的五点三次平滑 平滑,即在满足残差平方和最小的前提,对测试数据进行处理,减平滑,即在满足残差平方和最小的前提,对测试数据进行处理,减少因一些偶然因素所造成的数据误差的影响,起到剔除异点的作用。少因一些偶然因素所造成的数据误差的影响,起到剔除异点的作用。 平滑处理是进行分段拟合。五点三次平滑是用三次多项式拟
10、合相邻平滑处理是进行分段拟合。五点三次平滑是用三次多项式拟合相邻五个点的数据。五个点的数据。8.2 8.2 数据预处理数据预处理332210)(tatataaty其中,系数a0a3通过对分段5点按最小均方标准进行拟合得到。 (a) 平滑前的波形 (b)平滑后的波形 数字信号平滑前后的波形现在学习的是第11页,共56页四奇异点剔除四奇异点剔除 剔除异常数据是根据统计学原理。统计学认为,大量采样数据值不超过超过标准差的3倍。若以零均值信号的3倍标准差为置信区间,其置信度可达到99.74,因此大于3倍标准差的信号几乎不存在,可以视为异常点。P(|x-|3)0.0026Nii=01=xNiia=x-2
11、2ii1=(x) -(x )/n)(n-1)i|a|38.2 8.2 数据预处理数据预处理当 ,该点即为奇异点,应剔除。(a) 剔除异点前的波形 (b) 剔除异点后的波形 剔除疑点前后波形的形状现在学习的是第12页,共56页五噪声与周期性干扰信号的消除五噪声与周期性干扰信号的消除1)有效频率以外的噪声与干扰信号的消除)有效频率以外的噪声与干扰信号的消除 低通滤波器(去高频)低通滤波器(去高频) 高通滤波器(去低频)高通滤波器(去低频) 带通滤波器(去高低频)带通滤波器(去高低频)2)有效频率以内的噪声与干扰信号的消除)有效频率以内的噪声与干扰信号的消除 带阻滤波器带阻滤波器 频域消除法频域消除
12、法8.1 8.1 数据预处理数据预处理现在学习的是第13页,共56页概述:概述:1、误差处理意义:误差是不可避免。、误差处理意义:误差是不可避免。1、对被测单个信号进行必要的去误差处理,更便于发现检测信息统、对被测单个信号进行必要的去误差处理,更便于发现检测信息统计特征,找出实验数据的规律;计特征,找出实验数据的规律; 2、对多路、多传感器检测信息去误差处理,更便于进行信息融合,实现、对多路、多传感器检测信息去误差处理,更便于进行信息融合,实现目标识别。目标识别。8.3 8.3 随机信号去误差处理随机信号去误差处理2、误差的来源:、误差的来源:1、测量装置误差;2、测量环境误差:温度、湿度、振
13、动;3、测量方法误差:4、测量人员误差:3、减少误差的方法:、减少误差的方法:1、从误差的来源方面去除;2、最终测量值=测量直接读数+修正值;3、测量方法:如:电桥法测电阻;采用正负磁场消除对电表指针印象;合理设计测量步骤和数据处理程序;现在学习的是第14页,共56页8.3 8.3 随机信号去误差处理随机信号去误差处理一、测量误差的定义一、测量误差的定义误差误差=测量值测量值-真值真值真值:观测一个被测物理量,该量本身所具有的真实值大小。真值:观测一个被测物理量,该量本身所具有的真实值大小。真值一般无法获取,除非有两种特殊情况:真值一般无法获取,除非有两种特殊情况:1、理论值,如:圆周、理论值
14、,如:圆周360度度2、约定真值,国际基准单位、约定真值,国际基准单位1千克千克绝对误差:相对误差:0llllllll08.3.1 随机信号的误差随机信号的误差现在学习的是第15页,共56页1系统误差系统误差在同样条件下,对同一物理量在同样条件下,对同一物理量无限多次测量值的平均无限多次测量值的平均值减去该被测量的真值值减去该被测量的真值。系统误差的大小、方向恒定一致或按一定规。系统误差的大小、方向恒定一致或按一定规律变化。律变化。2随机误差随机误差在同样条件下,对同一物理量的在同样条件下,对同一物理量的测量值减去无限多测量值减去无限多次测量的平均值次测量的平均值。随机误差具有随机性、正负抵偿
15、特性。随机误差具有随机性、正负抵偿特性。3粗大误差粗大误差明显超出限定条件下预期的误差,它是统计明显超出限定条件下预期的误差,它是统计异常值异常值。应。应剔除含有粗大误差的测量值。剔除含有粗大误差的测量值。二、测量误差的分类二、测量误差的分类现在学习的是第16页,共56页针对不同类型误差,采用不同的处理方法:针对不同类型误差,采用不同的处理方法:1、采样频率很高,测量次数很多,、采样频率很高,测量次数很多,对测量后信号中存在的随机干扰和粗大误差的处理(随机信号去误差处对测量后信号中存在的随机干扰和粗大误差的处理(随机信号去误差处理);理);2、采样频率低、测量次数较少,、采样频率低、测量次数较
16、少,添加测量信号中缺少点的处理(插值处理);添加测量信号中缺少点的处理(插值处理);3、由测量给定点的不精确数据求其精确数据(非线性补偿处理)。、由测量给定点的不精确数据求其精确数据(非线性补偿处理)。8.3 8.3 随机信号去误差处理随机信号去误差处理现在学习的是第17页,共56页当测量次数当测量次数n充分大时,对充分大时,对N次测量值取平均值,其数学期望为次测量值取平均值,其数学期望为nini=11X=E(M)=Xnlim 被测量的真值是当测量次数n为无穷大时的统计期望值。算术平均值的标准误差算术平均值的标准误差为:(X)=(X)/n由上式可见:测量值的算术平均值的标准误差 是各测量值的标
17、准误差的 倍。因此,以算术平均值作为检测结果,测量精度将随着采样次数的增加而提高。)X((8-3-1) 1n(8-3-2) 8.3 8.3 随机信号去误差处理随机信号去误差处理8.3.2 随机信号去误差的处理随机信号去误差的处理1、通过测量值求平均,减少随机误差、通过测量值求平均,减少随机误差现在学习的是第18页,共56页对系统输出值估算时,对系统输出值估算时,先对直接检测值算术平均,再按函数关系求测量结先对直接检测值算术平均,再按函数关系求测量结果的误差较小果的误差较小,比先对多个检测值按函数关系计算出每次采样结果,比先对多个检测值按函数关系计算出每次采样结果,然后求采样结果的算术平均值效果
18、好。,然后求采样结果的算术平均值效果好。再设再设f(X)Y )nX(f(Yn1iian)f(XYn1iib(8-3-3) (8-3-4) 将将(8-3-4),),在真值在真值X0 附近展开泰勒级数,保留二次项得:附近展开泰勒级数,保留二次项得: 20X220X|0a)XX(|dXfd21)XX(dXdf)f(XY00n1i20iX220X0bn)X(X|dXfd21)XX(|dXdf)f(XY00(8-3-5) (8-3-6) 2、先求直接测量值的平均,后求测量值的函数,减少随机误差、先求直接测量值的平均,后求测量值的函数,减少随机误差设:测量值设:测量值现在学习的是第19页,共56页分析:分
19、析:当测量次数当测量次数n较大时,(较大时,(8-3-5)可以认为)可以认为 但 (8-3-6) 不可能为零。 结论结论:当采样次数n不受限制时,可以认为平均值 n1i20in)X(X因此 应采用: 。)nXf(Yn1iia0XX 的随机误差更小比baYY现在学习的是第20页,共56页1)标准误差 是在采样次数n足够大得到的,但实际测量只能有限次,测量次数n如何确定?说明:实际测量中的有限次测量只能得到标准误差的近似值2) 采用测量序列的剩余误差通过贝塞尔公式求标准误差的近似值 3)采用近似值 通过谢波尔德公式确定测量次数n。8.3 8.3 随机信号去误差处理随机信号去误差处理3、测量次数、测
20、量次数n的确定以减少随机误差的确定以减少随机误差步骤:步骤:现在学习的是第21页,共56页贝塞尔(Bessel)公式对于测量列 中的一次测量结果标准差有: 剩余误差为:真差 :由式(8-2-9)、 (8-2-8)有:由此可推导出用剩余误差计算近似标准误差的贝塞尔公式:123nX ,X ,X ,.,Xii =X -(8-3-7)iiv =X -X(8-3-8)ii -v =X-(8-3-9)ii =v +(8-3-10)n2ii=11=vn-1(8-2-11)3、测量次数、测量次数n的确定以减少随机误差的确定以减少随机误差2)利用贝塞尔公式求标准误差的近似值)利用贝塞尔公式求标准误差的近似值现在
21、学习的是第22页,共56页谢波尔德公式谢波尔德公式a. 给出了标准误差给出了标准误差 、近似误差、近似误差 以及检测设备分辨率以及检测设备分辨率 之间的之间的关系:关系: b. 当测量次数当测量次数n增加,利用随机误差的抵偿性质,使随机误差的大增加,利用随机误差的抵偿性质,使随机误差的大小减小到与小减小到与 相近的数量时,测得到标准误差就趋于稳定,此时相近的数量时,测得到标准误差就趋于稳定,此时测量次数测量次数n为选定值。为选定值。 222 =() -12(8-2-12)2122)利用谢波尔德公式确定测量次数)利用谢波尔德公式确定测量次数一般 n = 1020之间现在学习的是第23页,共56页
22、粗大误差粗大误差(或称疏失误差)是指显然与事实不符的误差,它对测量结(或称疏失误差)是指显然与事实不符的误差,它对测量结果是一种严重的歪曲。这种误差主要是由于失误、系统过度疲劳、偶果是一种严重的歪曲。这种误差主要是由于失误、系统过度疲劳、偶然故障、外界突发性干扰或系统内部故障等众多随机原因造成的。然故障、外界突发性干扰或系统内部故障等众多随机原因造成的。 判断是否是粗大误差的两个准则: (1)莱特准则:ii|v |3v, 为疏失误差当N有限时,特别是当N10时,采用莱特准则作为判据就不可靠了。即使在测量数据中含有疏失误差,也无法判定剔除。8.3.3 粗大误差的剔除粗大误差的剔除现在学习的是第2
23、4页,共56页 (2)格罗贝斯准则(略)格罗贝斯准则(略)设设:对某一被测样品作等精度的多次独立检测,得到一个测量列:对某一被测样品作等精度的多次独立检测,得到一个测量列:服从正态分布,则有:(8-3-14) 格罗贝斯统计量g的确切分布,即: 12n12nXX.XXX.X, ,且nii=11X=Xniiv =X -Xn2ii=11=vn-1nX -Xg=(8-2-15) 为置信概率,通常取5%8.3.3 粗大误差的剔除粗大误差的剔除现在学习的是第25页,共56页 (2)格罗贝斯准则1)用查表法找出统计量的临界值:测量顶端值 X1或Xn所对应的格罗贝斯统计量2)判断: 注意:(1)对于次数较少的
24、疏失误差剔除的准确性高; (2)但每次只能剔除一个可疑值。),(0ang0pgg (n,a)=a(8-2-16) igi0igg (n,a) X当被削除i0igg (n,a) X当不是粗大误差保留现在学习的是第26页,共56页【例例】对某种样品进行8次检测采样,测得长度值为Xi:8次测量结果由小到大排列顺序为: 8次测量的平均值为 : 计算相应的剩余误差为:剔除疏失误差前的近似误差为:(8-2-17) 54718236X ,X ,X ,X ,X ,X ,X ,X8ii=11X=X =13.55%8(%)ivn2ii=11=v =0.35n-1(8-2-18) 8.2.3 粗大误差的剔除粗大误差
25、的剔除现在学习的是第27页,共56页由表看出 : 值得怀疑。由 数值表查得: 取 (8,0.01) =2.22 于是有: 因 故 为可疑值剔除。 05. 1|max5ivv),(0ang0g0g (8,0.01)=2.22 0.35=0.77750|v |=1.05g (8,0.01)=0.7775X =12.5%在余下的7个数据中,故 余下7个测量数据中已无疏失误差值存在,后续计算时可用。疏失误差剔除对于提高虚拟仪器系统的一致性有很重要作用。 6i max0|v |=|v |=0.35g (7,0.01)现在学习的是第28页,共56页一最小二乘法及其应用一最小二乘法及其应用 某物理量有一组测
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 传感器 原理 应用 数据 分析 第讲章 处理
限制150内