随机过程的基本概念和基本类型.docx

Aft 32c第一早随机过程的基本概念和基本类型教学目的：(1)掌握随机过程的定义；(2 ) 了解有限维分布族和Kolmogorov定理；(3)掌握独立增量过程和独立平稳增量过程概念。教学重点：(1)有限维分布和Kolmogorov定理；(2 )随机过程的基本类型。教学难点：(1)有限维分布和Kolmogorov定理。2.1基本概念教学目的：掌握随机过程的定义；了解随机过程的按状态集和参数的分类。教学重点：随机过程的定义。在概率论中，我们研究了随机变量，维随机向量。在极限定理中，我们研究了无穷多个 随机变量，但局限在它们相互独立的情形。将上述情形加以推广，即研究一族无穷多个、 相互有关的随机变量，这就是随机过程。定义2.1 :设(Q 2,尸)是一概率空间，对每一个参数飞丁，亿助是一定义在概率空间 g，£，尸)上的随机变量，则称随机变量族Xr=X(fM)"eT,为该概率空间上的一随机过程。注2：若切£/X23,称X。)是二阶矩过程。3 .(自)协方差函数XQ), £丁的状态X(4), X«2)的二阶中心混合矩 Yx(tt2) = EX(t)-m(tx)X(Z2)-m(t2)X的自协方差函数，简称协方差函数。当，2 时，=£X W)2= EX(t)-E(X(t)2=旦X«)2 _石(X(，)24 .(自)相关函数X。)，小，2£7的状态乂&)，X«2)的二阶原点混合矩Rxt2) = EX(t1)X(t2)X的自相关函数，简称相关函数。注1：当仇XQ) =m=0时，0(32)=及(九，2)注2： Yx(%由)=&(4冉)-)2缶)注3： 7x(44)及RxG W)反映了随机过程XQ)在时刻4和，2时的线性相关程度。注4：对两个随机过程的关系，要引进互协方差函数 或互相关函数来描述它们的线性关系。5 .(互)协方差函数设XQ), teT,Y(t),让7是两个二阶矩过程，则称/xr(ZI,Z2) = £X(Z1)-mx(4)丫。2)-啊"2)x«), y的互协方差函数。其中：mx(r) = EX(r)L mY(t) = EY(t)6 .互相关函数Rxy(t,t2) = EX)Y(t2) x«), y的互相关函数。注:7xy(4，'2)= Rxy(4，2)- "X(，2)7 .互不相关若7xy(4/2)= °称X，y互不相关。I注：若x«),y互不相关，则Rxy("1，2)=根X(' 1(2)即仇 x(gy«2)=仇 x(4)仇 丫"2)8 .特征函数记：一(场，”2,， "内，G 二 Eexp"%X(G + /XQ)称打(卬的，%;.，./山，”丁心口为随机过程偏:土乃的有限维特征函 数族。例2.6设随机过程X«)= Ucos2f,其中U是随机变量，且£(7) = 5,。(。) = 5.求：(1)均值函数；Q)协方差函数；6)方差函数例2.7设有两个随机过程*«) = 3 丫。)=。汽其中。是随机变量，且D(U) = 5.试求它们的互协方差蹴。作业1设A 8是两个随机变量，试求随机过程XQ) = 4 + 33, F £ 7 = (yo,zo)的均值函数和自相关函数若A3相互独立，且AN(l,4), BU(0,2),则m*及&«“)为多少？2.3随机过程的基本类型教学目的：了解严平稳过程的定义；掌握宽平稳过程的定义，会判断一个随机过程是否是宽平稳过程；掌握均值遍历性定理；了解协方差函数遍历性定理；掌握独立增量过程 和平稳增量过程的定义。教学重点：宽平稳过程的判定；均值遍历性定理；独立增量过程和平稳增量过程的定 义。教学难点：宽平稳过程的判定；均值遍历性定理；协方差函数遍历性定理；一、严平稳过程定义1：设随机过程X(D，止为,若对Vn( = l,2,)/，/eT和任意实数当t1+T,-,tn+T gT时,(X(4),X(r“)和(X(4 +7),，乂9+ r)有相同的分布函数，即= PX(t1 +r)<x1,-,X(ZZI+T)<xJ则 X£为称为严平稳过程.平稳过程的参数T:可以是连续的，如，£ 0,4-oo),(-oo,4-oo),可以是离散的，如/£0,±1,±2,0,1,2,二、严平稳过程的特点仅与了 二4一/2有关，1 .严平稳过程X的一维概率密度%）与，无关； 二维概率密度/5/ ；斗W） 而与时间的起点无关，2.若严平稳过程存在二阶矩（即EX（Z）J2< 00）,贝口 均值函数为常数:）=讥XQ） =相 协方差函数乙&"2），（自）相关函数04，2）仅是时间差7 = 4 -2的函数.三、宽平稳过程（简称平稳过程）定义2 :设随机过程XQ）,次为,如果它满足：X是二阶矩过程；（即所以二阶矩存在 用X«）f<8）（2）均值函数为常数:即m（r） = EX（r） = m;（3）协方差函数及（小，2）,（自）相关函数0（/，2）仅依赖于时间差r = t-t2.则称X为宽平稳过程，或二阶平稳过程.当逑/整数集时，称XQ）为平稳时间序列.注1 :严平稳过程不一定是翻稳过程。因为：严平稳过程不一定是二阶矩过程。若严平稳过程存在二阶矩，则定是宽平稳过程注2 :宽平稳过程也不一定厥平稳过程。因为：宽平稳过程只保正一阶矩二阶矩不随时可的推移而改变，这当然希自保证其有限维分布不随寸间而推移。例2.8设X。）是相互独立同分布的随机变量序歹U,其中7 = 。,±1,±2,，口均值和方差分别为EX（t）=0 DX（t） =试讨论XQ）的平稳性。 I例,9设随机序列X=sin2加77Je7,其中T = 1,2,-., 是上服从均匀分布的随机变量，试讨论随几序列XQ）的平稳性当XQ）栏0时，讨论其平稳性.四、平稳过程相关函数的性质性质 1 ： x（0） = £X2（r）>0性质 2 : Rx < Rx（。）柯西-许瓦兹不等式：|E（xy）l2 <（EX2）（Er2）结论：（自）相关函数Z?x在r = 0时取得最大值.性质3 ： &是偶函数，即Rx（f = Rx性质4 ： &是非负定的即对任意数组京行口任意个不全为零的实数注：自相关函数的非负定t盘平稳过程最本质的特生，因为，任一连续函数，只要具有非负定性，那么该函数必定是某平稳邂的自相关函数性质8 ： 21即区Rx（o）+ Ry（0）性质9 :若平稳过程X"）与丫是平稳相关的，贝（j其和z= x“）+ y也是平稳过程,其相关函数为Rz (工)=Rx «) + &«) + + Ryx 例2.10：设s是一周期为加勺函数，e。为，称*心=5«+。）为随机相位周期过程，试讨论它的平稳性五、独立增量过程定义1设X。)7是一随机过程,若对任意正整 数,V享eN,及九山£丁，4 ，2 * %随机过程的增量:xg)-x(g，xq3)-xg),，xq)-x(:)是相互独立的，贝称x为独立增量过程。i例2.11 :设X5), = 0,12是相互独立的随机序列，令 ""自X()则/(/),，= 0,12是一独立增量过程若对任何乙也£丁有X 4 + 份 一 X (迦 X & + %)- X .)则称XQ),j7为平稳增量过程.兼有独立增量和平稳增量的过程称为平稳独 立增量过程。定义2若二阶矩过程 X(/)，£为对任意的。，2乙，八，2，3,，4 eT,有EXG)-x&)x&) x6)=o则称X。），£为为正交增量过程。六、遍历性定理X., = 0,1,2,，其中x为独立同分布随机 变量序列，E（X；）8； ax”）："八 。？.（2）毛=匕=。/2 ,丁其中庭随机变量e（y2） oo.一!1 1.,X： m （q.s.）. Yj = Y对而节 由大数定律知，白但在中，占' 即经过/ /对时间的平均后，随机性没有任何改变。 于是自然产生这样的I碱： 在何种条件 下，平稳 过程对时间的平均值可以等于过程的均值？ 比 问题称为平稳过程 的遍历性问题。这是邛稳过程 研究中的一个重要课题对于平稳过程X,= 0,1,2,重要的是确定它的均值加和它的协方差函数7«）（或相关函数7?（r）o由于石（X）= m,为估计处 就必须对随机过程X", = o12作大量观察.以X,记第4次观察中时亥k的值/ = 0,12，儿由大数定律知，可以用a 1 nm = -£Xk(n Z=1来估计相。同样，为了估计协偿7(。也可以用A1AA/(c) = 一£(Xk« + r)-加)(xk -m) k=来估计。然而对随机过呈作多次观察一般来说艮难做到。容易做到的是作一次观察，获得一条样榴 径,我们希望由这一次观察来估计相和八丁)。对于一般的随机过程这是不可能的，但是对于平稳过程，只要加上一些条件，就可以加上一些条件，就可以较好的估计，这就是遍万性定理。1 fT J定义1：设X"), -00</<00为一平稳过程，若* =烈方/(0力=加或当参数空间T = ZH寸，1 NX = LimV X(k) = m5 2N+iy则称XQ), -8<8的均值有遍历性。这里的极限是指均方意义下的概艮，丁称为参数集。随机过程的两种描述方法:用映射表示工，X(r,: TxC-火，即XG)是一定义在Tx。 上的二元单值函数，固定松丁，x(是一定义在样本空间。上的函数，即为一随机变量；对 于固定的例小。,*(，0。)是一个关于参数小丁的函数，通常称为样本函数，或称随机过程 的一次实现。记号X”，。)有时记为“或简记为X。).参数丁一般表示时间或空间。参数常 用的一般有： 7 = 乂=0,12.,此时称之为随机序列或寸间序列.随机序列写为X()，n>0或=.(2) 7 = 。,±1,±2,(3) T=。,勿其中。可以取。或-8, 可以取+8.当参数取可列集时，一般称随机过程为随机序列。随机过程X«)；fer可能取值的全体 所构成的集合称为此随机过程的状态空间，记作S. S中的元素称为状态。状态空间可以由 复数、实数或更一般的抽象空间构成。根据讲ns的不同过程可以分成不司的类:f离散参数 参数空间分类：连续参数如丁 = 0,1,2 如7 = 1|/20f离散状态 状态空间分类:连续状态S取值是离散的S取值是连续的1nnLimEf X力一根门二oT->oo 2T>t定义2：设X"）, -8，8为一平稳过程，若/(r) = Limj (X 一 m)(X (/ + r)- ni)dt = /(r)或当参数空间r = zH寸,1 N/=Lint 2n + 1 £ (X (左)- z)( X (左 + r) - m) = /(r)则称XQ）,00的协方差有遍历性,这里的极限是指均方意义下的极艮若随机过程（或随机序列）的均值和协方差函数都具有遍历性，则称此随机过程有遍历性。上述的定义中，如果，只取非负实数（非负整数）时，相应的积分和求和就限制在”）上例如,相应的 1X = 2g1°X(t)dt = m_i nX = Lim> X(k) = m5N + i£例2.12:设'"）=''7一8,8），*是随机变量尸（乂 = ±1）=提试判定乂）的均值是否具有遍历性例2 13,正弦波XQ） = Acosl + e） -8</<8,其中g是常数A与娜目互独立.A /。)=2x0 < x < 1o 其它 e。2加，判定该随机过程是否明遍历性定理22（均值遍历性定理）X, = 0,±1,±2,是平稳序列，其均值为m,协方差八万）,则X.， = 0,±l,±2,均值具有遍历性的充分必要条件是1 N-1Lzm V X(r) = 0N 之设XQ）, -8<Z<8是平稳过程，则它的均值具有遍历性的充要条恨1 c2T T&7J0推论2.1：若门小加则均值遍历性定理成立。仆)3 /(r) |证明：由于当0<r<2方寸,1T7八寸17因"“'0推论2.2:对于平稳序列而言若/«）->。（° f8）,则均值遍历性定理成立定理22什办方差函数遍历性定理）设XQ）, -8<z<8是平稳过程,其均值函数为0,则协方差函数具有遍历生的充分必要条件是例(1-券)(即)/)”。 JLL.其中 B(r1) = EXa + r + rf)%(/ + r,)X(t + r)X(Z).（定理2.1及定理2.2一般了解）作业1：设X（，） = Acosa，+ 3sinMj20,。为常数，A,5为相互独立同分布于N（0,b2）,判别X是否为宽平稳过程。作业2:书第二章 习题2.6.作业3，设X（，） = Acos/ + Bsin，,-oo<Z<8为常数，是均值 为零的不相 关的随机变量，且石（42）=石（公）,试证：X对均值具有遍历性，协方差函数不具有遍历性。随机过程分为以下四类:(1) 离散参数离散型随机过程；(2) (2)连续参数离散型随机过程;(3) (3)连续参数连续型随机过程；(4) (4)离散参数连续型随机过程。(5) 以随机过程的统计特征或概率特征的分类，一般有：(6) 独立增量过程；二阶矩过程；平稳过程；Poission 过程;更新过程；Markov 过程;鞅；维纳过程。随机过程举例例2,1随机游动：一醉汉在路上行走，以概率p前进一步，以概率1-后退一步（假设其步长相同），以x记他在泪寸刻在路上的位置，则X（f）就是直线上的随机游动例2.2抛掷一枚硬币，样本空间为s = "，r定义：_当出现H时12,当出现 T 时t g （00, + oo）其中尸"=尸T = 1 / 2,则X £ （口, +是一随机过程。例2.3历6”运动:英国植物学家历。卬注意到漂浮在液面上的微小粒子不断进行无规则的运动，这种运动）既称为3mM运动。同时分子大量随机碰撞的结果。记（x«）,y（，）为粒子在平面坐标上的位置，则它是平面上的3加即运动。2.2有限维分布与Koi mog vrov定理教学目的：掌握随机过程有限维分布函数的定义和性质；会求随机过程的均值函数、协方差函数、方差函数、自相关函数；了解Kolmogvrov定理。教学重点：随机过程的有限维分布函数；随机过程的数字特征（均值函数、协方差函 数、方差函数、自相关函数1教学难点：随机过程有限维分布；Kolmogvrov定理。一、随机过程的分布函数1 .一维分布函数设X是一随机过程，称小工）9尸（0 =尸乂心处为乂“）的一维分布函数.若3使得 耳（工）=勺/）=79）'）办则称 "为XQ）的一维概率密度2 .二维分布函数设二维随机向量（X&）, X（t2）亿Z） e T I耳.（$»2）生储/2，工1，工2）=尸X亿）当，*«2）称为二维随机向量（X（G，X«2）的分布函数。若 3 /（Z1,Z2,X1,X2）0,耳途2（$"2）=尸«1，%2，%，x2）则称/（八公/）为二维概率密度.3 . n维分布函数维随机向量（xo）x«2）,x«）的联合分布函数为,."（不，z心/（4，*石，z）= Px（G«%,Z若3 /Q,j；x，x）2 0,= f".f''J（4，.，.；y，.，y?）4y.dy J-8 J8称为“维随机向量（xg）,x«2）,xg）的"维分布函数,则称/（九,*不,天）为维概率密度4 .有限维分布族一维、二维，维分布函数的全体：耳”（%,5）, 山£21称为有限维分布族5 .有限维分布族的性质（1）对称性"，小丹丹"）= PX（G«/,X（O.）Kf= PX（G44,XQ）Mx=E"F（x"、x）=尸。1，"；%,，当）（2 ）相容性对于 有%7"5F0L，8,， = %7/%，与）注1 :随机过程的统计特性完全由它的有限维分布族决定。注2 :有限维分布族与有限维特征函数族相互唯一确定。问题：一个随机过程X（，）；，eT的有限维分布族，是否描述了该过程的全部概率特性？定理：（Kolmogorov存在性定理）设分布函数族"公 W训满足以上提到的对称性和相容性,则必有一随机过程x«); f £为,使Ft、，.乜区,北),小,"。"”1恰好是X;1 £ 7的有 限维分布族，即：耳.a，,)= px(GK%,X9)j定理说明：XQ)；/wT的有限维分布族包含了XQ)；小为的所有概率信息。例2,4袋中有一个白球，两他球，每隔单位时间火袋中任取一球后放回，对每一个确定的r对应随机变量丫小2如果对/时取得红球 d如果对出寸取得白球试求这个随机过程的一维分布函数族.例2.5 利用抛掷硬币的试验定义一个随机过程COSE出现正面 nX(t) = <, tteR2t,出现反面 、设出现正面反面的概率是相同的。写出X的所有样本函数(实现)；写出X的以为分布函羯（x;）和大（X；l）.Ko/mogomu定理说明，随机过程的有限维分布族 是随机过程概率特征的完整描述，但在实际两题中，要知道随机过程供全部有限维分布族是不可能的。因此，人们想到了用随机过程的某些特征来刻画随机过程的概率寺征。二、随机过程的数字特征1 .均值函数随机过程XQ）；法为的均值函数定义为：（假设是存在的）% Q），（，） = X«）注:根是X的所有样本函数在时刻，的函数值的平均，它表示随机过程XQ）在时刻/的摆动中心。2 .方差函数随机过程XQ）；，G为的方差函数定义为：D（ X（/） = E %（/）-2 = E X 一机2注1：均方差函数皿）=恒5表示在各个时亥小对于均值相的 偏离 程度。