随机信号处理教程 第1章 概率论基础.ppt

《随机信号处理教程 第1章 概率论基础.ppt》由会员分享，可在线阅读，更多相关《随机信号处理教程 第1章 概率论基础.ppt（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、随机信号处理教程献给进入信息领域学习的你！随机信号处理教程随机信号处理教程v第第1章章 概率论基础概率论基础v第第2章章 随机过程随机过程v第第3章章 随机过程的功率谱密度随机过程的功率谱密度v第第4章章 随机信号通过线性系统随机信号通过线性系统v第第5章章 窄带系统和窄带随机信号窄带系统和窄带随机信号v第第6章章 随机信号通过非线性系统随机信号通过非线性系统v第第7章章 马尔可夫过程马尔可夫过程第第1 1章章 概率论基础概率论基础1234756随机事件及其概率条件概率与统计独立 随机变量及其概率分布 随机变量的数字特征 随机变量的特征函数 极限定理 多维正态分布 1.1随机事件及其概率随机事

2、件及其概率 随机现象是指在相同条件下重复试验，所得结果不一定相同的现象，即试验结果是不确定的现象。随机试验随机试验具有以下三个特点：v试验有多种可能结果，并且事先明确知道该试验的所有可能的结果；试验有多种可能结果，并且事先明确知道该试验的所有可能的结果；v每次试验出现哪个结果，事先是不可预测的；每次试验出现哪个结果，事先是不可预测的；v试验可以在相同条件下重复进行。试验可以在相同条件下重复进行。在随机试验的结果中，可能发生，也可能不发生，但在大量重复试验中，却具有某种规律性的事件，叫做此随机试验的随机事件，简称事件。为了便于研究随机试验，我们将随机试验的所有基本事件所组成的集合称作随机试验E的

3、样本空间 1.1随机事件及其概率随机事件及其概率1）子事件2）两事件相等3）和事件4）积事件5）差事件6）互不相容事件7）逆事件事件之间的关系与运算 1.1随机事件及其概率随机事件及其概率8）事件的运算规律结合律 交换律 分配律 对偶律 差化积 差化积 1.1随机事件及其概率随机事件及其概率v一般地，在同样条件下，大量进行重复试验来观察事件一般地，在同样条件下，大量进行重复试验来观察事件A A发生或不发发生或不发生生(如抛硬币，出现正面如抛硬币，出现正面H H的事件为的事件为A)A)。若在。若在n n次独立试验中，随机事次独立试验中，随机事件件A A出现出现nAnA次，比值次，比值 称为事件称

4、为事件A A在这在这n n次试验中出现的频率。次试验中出现的频率。v设设E E是随机试验，是随机试验，S S是它的样本空间，对于是它的样本空间，对于E E的每一事件赋予一实数，的每一事件赋予一实数，记为记为 ，称之为事件，称之为事件A A的概率的概率 一般地，设试验一般地，设试验E E的样本空间为，如果每一个基本事件的概率相等，的样本空间为，如果每一个基本事件的概率相等，即，则称这类试验为等可能概型，又称为古典概型。即，则称这类试验为等可能概型，又称为古典概型。1.1随机事件及其概率随机事件及其概率非负性：对于任意给定的事件A，规范性：可列可加性：对于任意给定的事件 ，且任意事件两两 ，即不可

5、能事件的概，即不可能事件的概率为率为0 0；有限可加性，若事件有限可加性，若事件 两两互不相容，则两两互不相容，则 对任意事件对任意事件A A，有，有 对于任意事件对于任意事件A A、B B，有，有 概率的性质互不相容，则有1.2条件概率与统计独立条件概率与统计独立v设A、B为随机试验的两个事件，且 ，则称 为事件B发生的条件下事件A发生的条件概率。v乘法定理：设任意事件A、B，如果 ，则有 如果 则有v全概率公式：设构成随机试验E的一个完备事件组 ，且 ，则对随机试验E的任一事件B，v贝叶斯公式贝叶斯公式：若设 是一列互不相容的事件，且 则对任一事件B，有当 ，时，事A与事件B相互独立的充分

6、必要条件是 或1.2条件概率与统计独立条件概率与统计独立若事件A与B相互独立，则下列三对事件：A与 、B与 、与 也相互独立。不可能事件及必然事件S与任何事件A相互独立。定理l 定理2 定理3对任意的两个事件A、B，若成立，则称事件A与B是相互独立，简称独立。1.3 随机变量及其概率分布随机变量及其概率分布 设随机试验设随机试验E E的样本空间为的样本空间为S S，如果对于每个样本点，如果对于每个样本点 ，有一个实数，有一个实数 和它对应，这样就得到一个定义在和它对应，这样就得到一个定义在S S上的上的单值实函数单值实函数 ，称，称 为随机变量，简写为为随机变量，简写为X X。随机性随机性随机

7、性随机性随机性随机性随机变量的随机变量的随机变量的随机变量的随机变量的随机变量的取值依赖于取值依赖于取值依赖于取值依赖于取值依赖于取值依赖于随机试验的随机试验的随机试验的随机试验的随机试验的随机试验的结果，具有结果，具有结果，具有结果，具有结果，具有结果，具有随机性。随机性。随机性。随机性。随机性。随机性。变量变量变量变量变量变量随机变量是随机变量是随机变量是随机变量是随机变量是随机变量是一个随试验结一个随试验结一个随试验结一个随试验结一个随试验结一个随试验结果不同可取不果不同可取不果不同可取不果不同可取不果不同可取不果不同可取不同值的变量。同值的变量。同值的变量。同值的变量。同值的变量。同值

8、的变量。1.3 随机变量及其概率分布随机变量及其概率分布如果随机变量如果随机变量X X只能取有限个或可列不同的数值，则只能取有限个或可列不同的数值，则称称X X为离散型随机变量。为离散型随机变量。v两点分布v二项分布v泊松（poisson）分布 1.3 随机变量及其概率分布随机变量及其概率分布v设设X是一随机变量，是一随机变量，x是任意实数，称是任意实数，称函数函数 为随机变量为随机变量X的分布函数。的分布函数。v如果对于连续型随机变量如果对于连续型随机变量X的分布函数的分布函数 ，存在非负的函数，存在非负的函数 ，使对于任意实，使对于任意实数，有数，有 称称 为为X的概率密度函数。的概率密度

9、函数。1.3 随机变量及其概率分布随机变量及其概率分布TEXTTEXTTEXT均匀分布 正态分布（高斯分布）瑞利分布1.3 随机变量及其概率分布随机变量及其概率分布1234分布曲线在x轴的上方，以 为对称轴，且当 时，有最大值 ；为正态分布两参数，确定分布的位置，确定分布的形状，越大，分布曲线越扁平；越小，分布曲线越陡峭；分布曲线在 处有拐点，即 ；在 与 之间，曲线上凸，而其它部分下凹，曲线向两侧延伸，永不和x轴相交；的取值范围是整个x轴。正正态态分分布布的的性性质质1.3 随机变量及其概率分布随机变量及其概率分布v如果如果X X、Y Y均为某样本空间上的随机变量，则称均为某样本空间上的随机

10、变量，则称(X(X，Y)Y)为二为二维随机变量或二维随机向量。维随机变量或二维随机向量。v设设(X(X，Y)Y)为二维随机变量，对于任意实数为二维随机变量，对于任意实数x x和和y y，令，令 则称为则称为 二维随机变量二维随机变量 的联合分布函数。其中事的联合分布函数。其中事件件 是使是使 和和 同时成立的所有样本点组成同时成立的所有样本点组成的集合。的集合。1）2）对于每个变元，单调不减。即当 时，有 当时 ，有 3），4），1.3 随机变量及其概率分布随机变量及其概率分布v设为二维随机变量设为二维随机变量(X(X，Y)Y)的联合分布函数，如果存在非负的联合分布函数，如果存在非负函数，使对

11、于任意实数函数，使对于任意实数x x，y y，有，有 则称函数为二维随机变量则称函数为二维随机变量(X(X，Y)Y)的联合概率密度函数，简的联合概率密度函数，简称称(X(X，Y)Y)的概率密度函数。的概率密度函数。1）2）3）在 的连续点 处，有 4）设G是xoy平面上的一个区域，随机点(X，Y)落入该平面区域G的概率为1.3 随机变量及其概率分布随机变量及其概率分布v设设 为二维随机变量为二维随机变量(X(X，Y)Y)的分布函数，令的分布函数，令 则称则称 、分别为分别为(X(X，Y)Y)关于关于X X和和Y Y的边缘分布函的边缘分布函数，分别简称为数，分别简称为X X和和Y Y的边缘分布。

12、的边缘分布。v设二维随机变量设二维随机变量(X(X，Y)Y)的分布函数为的分布函数为 ，概率密度函，概率密度函数为数为 ，则有，则有 令令 则分别称则分别称 和和 为为X X和和Y Y的边缘概率密度函数。的边缘概率密度函数。边边缘缘分分布布1.3 随机变量及其概率分布随机变量及其概率分布v设设X X、Y Y为两个随机变量，如果对任意实数为两个随机变量，如果对任意实数x x和和y y，事件，事件 和事件和事件 均相互独立，即均相互独立，即 则称随机变量则称随机变量X X和和Y Y相互独立。相互独立。随机变量X、Y相互独立的充要条件是：这等价于1.3 随机变量及其概率分布随机变量及其概率分布vn

13、n维随机变量维随机变量 的的n n维维(联合联合)分布函数为分布函数为 上式表示上式表示 ，诸事件同时出现的概率。，诸事件同时出现的概率。v设设 为为n n维随机变量维随机变量 的的n n维维(联合联合)分布分布函数，如果存在非负函数函数，如果存在非负函数 ，使对任意实数，使对任意实数 ，有，有 则称函数则称函数 为为n n维随机变量维随机变量 的的n n维维(联合联合)概率密度函数。概率密度函数。1.3 随机变量及其概率分布随机变量及其概率分布v设设 为任意正数，如果极限为任意正数，如果极限 存在，则称此极限为条件存在，则称此极限为条件 下，下，X X的条件分布函数，的条件分布函数，记为记为

14、 或或 。v条件概率分布的概念可以推广到多维随机变量的情况。条件概率分布的概念可以推广到多维随机变量的情况。n n维随机变量维随机变量 在条件在条件 ，下的条件概率密度，下的条件概率密度 为为1.3 随机变量及其概率分布随机变量及其概率分布v（1）一维随机变量函数的分布）一维随机变量函数的分布0 xyxx+dxyy+dy图1.18 随机变量X和Y的单调函数关系1.3 随机变量及其概率分布随机变量及其概率分布v设二维随机变量设二维随机变量 和和 ，当二维随机变量，当二维随机变量 取值取值为为 时，二维随机变量时，二维随机变量 取值为取值为 ，则，则称二维随机变量称二维随机变量 是二维随机变量是二

15、维随机变量 的函数。记的函数。记为为 1.4随机变量的数字特征随机变量的数字特征（1）离散型随机变量的数学期望二项分布 泊松分布 1.4随机变量的数字特征随机变量的数字特征v设连续型随机变量设连续型随机变量 的概率密度为的概率密度为 ，若积分，若积分 绝对收敛，则称它为连续型随机变量绝对收敛，则称它为连续型随机变量 的数的数学学 期望，记为期望，记为 ，即，即 v设随机变量设随机变量 是随机变量是随机变量 的函数的函数 (g g是连续实函数是连续实函数)若若 是连续型随机变量，它的概率密度为是连续型随机变量，它的概率密度为 ，若积分若积分 绝对收敛，则随机变量绝对收敛，则随机变量 的数的数学期

16、望为学期望为 1.4随机变量的数字特征随机变量的数字特征数学期望的性质数学期望的性质1.4随机变量的数字特征随机变量的数字特征 设设 为随机变量，如果为随机变量，如果 存在，则称它为随机变量存在，则称它为随机变量 的方差，记为的方差，记为 ，即，即并称并称 为为 的的标准差。标准差。即即1.4随机变量的数字特征随机变量的数字特征若C为常数，则若是X一随机变量、C是常数，则有 若X、Y是两个相互独立的随机变量，则有 方方差差的的性性质质1.4随机变量的数字特征随机变量的数字特征v设设X X和和Y Y是是随随机机变变量量，k k、n n均均正正整整数数，如如果果 存存在在，称称它它为为随随机机变变

17、量量X X的的k k阶阶原原点点矩矩；如如果果 存存在在，称称它它为为随随机机变变量量X X的的k k阶阶中中心心矩矩；如如果果 存存在在，称称它它为为随随机机变变量量X X和和Y Y的的k k+n n阶阶混混合合矩矩；如如果果 存存在在，称它为随机变量称它为随机变量X X和和Y Y的的k k+n n阶中心混合矩。阶中心混合矩。显然，随机变量的数学期望是它的一阶原点矩，方差是它的二阶中心矩，而均方值则是它的二阶原点矩。1.4随机变量的数字特征随机变量的数字特征v设为设为 二维随机变量，如果二维随机变量，如果X X和和Y Y的二阶中心混合矩存的二阶中心混合矩存在，则称它为在，则称它为X X与与Y

18、 Y之间的协方差，记为之间的协方差，记为 ，即，即 如果如果D(X)D(X)和和D(Y)D(Y)均存在，且均存在，且D(X)D(X)0 0，D(Y)D(Y)0 0，则称，则称 为与之间的相关系数。如果为与之间的相关系数。如果 ，则称，则称X X与与Y Y不（线性）不（线性）相关；如果相关；如果 ，则称，则称X X与与Y Y相关。相关。1.4随机变量的数字特征随机变量的数字特征协方差和相关协方差和相关系数的性质系数的性质1.5随机变量的特征函数随机变量的特征函数v设随机变量设随机变量X X的概率密度函数为的概率密度函数为 ,称称 的数学期望的数学期望 为随机变量的特征函数，记为为随机变量的特征函

19、数，记为 ，即，即 当为离散型随机变量时，其特征函数为当为离散型随机变量时，其特征函数为 当为连续型随机变量时，其特征函数为当为连续型随机变量时，其特征函数为 v我们定义二维随机变量我们定义二维随机变量 的联合特征函数为的联合特征函数为 对于连续型二维随机变量而言，其特征函数为对于连续型二维随机变量而言，其特征函数为1随机变量X的特征函数 满足1.5随机变量的特征函数随机变量的特征函数2随机变量X的特征函数为 ，则(a，b为常数)的特征函数 为3设相互独立的随机变量X1，X2，Xn的特征函数分别为 ，则 的特征函数为 特征函数的性质特征函数的性质特征函数的性质特征函数的性质 1.5随机变量的特

20、征函数随机变量的特征函数 设随机变量设随机变量X X的特征函数为的特征函数为 将上式两端对将上式两端对u u微分，得微分，得 令令 ，得，得 同理得同理得 所以所以 1.6极限定理极限定理当n很大时，随机变量 的算术平均值 接近于数学期望 ，这种接近是概率意义的接近，通俗地说，在定理的条件下，n个随机变量的算术平均，当n无限增加时将几乎变成一个常数了。设 为相互独立的随机变量序列，每个 的方差存在，且存在常数C，使得对一切正整数k，有 ，则对于任意正数 ，有定理表明定理表明切比雪夫定理定理1.6极限定理极限定理当n很大时，事件发生的频率与概率有较大的偏差的可能性很小。在实际应用中，当试验次数很

21、大时，便可以用事件发生的频率来代替事件的概率。设 是n重贝努里试验中事件A发生的次数，P是事件A在每次试验中发生的概率，则对于任意正数 ，有 定理表明定理表明贝努里定理定理1.6极限定理极限定理v中心极限定理中心极限定理中心极限定理是研究大量随机变量和的分布的一组定理。中心极 限定理指出：若有大量相互独立的随机变量的和其中每个随机变量 对总和的随机变量 的影响足够小，则在一定条件下，当 时，随机变量 是服从正态分布的而与每个随机变量 的分布无关。1.7多维正态分布多维正态分布v设设X X是具有均值为、方差为的正态随机变量，是具有均值为、方差为的正态随机变量，Y Y是具有均值是具有均值为、方差为

22、的正态随机变量，且为、方差为的正态随机变量，且X X、Y Y的相关系数为，则二的相关系数为，则二维随机变量维随机变量(X,Y)(X,Y)为一个二维正态随机变量，其联合概率为一个二维正态随机变量，其联合概率密度函数为密度函数为 v如果如果X X、Y Y是两个互不相关的正态随机变量，也就是说，则是两个互不相关的正态随机变量，也就是说，则有有 1.7多维正态分布多维正态分布v二维正态随机变量的特征函数为二维正态随机变量的特征函数为v设设 为为均均值值 、方方差差 为为的的正正态态随随机机变变量量(i i=1,2,=1,2,n n)，则则 为为一一个个n n维维正正态态随随机机变变量量，它它的的n n维维联联合合概率密度函数为概率密度函数为其中其中