第4章波形信源和波形信道(ok)报告.ppt

第第4章章 波形信源和波形信道波形信源和波形信道4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理4.3 4.3 连续信道和波形信道的信道容量连续信道和波形信道的信道容量4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度 实际某些信源的输出常常是时间和取值都是连续的消息。实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源称为随机波形信源。例如语音信号、电视信号。这样的信源称为随机波形信源。1 1、基本概念、基本概念 模拟信源：模拟信源：信源的输出是时间和取值都连续的消息。即输出信源的输出是时间和取值都连续的消息。即输出的消息不仅在时间上，而且在幅度取值上都是连续变化的消息不仅在时间上，而且在幅度取值上都是连续变化的波形信号。也称为随机波形信源。的波形信号。也称为随机波形信源。连续平稳信源：连续平稳信源：若信源输出用平稳的连续型随机序列来描述，若信源输出用平稳的连续型随机序列来描述，则称信源为连续平稳信源。则称信源为连续平稳信源。连续信源：连续信源：用连续型随机变量描述输出消息的信源称为连续用连续型随机变量描述输出消息的信源称为连续信源。信源。2 2、连续信源熵、连续信源熵 基本连续信源的输出是取值连续的单个随机变量，基本连续信源的输出是取值连续的单个随机变量，可用变量的概率密度函数可用变量的概率密度函数 来描述。此时，连续信源来描述。此时，连续信源的数学模型为：的数学模型为：其中，其中，R R是全实数集，是变量是全实数集，是变量X X的取值范围。的取值范围。4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度 一般情况下，上式的第一项是定值，而当一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项，定时，第二项是趋于无限大的常数。所以避开第二项，定义义连续信源的熵连续信源的熵为：为：连续信源熵：连续信源熵：4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度称为差熵称为差熵 由上式可知，所定义的连续信源的熵并不是由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。还要加上一项无限大的常数项。这一点可以这样理解：这一点可以这样理解：因为连续信源的可能取值数是因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。息量也将为无限大。4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度 同理，可以定义两个连续变量同理，可以定义两个连续变量X、Y的联合差熵和条件差熵，的联合差熵和条件差熵，即即4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度 它们之间也有与离散信源一样的相互关系，并它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息：且可以得到有信息特征的互信息：这样定义的熵虽然形式上和离散信源的熵相似，这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。的特性。4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度3 3、各种差熵之间的关系、各种差熵之间的关系(1)h(X(1)h(X2 2)h(x)h(x2 2|x|x1 1)(2)h(X(2)h(X1 1X X2 2)=h(X)=h(X2 2X X1 1)=h(X)=h(X1 1)+h(X)+h(X2 2|x|x1 1)=h(X)=h(X2 2)+h(X)+h(X1 1|x|x2 2)(3)h(X)=h(X(3)h(X)=h(X1 1X X2 2X XN N)=)=h(Xh(X1 1)+h(X)+h(X2 2|x|x1 1)+h(X)+h(XN N|X|X1 1X X2 2X XN N)(4)h(X)(4)h(X)4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度1、差熵的性质、差熵的性质（1 1）可加性可加性 任意两个相互关联的连续信源任意两个相互关联的连续信源X X和和Y Y，有，有h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y)h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y)（2 2）上凸性上凸性 差熵差熵h(X)h(X)是概率密度函数的上凸函数。即对任意概是概率密度函数的上凸函数。即对任意概率密度函数率密度函数p p1 1(x)(x)和和p p2 2(x)(x)，及任意，及任意0 01 1有：有：hphp1 1(x)+(1-)p(x)+(1-)p2 2(x)h(p(x)h(p1 1(x)+(1-)h(p(x)+(1-)h(p2 2(x)(x)（3 3）差熵可为负值差熵可为负值，不存在非负性。，不存在非负性。4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理（4 4）极值性）极值性 连续信源的差熵存在极大值，但与离散信连续信源的差熵存在极大值，但与离散信源不同的是，其在不同的限制条件下，信源源不同的是，其在不同的限制条件下，信源的最大熵是不同的。的最大熵是不同的。（5 5）变换性）变换性 连续信源输出的随机变量（或随机矢量）连续信源输出的随机变量（或随机矢量）通过确定的一一对应变换，其差熵发生变化。通过确定的一一对应变换，其差熵发生变化。但对于离散信源来说，其信息熵是不变的。但对于离散信源来说，其信息熵是不变的。4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理2 2、最大熵定理（具有最大差熵的连续信源）、最大熵定理（具有最大差熵的连续信源）求连续信源的差熵的最大值，一般是在特定约求连续信源的差熵的最大值，一般是在特定约束条件下的值，常用的有两种情况：束条件下的值，常用的有两种情况：（1 1）峰值功率受限条件下信源的最大熵）峰值功率受限条件下信源的最大熵 定理：若信源输出的幅度被限定在定理：若信源输出的幅度被限定在a,ba,b区域内，区域内，则当输出信号的概率密度是均匀分布时，信源具有则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于最大熵。其值等于log(b-a)log(b-a)。4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理（2 2）平均功率受限条件下信源的最大熵）平均功率受限条件下信源的最大熵 定理：若一个连续信源输出符号的平均功率被定理：若一个连续信源输出符号的平均功率被限定为限定为P P（这里是指的交流功率，即方差（这里是指的交流功率，即方差 ），），则其输出信号幅度的概率密度分布是高斯分布时，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为信源有最大的熵，其值为 。4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理4.34.3连续信道和波形信道的信道容量连续信道和波形信道的信道容量1 1、基本概念、基本概念连续信道连续信道：信道输入：信道输入/输出都是取值连续的输出都是取值连续的随机变量。随机变量。波形信道波形信道：信道的输入和输出都是随机模拟信号时，称此信：信道的输入和输出都是随机模拟信号时，称此信道为道为波形信道波形信道，又称模拟信道。，又称模拟信道。高斯白噪声：高斯白噪声：瞬时值的概率密度函数服从高斯分布而功率谱瞬时值的概率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声。密度又是均匀分布的噪声。高斯白噪声信道高斯白噪声信道：若信道中的噪声：若信道中的噪声n(t)n(t)是高斯分布的白噪是高斯分布的白噪声。声。加性信道：加性信道：信道中噪声对信号的干扰作用表现为与信号相加信道中噪声对信号的干扰作用表现为与信号相加的形式，则此信道为加性信道的形式，则此信道为加性信道。2.2.高斯加性波形信道的信道容量高斯加性波形信道的信道容量o1 1、限带高斯白噪声加性波形信道、限带高斯白噪声加性波形信道 信道的输入和输出信号是随机过程信道的输入和输出信号是随机过程x(t)x(t)和和y(t)y(t)，而加入信道的噪声是加性高斯白噪声而加入信道的噪声是加性高斯白噪声n(t)n(t)（其均值（其均值为零，功率谱密度为为零，功率谱密度为 ，输出信号满足，输出信号满足y(t)=x(t)+n(t)y(t)=x(t)+n(t)噪声n输入Y输入X 信道+4.34.3连续信道和波形信道的信道容量连续信道和波形信道的信道容量2.2.高斯加性波形信道的信道容量高斯加性波形信道的信道容量 波形信道可以分解成波形信道可以分解成N N维统计独立得随机序列，每个分量维统计独立得随机序列，每个分量均值为均值为0 0，方差为，方差为 每个信号样本值的平均功率为每个信号样本值的平均功率为在在0,T0,T时刻内，信道的信道容量为时刻内，信道的信道容量为要达到这个信道容量要求输入要达到这个信道容量要求输入N N维随机序列维随机序列X X中每一分量中每一分量XiXi都是均值为零，方差为都是均值为零，方差为PsPs，彼此统计独立的高斯变量。，彼此统计独立的高斯变量。高斯白噪声加性信道的单位时间的信道容量高斯白噪声加性信道的单位时间的信道容量其中其中PsPs是信号的平均功率，是信号的平均功率，为高斯白噪声在带宽为高斯白噪声在带宽W W内的平均功率。可见，信道容量与信噪功率比和带宽有关。内的平均功率。可见，信道容量与信噪功率比和带宽有关。2.2.高斯加性波形信道的信道容量高斯加性波形信道的信道容量4.3 4.3 连续信道和波形信道的信道容量连续信道和波形信道的信道容量o【例例1】已知彩色电视图像由已知彩色电视图像由5 510105 5个像素组成。设每个像素组成。设每个像素有个像素有6464种彩色度，每种彩色度有种彩色度，每种彩色度有1616个亮度等级。设个亮度等级。设所有彩色度和亮度等级的组合机会均等，并统计独立。所有彩色度和亮度等级的组合机会均等，并统计独立。(1)(1)试计算每秒传送试计算每秒传送100100个画面所需的信道容量；个画面所需的信道容量；(2)(2)如如果接收机信噪比为果接收机信噪比为30dB30dB，为了传送彩色图像所需信道带，为了传送彩色图像所需信道带宽为多少宽为多少?o解：解：(1)(1)信息像素信息像素=log=log2 2(64(6416)=10b16)=10bo 信息每幅图信息每幅图=10=105 510105 5=5=510106 6b bo 信息速率信息速率R=100R=1005 510106 6=5=510108 8b bs so因为因为R R必须小于或等于必须小于或等于C C，所以信道容量，所以信道容量 CR=5CR=510108 8 b bs s例题例题4.5 4.5 信道容量信道容量2）【例例2 2】某一待传输的图片约含某一待传输的图片约含2.25X102.25X106 6个像元，为了很好个像元，为了很好的重现图片，需要的重现图片，需要1212个亮度电平，假若所有这些亮度电个亮度电平，假若所有这些亮度电平等概率出现，试计算用平等概率出现，试计算用3min3min传送一张图片时所需的信传送一张图片时所需的信道带宽。（设信道中信噪功率比为道带宽。（设信道中信噪功率比为30dB30dB）【例例3 3】已知某标准音频线路带宽为已知某标准音频线路带宽为3.4KHz3.4KHz。（1 1）设要求信道的）设要求信道的S/N=30dBS/N=30dB，试求这时的信道容量是多，试求这时的信道容量是多少？少？（2 2）设线路上的最大信息传输速率为）设线路上的最大信息传输速率为4800b/s4800b/s，试求所需，试求所需最小信噪比为多少？最小信噪比为多少？【例例4 4】有一信息量为有一信息量为1Mb1Mb的消息，需在某信道上传输，设的消息，需在某信道上传输，设信道带宽为信道带宽为4KHz4KHz，接收端要求信噪比为，接收端要求信噪比为30dB30dB，问传送这，问传送这一消息需用多少时间？一消息需用多少时间？4.5 4.5 信道容量信道容量图像处理相关概念o采样：采样：就是将一副连续图像在空间上分割成就是将一副连续图像在空间上分割成MXN个网格，每个网格中的模拟图像均值作为个网格，每个网格中的模拟图像均值作为该网格的亮度值。每个网格称为像素或像元。该网格的亮度值。每个网格称为像素或像元。o量化量化：将采样后亮度值在某个幅度区间连续分：将采样后亮度值在某个幅度区间连续分布，转换成单个数码的过程。量化后的像素点布，转换成单个数码的过程。量化后的像素点整数值叫图像灰度值。整数值叫图像灰度值。