第4章波形信源和波形信道报告优秀PPT.ppt

第第4章章 波形信源和波形信道波形信源和波形信道4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理4.3 4.3 连续信道和波形信道的信道容量连续信道和波形信道的信道容量4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度 实际某些信源的输出常常是时间和取值都是连续的消息。实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源称为随机波形信源。例如语音信号、电视信号。这样的信源称为随机波形信源。1 1、基本概念、基本概念 模拟信源：信源的输出是时间和取值都连续的消息。即输出模拟信源：信源的输出是时间和取值都连续的消息。即输出的消息不仅在时间上，而且在幅度取值上都是连续变更的消息不仅在时间上，而且在幅度取值上都是连续变更的波形信号。也称为随机波形信源。的波形信号。也称为随机波形信源。连续平稳信源：若信源输出用平稳的连续型随机序列来描述，连续平稳信源：若信源输出用平稳的连续型随机序列来描述，则称信源为连续平稳信源。则称信源为连续平稳信源。连续信源：用连续型随机变量描述输出消息的信源称为连续连续信源：用连续型随机变量描述输出消息的信源称为连续信源。信源。2 2、连续信源熵、连续信源熵 基本连续信源的输出是取值连续的单个随机变量，基本连续信源的输出是取值连续的单个随机变量，可用变量的概率密度函数可用变量的概率密度函数 来描述。此时，连续信源来描述。此时，连续信源的数学模型为：的数学模型为：其中，其中，R R是全实数集，是变量是全实数集，是变量X X的取值范围。的取值范围。4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度 一般状况下，上式的第一项是定值，而当一般状况下，上式的第一项是定值，而当 时，其次项是趋于无限大的常数。所以避开其次项，定时，其次项是趋于无限大的常数。所以避开其次项，定义连续信源的熵为：义连续信源的熵为：连续信源熵：连续信源熵：4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度称为差熵称为差熵 由上式可知，所定义的连续信源的熵并不由上式可知，所定义的连续信源的熵并不是是实际信源输出的确定熵，连续信源的确定熵应实际信源输出的确定熵，连续信源的确定熵应当当还要加上一项无限大的常数项。还要加上一项无限大的常数项。这一点可以这样理解：因为连续信源的可能取这一点可以这样理解：因为连续信源的可能取值数是值数是无限多个，若设取值是等概分布，那么信源的无限多个，若设取值是等概分布，那么信源的不确定不确定性为无限大。当确知信源输出为某值后，所获性为无限大。当确知信源输出为某值后，所获得的信得的信息量也将为无限大。息量也将为无限大。4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度 同理，可以定义两个连续变量同理，可以定义两个连续变量X、Y的联合差熵和条件差熵，的联合差熵和条件差熵，即即4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度 它们之间也有与离散信源一样的相互关系，并它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息：且可以得到有信息特征的互信息：这样定义的熵虽然形式上和离散信源的熵相像，这样定义的熵虽然形式上和离散信源的熵相像，但在概念上不能把它作为信息熵来理解。连续信源的但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丢失了某些重要差熵值具有熵的部分含义和性质，而丢失了某些重要的特性。的特性。4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度3 3、各种差熵之间的关系、各种差熵之间的关系(1)h(X(1)h(X2 2)h(x)h(x2 2|x|x1 1)(2)h(X(2)h(X1 1X X2 2)=h(X)=h(X2 2X X1 1)=h(X)=h(X1 1)+h(X)+h(X2 2|x|x1 1)=h(X)=h(X2 2)+h(X)+h(X1 1|x|x2 2)(3)h(X)=h(X(3)h(X)=h(X1 1X X2 2X XN N)=)=h(Xh(X1 1)+h(X)+h(X2 2|x|x1 1)+h(X)+h(XN N|X|X1 1X X2 2X XN N)(4)h(X)(4)h(X)4.1 4.1 连续信源及波形信源的信息测度连续信源及波形信源的信息测度1、差熵的性质、差熵的性质（1 1）可加性）可加性 随意两个相互关联的连续信源随意两个相互关联的连续信源X X和和Y Y，有，有h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y)h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y)（2 2）上凸性）上凸性 差熵差熵h(X)h(X)是概率密度函数的上凸函数。即对随意概是概率密度函数的上凸函数。即对随意概率密度函数率密度函数p1(x)p1(x)和和p2(x)p2(x)，及随意，及随意0 01 1有：有：hp1(x)+(1-)p2(x)h(p1(x)+(1-hp1(x)+(1-)p2(x)h(p1(x)+(1-)h(p2(x)h(p2(x)（3 3）差熵可为负值，不存在非负性。）差熵可为负值，不存在非负性。4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理（4 4）极值性）极值性 连续信源的差熵存在极大值，但与离散信连续信源的差熵存在极大值，但与离散信源不同的是，其在不同的限制条件下，信源源不同的是，其在不同的限制条件下，信源的最大熵是不同的。的最大熵是不同的。（5 5）变换性）变换性 连续信源输出的随机变量（或随机矢量）连续信源输出的随机变量（或随机矢量）通过确定的一一对应变换，其差熵发生变更。通过确定的一一对应变换，其差熵发生变更。但对于离散信源来说，其信息熵是不变的。但对于离散信源来说，其信息熵是不变的。4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理2 2、最大熵定理（具有最大差熵的连续信源）、最大熵定理（具有最大差熵的连续信源）求连续信源的差熵的最大值，一般是在特定约求连续信源的差熵的最大值，一般是在特定约束条件下的值，常用的有两种状况：束条件下的值，常用的有两种状况：（1 1）峰值功率受限条件下信源的最大熵）峰值功率受限条件下信源的最大熵 定理：若信源输出的幅度被限定在定理：若信源输出的幅度被限定在a,ba,b区域内，区域内，则当输出信号的概率密度是匀整分布时，信源具有则当输出信号的概率密度是匀整分布时，信源具有最大熵。其值等于最大熵。其值等于log(b-a)log(b-a)。4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理（2 2）平均功率受限条件下信源的最大熵）平均功率受限条件下信源的最大熵 定理：若一个连续信源输出符号的平均功率被定理：若一个连续信源输出符号的平均功率被限定为限定为P P（这里是指的沟通功率，即方差（这里是指的沟通功率，即方差 ），），则其输出信号幅度的概率密度分布是高斯分布时，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为信源有最大的熵，其值为 。4.2 4.2 连续信源熵的性质及最大熵定理连续信源熵的性质及最大熵定理4.34.3连续信道和波形信道的信道容量连续信道和波形信道的信道容量1 1、基本概念、基本概念连续信道：信道输入连续信道：信道输入/输出都是取值连续的随机变量。输出都是取值连续的随机变量。波形信道：信道的输入和输出都是随机模拟信号时，称此信波形信道：信道的输入和输出都是随机模拟信号时，称此信道为波形信道，又称模拟信道。道为波形信道，又称模拟信道。高斯白噪声：瞬时值的概率密度函数听从高斯分布而功率谱高斯白噪声：瞬时值的概率密度函数听从高斯分布而功率谱密度又是匀整分布的噪声。密度又是匀整分布的噪声。高斯白噪声信道：若信道中的噪声高斯白噪声信道：若信道中的噪声n(t)n(t)是高斯分布的白噪是高斯分布的白噪声。声。加性信道：信道中噪声对信号的干扰作用表现为与信号相加加性信道：信道中噪声对信号的干扰作用表现为与信号相加的形式，则此信道为加性信道。的形式，则此信道为加性信道。2.2.高斯加性波形信道的信道容量高斯加性波形信道的信道容量o1 1、限带高斯白噪声加性波形信道、限带高斯白噪声加性波形信道o 信道的输入和输出信号是随机过程信道的输入和输出信号是随机过程x(t)x(t)和和y(t)y(t)，而加入信道的噪声是加性高斯白噪声，而加入信道的噪声是加性高斯白噪声n(t)n(t)（其均（其均值为零，功率谱密度为值为零，功率谱密度为 ，输出信号满足，输出信号满足y(t)=x(t)+n(t)y(t)=x(t)+n(t)噪声n输入Y输入X 信道+4.34.3连续信道和波形信道的信道容量连续信道和波形信道的信道容量2.2.高斯加性波形信道的信道容量高斯加性波形信道的信道容量 波形信道可以分解成波形信道可以分解成N N维统计独立得随机序列，每个重量维统计独立得随机序列，每个重量均值为均值为0 0，方差为，方差为 每个信号样本值的平均功率为每个信号样本值的平均功率为在在0,T0,T时刻内，信道的信道容量为时刻内，信道的信道容量为要达到这个信道容量要求输入要达到这个信道容量要求输入N N维随机序列维随机序列X X中每一重量中每一重量XiXi都是均值为零，方差为都是均值为零，方差为PsPs，彼此统计独立的高斯变量。，彼此统计独立的高斯变量。高斯白噪声加性信道的单位时间的信道容量高斯白噪声加性信道的单位时间的信道容量其中其中PsPs是信号的平均功率，是信号的平均功率，为高斯白噪声在带宽为高斯白噪声在带宽W W内的平均功率。可见，信道容量与信噪功率比和带宽有关。内的平均功率。可见，信道容量与信噪功率比和带宽有关。2.2.高斯加性波形信道的信道容量高斯加性波形信道的信道容量4.3 4.3 连续信道和波形信道的信道容量连续信道和波形信道的信道容量o【例【例1】已知彩色电视图像由】已知彩色电视图像由5105个像素组成。设个像素组成。设每个像素有每个像素有64种彩色度，每种彩色度有种彩色度，每种彩色度有16个亮度等级。个亮度等级。设全部彩色度和亮度等级的组合机会均等，并统计独立。设全部彩色度和亮度等级的组合机会均等，并统计独立。(1)试计算每秒传送试计算每秒传送100个画面所需的信道容量；个画面所需的信道容量；(2)假如接收机信噪比为假如接收机信噪比为30dB，为了传送彩色图像所需信，为了传送彩色图像所需信道带宽为多少道带宽为多少?o解：解：(1)信息像素信息像素=log2(6416)=10bo 信息每幅图信息每幅图=105105=5106bo 信息速率信息速率R=1005106=5108bso因为因为R必需小于或等于必需小于或等于C，所以信道容量，所以信道容量 CR=5108 bs例题例题4.5 4.5 信道容量信道容量2）【例【例2 2】某一待传输的图片约含】某一待传输的图片约含2.25X1062.25X106个像元，为了很好个像元，为了很好的重现图片，须要的重现图片，须要1212个亮度电平，假如全部这些亮度电个亮度电平，假如全部这些亮度电同等概率出现，试计算用同等概率出现，试计算用3min3min传送一张图片时所需的信传送一张图片时所需的信道带宽。（设信道中信噪功率比为道带宽。（设信道中信噪功率比为30dB30dB）【例【例3 3】已知某标准音频线路带宽为】已知某标准音频线路带宽为3.4KHz3.4KHz。（1 1）设要求信道的）设要求信道的S/N=30dBS/N=30dB，试求这时的信道容量是多，试求这时的信道容量是多少？少？（2 2）设线路上的最大信息传输速率为）设线路上的最大信息传输速率为4800b/s4800b/s，试求所需，试求所需最小信噪比为多少？最小信噪比为多少？【例【例4 4】有一信息量为】有一信息量为1Mb1Mb的消息，需在某信道上传输，设的消息，需在某信道上传输，设信道带宽为信道带宽为4KHz4KHz，接收端要求信噪比为，接收端要求信噪比为30dB30dB，问传送这，问传送这一消息需用多少时间？一消息需用多少时间？4.5 4.5 信道容量信道容量图像处理相关概念o采样：采样：就是将一副连续图像在空间上分割成就是将一副连续图像在空间上分割成MXN个网格，每个网格中的模拟图像均值作为个网格，每个网格中的模拟图像均值作为该网格的亮度值。每个网格称为像素或像元。该网格的亮度值。每个网格称为像素或像元。o量化量化：将采样后亮度值在某个幅度区间连续分：将采样后亮度值在某个幅度区间连续分布，转换成单个数码的过程。量化后的像素点布，转换成单个数码的过程。量化后的像素点整数值叫图像灰度值。整数值叫图像灰度值。