信息论第七章PPT讲稿.ppt

《信息论第七章PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论第七章PPT讲稿.ppt（50页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论第七章信息论第七章第1页，共50页，编辑于2022年，星期四第七章第七章 保真度准则下的信源编码保真度准则下的信源编码 7.1 7.1 失真度和平均失真度失真度和平均失真度 7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质 7.3 7.3 二元信源和离散对称信源的二元信源和离散对称信源的 R(D)R(D)函数函数 7.6 7.6 连续信源的信息率失真函数连续信源的信息率失真函数7.7 7.7 保真度准则下信源编码定理保真度准则下信源编码定理第2页，共50页，编辑于2022年，星期四 总可以找到一种输入分布（信源编码方法），使在总可以找到一种输入分布（信源编码方法），使在总可以

2、找到一种输入分布（信源编码方法），使在总可以找到一种输入分布（信源编码方法），使在无无无无噪无损信道噪无损信道噪无损信道噪无损信道上，能够上，能够上，能够上，能够以信道容量以信道容量以信道容量以信道容量C C无误无误无误无误地传输信息。地传输信息。地传输信息。地传输信息。信信信信源源源源编编编编码码码码无噪无损信道无噪无损信道无噪无损信道无噪无损信道R R=C C;P PE E=0=0最佳分布最佳分布最佳分布最佳分布消息消息消息消息压缩冗余压缩冗余度度最好地最好地利用利用 C Cu 无噪信道编码定理回顾无噪信道编码定理回顾 第3页，共50页，编辑于2022年，星期四 只要只要只要只要RCRC，

3、总可以找到一种信道编码方法，使在信，总可以找到一种信道编码方法，使在信，总可以找到一种信道编码方法，使在信，总可以找到一种信道编码方法，使在信道上能够道上能够道上能够道上能够以尽可能小的以尽可能小的以尽可能小的以尽可能小的 P PE E 传输信息。传输信息。传输信息。传输信息。u 有噪信道编码定理回顾有噪信道编码定理回顾 信信信信源源源源编编编编码码码码消息消息消息消息信道信道信道信道R C;PE=信信信信道道道道编编编编码码码码增加冗余度，最好地增加冗余度，最好地匹配匹配信道特性信道特性第4页，共50页，编辑于2022年，星期四 对于连续和模拟信源对于连续和模拟信源 H(s)=l l 信道传

4、输率信道传输率信道传输率信道传输率R R=H H(s s)/)/n n（比特（比特（比特（比特/码符号）码符号）码符号）码符号）R R=l l 平均码长平均码长平均码长平均码长 l l=HHr r(s s)=)=HH(s s)/log)/logr r,l l=实际上实际上,因为因为Bw有限有限,C 一定有限一定有限,RC,及及l=均均不可能不可能.u 存在问题存在问题 第5页，共50页，编辑于2022年，星期四l 信宿对真实度的要求：信宿对真实度的要求：l l 实际语音信号：实际语音信号：实际语音信号：实际语音信号：20Hz8KHz20Hz8KHz 人耳能够分辨：人耳能够分辨：人耳能够分辨：人

5、耳能够分辨：300Hz3400Hz300Hz3400Hz l l 图象色差：可达足够多图象色差：可达足够多图象色差：可达足够多图象色差：可达足够多 视觉分辨：视觉分辨：视觉分辨：视觉分辨：256256级级级级（黑白）已足够（黑白）已足够（黑白）已足够（黑白）已足够u 实际需求特点实际需求特点 l 可以允许一定的失真度可以允许一定的失真度l l 完全保真完全保真完全保真完全保真没必要没必要没必要没必要第6页，共50页，编辑于2022年，星期四l 限失真的信源编码问题限失真的信源编码问题l l 允许一定的失真度下，能将信源信息压缩到什么允许一定的失真度下，能将信源信息压缩到什么允许一定的失真度下，

6、能将信源信息压缩到什么允许一定的失真度下，能将信源信息压缩到什么程度？（最少需要多少比特才能在收端描述信源程度？（最少需要多少比特才能在收端描述信源程度？（最少需要多少比特才能在收端描述信源程度？（最少需要多少比特才能在收端描述信源？）？）？）？）l l 一定的信息传输率一定的信息传输率一定的信息传输率一定的信息传输率R R下，允许的最大失真是多少下，允许的最大失真是多少下，允许的最大失真是多少下，允许的最大失真是多少？u 引出的研究内容引出的研究内容 l 相关问题相关问题l l 失真如何度量？失真如何度量？失真如何度量？失真如何度量？l l 率失真函数如何计算？率失真函数如何计算？率失真函数

7、如何计算？率失真函数如何计算？第7页，共50页，编辑于2022年，星期四7.1 7.1 失真度和平均失真度失真度和平均失真度 7.1.1 7.1.1 失真度失真度 7.1.2 7.1.2 平均失真度平均失真度 7.1.37.1.3 保真度准则保真度准则第8页，共50页，编辑于2022年，星期四7.1.1 7.1.1 失真度失真度 l l方法方法抽象：将与讨论重点关系小的部分抽象抽象：将与讨论重点关系小的部分抽象l l 涉及信源编码涉及信源编码,对信道进行抽象对信道进行抽象l l 信道编码信道编码信道信道信道译码信道译码 广义无扰信道广义无扰信道*l l 广义无扰信道广义无扰信道*可以略去可以略

8、去 信道*是一个没有干扰的广义信道，信宿收到信息的失真只来自于信源编码.第9页，共50页，编辑于2022年，星期四信源信源信源信源编码编码编码编码信道信道信道信道编码编码编码编码信道信道信道信道信道信道信道信道译码译码译码译码信源信源信源信源译码译码译码译码信源信源信源信源信宿信宿信宿信宿广义无扰信道广义无扰信道广义无扰信道广义无扰信道*信源信源信源信源编码编码编码编码信源信源信源信源译码译码译码译码信源信源信源信源信宿信宿信宿信宿第10页，共50页，编辑于2022年，星期四l l方法方法虚拟：将讨论重点虚拟细化虚拟：将讨论重点虚拟细化l l 将限失真信源的编译码过程虚拟将限失真信源的编译码过

9、程虚拟l l 信源编码信源编码广义无扰信道广义无扰信道信源译码信源译码 试验信道试验信道l l 可以用信道传递概率来描述限失真信可以用信道传递概率来描述限失真信 源编译码前后的关系源编译码前后的关系 数据压缩视为消息通过信道数据压缩视为消息通过信道,编码失真编码失真 视为信道噪声视为信道噪声.7.1.1 7.1.1 失真度失真度 第11页，共50页，编辑于2022年，星期四信源编信源编信源编信源编码码码码信道编信道编信道编信道编码码码码信道信道信道信道信道译信道译信道译信道译码码码码信源译信源译信源译信源译码码码码信源信源信源信源信宿信宿信宿信宿信源编信源编信源编信源编码码码码广义无扰信道广义

10、无扰信道广义无扰信道广义无扰信道*信源译信源译信源译信源译码码码码信源信源信源信源信宿信宿信宿信宿信源信源信源信源信宿信宿信宿信宿试验信道试验信道试验信道试验信道UVP(V|U)第12页，共50页，编辑于2022年，星期四l l失真度定义失真度定义信源变量信源变量 信源分布信源分布经信道传输后经信道传输后,输出序列输出序列 用一个用一个非负函数非负函数 d(ui,vj)表示信源发出符表示信源发出符号号ui,接收符号接收符号vj的失真度的定量描述的失真度的定量描述.7.1.1 7.1.1 失真度失真度 第13页，共50页，编辑于2022年，星期四失真函数失真函数 d(ui,vj)有有rs个个,可

11、排成矩阵形式可排成矩阵形式 l l失真度定义失真度定义7.1.1 7.1.1 失真度失真度 第14页，共50页，编辑于2022年，星期四失真函数失真函数 d(ui,vj)有有距离距离的概念的概念 l l失真度性质失真度性质性质性质1：时时,d=0 性质性质2：最小距离最小距离 d=0 性质性质3：7.1.1 7.1.1 失真度失真度 第15页，共50页，编辑于2022年，星期四 失真函数失真函数 d(ui,vj)可以可以各式各样各式各样,应尽可应尽可能符合信宿的主观特性能符合信宿的主观特性,即主观上的失真感觉即主观上的失真感觉应与应与d(ui,vj)的值相对应的值相对应.d 越大所感觉的失越大

12、所感觉的失真也越大真也越大,而且最好成正比而且最好成正比.l l失真度函数的取值原则失真度函数的取值原则7.1.1 7.1.1 失真度失真度 第16页，共50页，编辑于2022年，星期四均方失真：均方失真：l l常用的失真函数常用的失真函数适用于适用于连续信源连续信源及及离散信源离散信源,特别是表示信特别是表示信源输出符号的幅度值源输出符号的幅度值.绝对失真：绝对失真：适用信源同上适用信源同上相对失真：相对失真：相对失真与主观特性比较相对失真与主观特性比较匹配匹配,但数学处理但数学处理较繁琐较繁琐.7.1.1 7.1.1 失真度失真度 第17页，共50页，编辑于2022年，星期四误码失真：误码

13、失真：l l常用的失真函数常用的失真函数适用于适用于离散信源离散信源.7.1.1 7.1.1 失真度失真度 第18页，共50页，编辑于2022年，星期四例例1：离散对称信源离散对称信源(r=s).信源变量信源变量 接收变量接收变量 定义单个符号失真度定义单个符号失真度解：解：失真函数矩阵失真函数矩阵7.1.1 7.1.1 失真度失真度 第19页，共50页，编辑于2022年，星期四解：解：失真函数矩阵失真函数矩阵当再现的接收符号与发送符号相同时当再现的接收符号与发送符号相同时,就就不存不存在失真错误在失真错误,所以失真度所以失真度 不同时就不同时就有失真存在有失真存在,认为引起的失真都相同认为引

14、起的失真都相同,取取常数为常数为1.这种失真称为这种失真称为汉明失真汉明失真.汉明失真矩阵汉明失真矩阵D为方阵为方阵,且且对角线上的元素为对角线上的元素为0.7.1.1 7.1.1 失真度失真度 第20页，共50页，编辑于2022年，星期四例例2：删除信源删除信源(s=r+1).信源变量信源变量 接收变量接收变量 定义单个符号失真度定义单个符号失真度解：解：失真函数矩阵失真函数矩阵7.1.1 7.1.1 失真度失真度 第21页，共50页，编辑于2022年，星期四解：解：失真函数矩阵失真函数矩阵接收符号接收符号 作为删除符号作为删除符号.若把信源符号再若把信源符号再现为删除符号现为删除符号 要比

15、再现为其他接收符号的要比再现为其他接收符号的失真程度少一半失真程度少一半.7.1.1 7.1.1 失真度失真度 第22页，共50页，编辑于2022年，星期四 小小 结结 一般情况下根据实际信源的失真一般情况下根据实际信源的失真,可以定可以定义不同的失真和误差义不同的失真和误差;按主观感觉上的差别大小定义失真度按主观感觉上的差别大小定义失真度;可按引起的损失、风险等定义失真度可按引起的损失、风险等定义失真度.第23页，共50页，编辑于2022年，星期四7.1.2 7.1.2 平均失真度平均失真度 定义定义失真函数的数学期望失真函数的数学期望为平均失真度为平均失真度.只能表示两个特定的具体符号只能

16、表示两个特定的具体符号 与与 之间的失真之间的失真.为表示信道对信源平均为表示信道对信源平均每符号的失真大小每符号的失真大小,需要引入平均失真度需要引入平均失真度.l l平均失真度平均失真度第24页，共50页，编辑于2022年，星期四 定义定义失真函数的数学期望失真函数的数学期望为平均失真度为平均失真度.l l平均失真度平均失真度 是描述某信源在某信道传输是描述某信源在某信道传输(编码编码)下的下的失真大小失真大小,是从是从整体上整体上描述某个系统的描述某个系统的失真情失真情况况.7.1.2 7.1.2 平均失真度平均失真度 第25页，共50页，编辑于2022年，星期四l l信源序列的平均失真

17、度信源序列的平均失真度信源输出符号序列信源输出符号序列 其中其中,随机变量随机变量 取自于同一符号集取自于同一符号集 输入符号序列输入符号序列 共有共有 个个.接收端符号序列接收端符号序列 其中其中,随机变量随机变量 取自于同一符号集取自于同一符号集 输出符号序列输出符号序列 共有共有 个个.设输入设输入输出输出7.1.2 7.1.2 平均失真度平均失真度 第26页，共50页，编辑于2022年，星期四l l信源序列的平均失真度信源序列的平均失真度信源序列的失真度等于序列中对应单个信源符号失真信源序列的失真度等于序列中对应单个信源符号失真信源序列的失真度等于序列中对应单个信源符号失真信源序列的失

18、真度等于序列中对应单个信源符号失真度之和。度之和。度之和。度之和。7.1.2 7.1.2 平均失真度平均失真度 第27页，共50页，编辑于2022年，星期四l lN维信源序列的平均失真度维信源序列的平均失真度7.1.2 7.1.2 平均失真度平均失真度 第28页，共50页，编辑于2022年，星期四l lN维信源序列单个符号的平均失真度维信源序列单个符号的平均失真度当信源和信道都无记忆时当信源和信道都无记忆时当信源和信道都无记忆时当信源和信道都无记忆时第第第第l l 个分量的平均失真度个分量的平均失真度个分量的平均失真度个分量的平均失真度当离散信源是平稳信源当离散信源是平稳信源当离散信源是平稳信

19、源当离散信源是平稳信源 离散无记忆平稳信源通过无记忆试验信道，序列的平离散无记忆平稳信源通过无记忆试验信道，序列的平离散无记忆平稳信源通过无记忆试验信道，序列的平离散无记忆平稳信源通过无记忆试验信道，序列的平均失真度等于单个符号平均失真度的均失真度等于单个符号平均失真度的均失真度等于单个符号平均失真度的均失真度等于单个符号平均失真度的N N倍。倍。倍。倍。7.1.2 7.1.2 平均失真度平均失真度 第29页，共50页，编辑于2022年，星期四7.1.3 7.1.3 保真度准则保真度准则 （1 1）若平均失真度）若平均失真度 不大于所允许的失真不大于所允许的失真D，即，即 ，称此为，称此为保真

20、度准则保真度准则。（2 2）对于）对于N维信源序列，保真度准则为维信源序列，保真度准则为（3 3）当信源固定（）当信源固定（p(u)给定），单个符号失真度固给定），单个符号失真度固定（定（给定）时，选择不同的信道，相当于不给定）时，选择不同的信道，相当于不同的编码方法，所得到的平均失真度同的编码方法，所得到的平均失真度 不同。有些不同。有些信道满足信道满足 ，另一些，另一些 。把满足。把满足D失真许可信失真许可信道组成一个集合道组成一个集合BD，第30页，共50页，编辑于2022年，星期四7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质 7.2.1 7.2.1 信息率失真函数信息率

21、失真函数7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 第31页，共50页，编辑于2022年，星期四7.2.1 7.2.1 信息率失真函数信息率失真函数 1.1.已知已知：与失真函数与失真函数 、信源分布、信源分布 和信和信道传输函数道传输函数 有关。当有关。当 和和 给定后给定后,不同的不同的 将决定了不同的将决定了不同的 。2.2.在保真度准则条件下：在保真度准则条件下：存在信道满足的集合存在信道满足的集合 。3.3.信道的互信息信道的互信息 是信道传递函数是信道传递函数 的的U型凸函数，因此某一信道型凸函数，因此某一信道 使使 取极小值取极小值4.4.4.4.定义满足失

22、真条件下信源必须传输的最小平均信息量为定义满足失真条件下信源必须传输的最小平均信息量为定义满足失真条件下信源必须传输的最小平均信息量为定义满足失真条件下信源必须传输的最小平均信息量为信息率失真函数信息率失真函数信息率失真函数信息率失真函数，或称，或称，或称，或称率失真函数率失真函数率失真函数率失真函数。第32页，共50页，编辑于2022年，星期四7.2.1 7.2.1 信息率失真函数信息率失真函数 离散无记忆平稳信源情况下离散无记忆平稳信源情况下离散无记忆平稳信源情况下离散无记忆平稳信源情况下 物理意义物理意义物理意义物理意义 并不是实际的并不是实际的信道信道,而是而是有失真信源编码有失真信源

23、编码或或信源压缩的处理信源压缩的处理.进而可求出平均互信息的最小值进而可求出平均互信息的最小值.即改变编码方法使平均互信息最小即改变编码方法使平均互信息最小,实质上是实质上是选择选择一种编码方法使信息传输率最小一种编码方法使信息传输率最小.是信源特性参数是信源特性参数,与试验信道的选择无关与试验信道的选择无关.反映了信源可以压缩的程度反映了信源可以压缩的程度,是在满足一定失真度是在满足一定失真度 ()()要求下要求下,信源可压缩的最低值信源可压缩的最低值.第33页，共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 是是是是D D的函数的函数的函

24、数的函数,当当当当D很小时很小时很小时很小时,应很大。应很大。应很大。应很大。1.1.的定义域的定义域(0,Dmax)第34页，共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 是是是是D D的函数的函数的函数的函数,当当当当D很小时很小时很小时很小时,应很大。应很大。应很大。应很大。1.1.的定义域的定义域(0,Dmax)(3)(3)(3)(3)由由由由(2)(2)(2)(2)定义得定义得定义得定义得 是使是使 的全体概率集合。即的全体概率集合。即 和和 统计独立。统计独立。当当 时时,此时信源不需此时信源不需要输出任何信要输出任何信息息.第

25、35页，共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 例例 规定失真度为汉明失真度，失真矩阵为规定失真度为汉明失真度，失真矩阵为求求：(1)(2)(1)(2)达到最小值达到最小值 时的信道函数？时的信道函数？(3)(3)此时的此时的第36页，共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 表示为满足保真度准则表示为满足保真度准则 ,信道信道V必须从信必须从信源源U获取的信息量获取的信息量,即信源必须输出的最小信息率即信源必须输出的最小信息率 信源信源U的率失真函数。的率失真函数。第37页，

26、共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 例例 要求同上例要求同上例第38页，共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 例例 要求同上例要求同上例总结：总结：上面三例中上面三例中,失真矩阵失真矩阵 每列只有一个最小值每列只有一个最小值,当允许失真度当允许失真度 取最小值取最小值 时，时，信源输出符号数不能有任何的压缩。信源输出符号数不能有任何的压缩。第39页，共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 例例 要求同上例要求同

27、上例三种典型取值三种典型取值三种典型取值三种典型取值信源的信息率可压缩信源的信息率可压缩.第40页，共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 2.2.是关于是关于D的的U型凸函数型凸函数在允许失真度在允许失真度D的定义域内的定义域内,是是D的的U型凸函数型凸函数.3.3.函数的单调递减性和连续性函数的单调递减性和连续性计算计算 的条件是的条件是 ,显然当显然当 时时,将最小。将最小。第41页，共50页，编辑于2022年，星期四7.2.2 7.2.2 信息率失真函数的性质信息率失真函数的性质 4.4.的典型图形的典型图形 (1)(1)定义

28、域定义域 (2)(2)U型函数型函数(3)(3)连续而递减连续而递减第42页，共50页，编辑于2022年，星期四7.3 7.3 二元信源和离散对称信源的二元信源和离散对称信源的R R(D D)函数函数 7.3.1 7.3.1 二元对称信源的二元对称信源的R(D)函数函数7.3.2 7.3.2 离散对称信源的离散对称信源的R(D)R(D)函数函数第43页，共50页，编辑于2022年，星期四第44页，共50页，编辑于2022年，星期四4-2 4-2 根轨迹绘制的基本法则根轨迹绘制的基本法则 1.1.绘制根轨迹的基本法则绘制根轨迹的基本法则 2.2.闭环极点的确定闭环极点的确定.第45页，共50页，

29、编辑于2022年，星期四1.1.绘制根轨迹的基本法则绘制根轨迹的基本法则 法则法则法则法则1 1 根轨迹的起点和终点根轨迹的起点和终点根轨迹的起点和终点根轨迹的起点和终点根轨迹起于开环极点根轨迹起于开环极点根轨迹起于开环极点根轨迹起于开环极点,终于开环零点终于开环零点终于开环零点终于开环零点.闭环系统特征方程闭环系统特征方程根轨迹的起点根轨迹的起点 ,根轨迹的终点根轨迹的终点 ,开环极点数开环极点数开环极点数开环极点数=开环零点数开环零点数开环零点数开环零点数,数目小的出现在无穷远数目小的出现在无穷远数目小的出现在无穷远数目小的出现在无穷远.第46页，共50页，编辑于2022年，星期四1.1.

30、绘制根轨迹的基本法则绘制根轨迹的基本法则 法则法则法则法则4 4 根轨迹在实轴上的分布根轨迹在实轴上的分布根轨迹在实轴上的分布根轨迹在实轴上的分布实轴上的某一区域实轴上的某一区域,若其右边开环实数零极点个数之若其右边开环实数零极点个数之和为奇数和为奇数,则该区域必是根轨迹则该区域必是根轨迹.法则法则5 根轨迹的分离点与分离角根轨迹的分离点与分离角两条或两条以上根轨迹分支在两条或两条以上根轨迹分支在s平面上相遇又立即平面上相遇又立即分开的点分开的点,称为根轨迹的称为根轨迹的分离点分离点.根轨迹进入分离根轨迹进入分离点的切线方向与离开分离点的切线方向之间的夹点的切线方向与离开分离点的切线方向之间的

31、夹角称为角称为分离角分离角.分离点坐标分离点坐标 d 和分离角求解公式和分离角求解公式:第47页，共50页，编辑于2022年，星期四 小小 结结 由两个极点由两个极点(实数极点或复数极点实数极点或复数极点)和一个有限和一个有限零点组成的开环系统零点组成的开环系统,只要有限零点没有位于两只要有限零点没有位于两个实数极点之间个实数极点之间,当当K*从从从从0 0变到变到变到变到 时时时时,闭环根轨迹的闭环根轨迹的闭环根轨迹的闭环根轨迹的复数部分复数部分复数部分复数部分,是以有限零点为圆心是以有限零点为圆心是以有限零点为圆心是以有限零点为圆心,以有限零点到分离以有限零点到分离以有限零点到分离以有限零

32、点到分离点的距离为半径的一个圆点的距离为半径的一个圆点的距离为半径的一个圆点的距离为半径的一个圆,或圆的一部分或圆的一部分或圆的一部分或圆的一部分.-4-4-3-3-2-2-1-1若开环系统无有限零点若开环系统无有限零点,第48页，共50页，编辑于2022年，星期四 本本 章章 总总 结结 根轨迹根轨迹的两个基本条件的两个基本条件:幅值条件幅值条件和和相角条件相角条件.利利用相角条件可以确定根轨迹上的点及相应的增益用相角条件可以确定根轨迹上的点及相应的增益值值.利用根轨迹的基本规则快速地画出根轨迹的概略利用根轨迹的基本规则快速地画出根轨迹的概略图图.利用主导极点分析系统的动态性能利用主导极点分析系统的动态性能.增加开环零增加开环零点和开环极点对系统性能的影响趋势点和开环极点对系统性能的影响趋势.第49页，共50页，编辑于2022年，星期四谢 谢!第50页，共50页，编辑于2022年，星期四