通信原理通信原理通信原理 (128).pdf
7.1 信源信源通信原理通信原理第第7章章信源信源模拟信源()数字信源 数字化数字化压缩编码压缩编码存储存储或或传输传输比特序列模拟信源的输出建模为模拟基带信号()数字信源的输出建模为随机符号序列 1,2,信源的输出一般要经过处理后再进行传输或存储。对模拟信源的处理主要是数字化。对数字信源的处理主要是信源压缩。最终的目标是让输出的比特数尽量少符号符号进制符号泛指一切样本空间有个元素的随机实验结果例如：中文文章中的符号，其样本空间是：汉字+标点符号英文文章中符号，其样本空间是：英文字母+标点符号3比特组是八进制符号：=000,001,111计算机中的字节是256进制符号：=00,01,FF8PSK星座点是八进制符号 =1,2,O00000101101011011110110012345678单个符号的统计特性单个符号的统计特性=,=,对于单个符号 =1,2,来说，重要的不在于 中的元素具体是什么，而在于这些元素的出现概率。例：均匀骰子 1,2,6，=16。例：某非均匀骰子的样本空间还是 1,2,6，但1=2=3=4=14，5=6=0。它实质是一个四进制符号。在有限状态的离散随机变量中，概率为零=不会出现。因此本课默认假设 0,=1,2,两个符号两个符号设有两个符号=,=1,1,1,2,=1,2,其中表示某个(,)。比如掷一对色子，用,表示两个色子的结果。可以把“掷一对色子”理解成一个36进制的随机符号。其结果的表示方式例如可以是“=1,=3”，也可以是：事先把全部36种结果编上号，然后说“掷出了第19种结果”=1,2,=1,2,整体可看作是一个更大的符号：两个符号的统计特性两个符号的统计特性=Pr =Pr =,=一维编号二维编号这个大符号的出现概率的表述方法可以按一维编号说，也可以按二维编号说。比如从7个人中随机选一个，然后从4个座位上随机选一个坐上去。按一维编号表述就是把全部28重结果编上号，然后说“出现第19种结果的概率是17”。按二维编号表述比如是“选中第4号人，坐在3号位置的概率是19”这两种表示方法都是对同一个统计特性的不同表述方式，不影响问题的实质。具体用哪个可根据情况便宜行事。例例：掷两个骰子得到=(,)。如果这两个色子独立等概，那么每个色子的每种结果出现概率是16，两个色子的每种组合出现概率是136。现假设它们不是独立等概，其联合分布如下表所示。X31=Pr =3,=1=16412=Pr =1,=2=116本是36进制，但有4种组合不会出现，所以实质是32进制右边是按二维编号表述概率的例子联合分布、边缘分布、条件分布联合分布、边缘分布、条件分布联合分布是=,的分布边缘分布是和各自的分布条件分布是给定一个后，另一个的分布Pr =,=Pr =Pr =,=Pr =Pr =,=Pr =|=Pr =,=Pr =Pr =|=Pr =,=Pr =Pr =34/649/6421/64Pr =6/169/161/161X给定=1时，取值于 1,2,3的概率分布是 0,13,23给定=3时，取值于 1,2,3的概率分布是1621,421,121例例：下表给出了两个三进制符号的联合分布Pr =,=。表中最下一行是的边缘分布，最右一列是的边缘分布。符号序列符号序列上述两符号的情形自然可以扩展到由个符号组成的符号序列=1,2,，其中的每个符号都是M进制的：=1,2,。整体是一个进制大符号，其结果是一个矢量=(1,2,2)：=1,2,=111,()=Pr =12=Pr 1=1,2=2,=表述每种结果的出现概率时，可以用一维编号，从1编到（或者从0编到 1）；也可以用多维编号，比如从(1,1,1)编到(,)：例例：掷硬币的结果是二进制符号：0,1，假设硬币不均匀，其概率分布是,1 。将此硬币独立掷3次得到=123，整体是一个8进制符号，其样本空间是=1,2,8=000,001,1112=Pr =2001=Pr =001=Pr 1=0,2=0,3=1其中1=000,2=001,。=123的概率分布可以按一维编号表述为也可以按三维编号表述为特例特例1：符号序列=1,2,的一个特例是每个独立同分布。同分布表示第个符号的结果为的概率只与有关，与无关；独立表示联合概率等于边缘概率的乘积：Pr=12=Pr 1=1,2=2,=12例例：独立掷非均匀硬币三次。每个硬币 0,1，概率分布同为,1 。=123整体是一个8进制符号，其样本空间是=000,001,111。联合概率可以写成各自概率的乘积：000=Pr =000=3001=Pr =001=2(1 )Pr=1Pr 1=1,2=2,=1特例特例2：符号序列=1,2,更进一步的一个特例是每个独立等概。此时小结小结信源分模拟信源和数字信源。模拟信源的输出一般是模拟基带信号，现代通信系统中一般会把模拟信源数字化。数字信源的输出是符号序列。M进制符号指任何样本空间有M种不同元素的随机实验。符号的概率分布：样本空间中每个元素的出现概率。可以把多个符号看成一个更大的符号。
