信息论测试题及答案.pdf
一、设一、设 X X、Y Y 是两个相互统计独立的二元随机变量，其取是两个相互统计独立的二元随机变量，其取-1-1 或或 1 1 的概率相等的概率相等.定义另一定义另一个二元随机变量个二元随机变量 Z,Z,取取 Z=YXZ=YX（一般乘积）（一般乘积）。试计算。试计算:1.H1.H（Y Y）、H H（Z Z）;2;2。H(YZH(YZ）;3 3。I(X;YI(X;Y）、I I（Y Y；Z Z）;二、如图所示为一个三状态马尔科夫信源的转移概率矩阵二、如图所示为一个三状态马尔科夫信源的转移概率矩阵1.1.绘制状态转移图；绘制状态转移图；2.2.求该马尔科夫信源的稳态分布求该马尔科夫信源的稳态分布;3 3。求极限熵；求极限熵；三、在干扰离散对称信道上传输符号三、在干扰离散对称信道上传输符号 1 1 和和 0 0，已知，已知 P P（0 0）=1/4,P=1/4,P（1)=3/4,1)=3/4,试求：试求：1.1.信道转移概率矩阵信道转移概率矩阵 P 2.P 2.信道疑义度信道疑义度 3 3。信道容量以及其输入概率分布。信道容量以及其输入概率分布四、某信道的转移矩阵，求信道容量，最佳输入概率分布四、某信道的转移矩阵，求信道容量，最佳输入概率分布.五、求下列各离散信道的容量（其条件概率五、求下列各离散信道的容量（其条件概率 P(Y/X)P(Y/X)如下：）如下：）六、求以下各信道矩阵代表的信道的容量六、求以下各信道矩阵代表的信道的容量答案答案一、设一、设 X X、Y Y 是两个相互统计独立的二元随机变量，其取是两个相互统计独立的二元随机变量，其取1 1 或或 1 1 的概率相等。定义另的概率相等。定义另一个二元随机变量一个二元随机变量 Z Z，取，取 Z=YXZ=YX（一般乘积）（一般乘积）.试计算试计算:1.H1.H（Y Y）、H H（Z)Z)；2.H(XY)2.H(XY)、H H（YZYZ）;3.I3.I（X X；Y Y）、I I（Y Y；Z Z）；解：解：1.1.=1bit/=1bit/符号符号Z=YXZ=YX 而且而且 X X 和和 Y Y 相互独立相互独立=故故 H H（Z)=1bit/Z)=1bit/符号符号2.2.从上式可以看出：从上式可以看出：Y Y 与与 X X 的联合概率分布为：的联合概率分布为：H(YZH(YZ）=H=H（X)+HX)+H（Y Y）P P（Y Y，Z)Z)Z=1Z=1Z=Z=1 1Y=1Y=10.250.250.250.25Y=-1Y=-10 0。25250.250.25=1+1=2bit/=1+1=2bit/符号符号3.X3.X 与与 Y Y 相互独立，故相互独立，故H(X|Y)=H(XH(X|Y)=H(X）=1bit/=1bit/符号符号 I I（X;YX;Y）=H(X)-H(X=H(X)-H(XY Y）=1=11=0bit/1=0bit/符号符号 I(Y;Z)=H I(Y;Z)=H（Y)Y)H(YH(YZ Z）=H(Y=H(Y）HH（YZ)-HYZ)-H（Z Z）=0 bit/=0 bit/符号符号二、如图所示为一个三状态马尔科夫信源的转移概率矩阵二、如图所示为一个三状态马尔科夫信源的转移概率矩阵2.2.绘制状态转移图；绘制状态转移图；2 2。求该马尔科夫信源的稳态分布；求该马尔科夫信源的稳态分布；3.3.求极限熵；求极限熵；解：解：1 1。状态转移图如右图。状态转移图如右图 2 2。由公式。由公式,可得其三个状态的稳态概率为可得其三个状态的稳态概率为:3.3.其极限熵：其极限熵：三、在干扰离散对称信道上传输符号三、在干扰离散对称信道上传输符号 1 1 和和 0 0，已知，已知 P P（0 0）=1/4=1/4，P(1)=3/4,P(1)=3/4,试求：试求：2.2.信道转移概率矩阵信道转移概率矩阵 P 2.P 2.信道疑义度信道疑义度 3 3。信道容量以及其输入概率分布。信道容量以及其输入概率分布00.90.10.1010.91解：解：1.1.该转移概率矩阵为该转移概率矩阵为 P=P=2 2。根据。根据 P P（XY)=P(Y|XXY)=P(Y|X）P P（X X）,可得联合概率可得联合概率P P（XYXY）X=0X=0X=1X=1Y Y9/409/403/403/40Y Y1/401/4027/4027/40P(Y=i)P(Y=i)12/4012/4028/4028/40由由 P P（X|YX|Y）=P=P（X XY)/PY)/P（Y Y）可得）可得P P（X|Y)X|Y)X=0X=0X=1X=1H H（X|Y)=X|Y)=3 3。该信道是对称信道，其容量为：。该信道是对称信道，其容量为：C=logs-H=log2 C=logs-H=log2H H（0 0。9,0.19,0.1）=1=10.469=0.531bit/0.469=0.531bit/符号符号这时，输入符号服从等概率分布，即这时，输入符号服从等概率分布，即四、某信道的转移矩阵，求信道容量，最佳输入概率分布四、某信道的转移矩阵，求信道容量，最佳输入概率分布.解：该信道是准对称信道，分解为两个互不相交的子信道矩阵解：该信道是准对称信道，分解为两个互不相交的子信道矩阵这里这里C=logrC=logrH(PH(P 的行矢量）的行矢量）=0.174bit/=0.174bit/符号符号这时这时,输入端符号服从等概率分布输入端符号服从等概率分布,即即=五、求下列各离散信道的容量（其条件概率五、求下列各离散信道的容量（其条件概率 P P（Y/X)Y/X)如下：）如下：）六、求以下各信道矩阵代表的信道的容量六、求以下各信道矩阵代表的信道的容量Y=0Y=03/43/41/41/4Y=1Y=11/281/2827/2827/28
