发布时间 : 星期五 文章信息论与编码理论-第3章信道容量-习题解答-071102更新完毕开始阅读a8f484d3195f312b3169a5eb
信息论与编码理论
第3章 信道容量
习题解答
?2/33-1 设二进制对称信道的转移概率矩阵为??1/31/3??2/3?
)解: (1) 若P(a1)?3/4,P(a2)?1/4，求H(X),H(Y),H(X|Y),H(Y|X和I(X;Y)。
2H(X)=??i=1p(ai)log p(ai)??3311?log()?log()?0.8113(bit/符号) 4444p(b1)=p(a1)p(b1|a1)+p(a2)p(b1|a2)=p(b2)=p(a1)p(b2|a1)+p(a2)p(b2|a2)=234?2313??512141??1323?712512347?4?
H(Y)=??j=1p(bj)log(bj)=?2712log(12)?log(512)?0.9799(bit/符号)2iH(Y|X)=?2?p(ai,j,bj)logp(bj|ai)???p(bj|ai)logp(bj|ai)j
??211?log()??log()?0.9183(bit/符号)3333I(X;Y)=H(Y)?H(Y|X)=0.9799?0.9183?0.0616(bit/符号) H(X|Y)=H(X)?I(X;Y)=0.8113?0.0616?0.7497(bit/符号)
(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量
H(P)=-plog(p)-(1-p)log(1-p)C=1-H(P)=1+1 122log()+log()=0.0817(bit/符)3333BSC信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位
1
第3章 信道容量
3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
Xa1a2a3111Yb1b2b3Xa1a2a3111Yb1Xa10.30.7b2a21Yb1b2b3
?1 0 0??0 1 0第一种：无噪无损信道，其概率转移矩阵为：P=?????0 0 1??
信道容量：C?maxI(X;Y) bit/符号
P(X)C?max{I(X;Y)}?max{H(X)?H(X|Y)}p(x)p(x)?H(X|Y)?0?C?max{I(X;Y)}?max{H(X)}p(x)p(x)
离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，
C=log3=1.5850
bit/符号
?111??333?输入最佳概率分布如下：?,,?
?1 0??0 1第二种：无噪有损信道，其概率转移矩阵为：P=?????0 1??C?max{I(X;Y)}?max{H(Y)?H(Y|X)}p(x)p(x)，离散输入信道，
?H(Y|X)?0?C?max{I(X;Y)}?max{H(Y)}p(x)p(x)
H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：p(a1)+p(a2)=0.5,p(a3)=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：
C?max{I(X;Y)}?max{H(X)?H(X|Y)}p(x)p(x)?H(X|Y)?0?C?max{I(X;Y)}?max{H(X)}p(x)p(x)
2
信息论与编码理论
输入为等概率分布时可达到信道容量，此时信道容量
?C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：?,? ?p(x)?22?113-3 设4元删除信道的输入量X?{1,2,3,4}，输出量Y?{1,2,3,4,E}，转移概率为
P(Y?i|X?i)?1??P(Y?E|X?i)???1-ε 0 0 0 ε???0 1-ε 0 0 ε ?P=??0 0 1-ε 0 ε???0 0 0 1-ε ε???1-ε 0 0 0 ???0 1-ε 0 0 ? p2=p1=??0 0 1-ε 0 ???0 0 0 1-ε ??? ε??? ε ??? ε???? ε? 其中i?1,2,3,4
1）该信道是对称DMC信道吗？ 2）计算该信道的信道容量；
3）比较该信道与两个独立并联的二元删除信道的信道容量。 （1）本通信过程的转移概率分布如下所示：
?1-ε 0 0 0 ε???0 1-ε 0 0 ε ? P=??0 0 1-ε 0 ε???0 0 0 1-ε ε???1-ε 0 0 0 ???0 1-ε 0 0 ? p2=p1=??0 0 1-ε 0 ???0 0 0 1-ε ??? ε??? ε ?? ? ε???? ε?可以分解为两个矩阵：
可以看出该信道不是对称DMC信道，它是准对称DMC信道。 （2）该信道的信道容量为：（直接套用准对称信道计算公式）
C?logn??jp(bj|ak)logp(bj|ak)??NsslogMs?log2(4)?H(1??,?)?(1??)log(1??)??log(4?)?2?(1??)log(1??)??log(?)?(1??)log(1??)??log(4?) 1?2??log()?2?2?(bit/符号)4（3）两个独立并联的二元删除信道其转移概率如下：
3
第3章 信道容量
?1-ε ε 0????0 ε 1-ε?可以写成：??1-ε 0?? ε ?与????0 1-ε?? ε ?的形式
独立并联的二元信道的信道容量为两个信道容量的和。
其信道容量为：C?1?H(1-ε,ε )?(1-ε)log(1-ε)?εlog(2ε)=1-ε bit/符号 两个独立并联和删除信道的信道容量=2C=2?2? bit/符号 本信道的信道容量与两个并联删除信道信道容量相等。
3-4 设BSC信道的转移概率矩阵为
?1??1Q????2?1??2??1?
1）写出信息熵H(Y)和条件熵H(Y|X)的关于H(?1)和H(?2)表达式，其中
H(?)???log??(1??)log(1??)。
2）根据H(?)的变化曲线，定性分析信道的容道容量，并说明当?1??2的信道容量。
解：（1）设输入信号的概率颁布是{p,1-p}
p(b1)?p(a1)?p(b1|a1)?p(a2)?p(b1|a2)?p?(1??1)?(1?p)??2p(b2)?p(a1)?p(b2|a1)?p(a2)?p(b2|a2)?p??1?(1?p)?(1??2)
H(Y)??p(b1)logp(b1)?p(b2)logp(b2)??[p?(1??1)?(1?p)??2]log[p?(1??1)?(1?p)??2]?[p??1?(1?p)?(1??2)]log[p??1?(1?p)?(1??2)]?H[p?(1??1)?(1?p)??2]2
H(Y|X)???p(ai)p(bj|ai)logp(bj|ai)i,j?1??p?[(1??1)log(1??1)??1log(?1)]?(1?p)[(1??2)log(1??2)??2log(?2)]?p?H(?1)?(1?p)?H(?2)
（2）H(?)的变化曲线，是一个上凸函数，当输入等概率分布时达到信道
4