发布时间 : 星期三 文章《信息论与编码》陈运部分作业详解资料更新完毕开始阅读a787d026b207e87101f69e3143323968001cf45b
第2章 信源熵
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
答：2倍，3倍。
2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) log252!
(2) 任取13张，各点数不同的概率为
特/符号)
13!，信息量：9.4793(比13C522.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身
高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
答案：1.415比特/符号。提示：设事件A表示女大学生，事件C表示160CM以上的女孩，则问题就是求p(A|C)，
13?p(AC)p(A)p(C|A)443p(A|C)????
1p(C)p(C)82?log2p(A/C)??log23/8?1.415
2.4 设离散无忆信源??X??a1?0a2?1a3?2a4?3?其发出的消息?，???PX3/81/41/41/8??????为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？
(2) 在此消息中平均每个符号携带的信息量是多少？
解：(1)信源符号的自信息量为I(ai)=-log2p(ai)，故0,1,2,3的自信息量分别为1.415、 2、 2、 3。
消息序列中0，1，2，3的数目分别为14，13，12，6，故此消息的自信息量为1.415*14+2*13+2*12+3*6=87.81比特， (2)87.81/45=1.951比特。 2.6 设信源?a2a3a4a5a6??X??a1??，求这信源的熵，??PX0.20.190.180.170.160.17??????
并解释为什么H?X??log6不满足信源熵的极值性。 提示：信源的概率之和大于1。
2.7 同时掷两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量；
(3) 两个点数的各种组合(无序对)的熵或平均信息量； (4) 两个点数之和(即2,312构成的子集)的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1) 4.17(比特/符号)，提示：3和5同时出现的概率为
11??2=1/18 66(2) 5.17(比特/符号)，提示：两个1同时出现的概率1/36 (3) “两个点数相同”的概率:1/36,共有6种情况;
“两个点数不同”的概率:1/18,共有15种情况.故平均信息量为:
?61151log2?log2?4.337比特/符号 3636181831184112195536616758361991121011811?? 1?36??12(4) 3.274(比特/符号)。提示：信源模型
??2 ?1??36(5) 1.711(比特/符号)。提示：至少有一个1出现的概率为
111111???? 666636
2.8 证明H?X1X2Xn??H?X1??H?X2???H?Xn?
提示： 由教材式(2.1.26)和(2.1.28)可证 证明：
H(XY)?H(X)?H(YX),??H(XY)?H(X)?H(Y)H?X1X2H(YX)?H(Y)Xn)Xn)
Xn??H(X1)?H(X2??H(X1)?H(X2)??H(X1)?H(X2)??H(X1)?H(X2)?H(X3?H(Xn?2)?H(Xn?1Xn)?H(Xn?2)?H(Xn?1)?H(Xn)
2.4 证明H?X3X1X2??H?X3X1?，并说明等式成立的条件。
提示：见教材第38页
2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：
若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；
(2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解：设X、Y、Z分别表示{忙 闲}、{晴 雨}和{冷 暖}，
?X??忙闲?(1) 先求忙闲的概率分布???6340?，无条件熵???P(X)???103103?63634040H(X)??log2?log2=0.9637(比特/符号)
103103103103(2)
?忙晴冷忙晴暖忙雨冷忙雨暖闲晴冷闲晴暖闲雨冷闲雨暖??XYZ???82716815512??P(XYZ)???12?????103103103103103103103103?H(XYZ)=2.8357
?晴冷晴暖雨暖雨冷??YZ??，H(YZ)=1.9769 232832??P(YZ)???20????103103103103?H(XYZ)? H(XYZ)- H(YZ)=0.8588(比特/符号)
(3) I(X;YZ)=H(X)-H(X/YZ)=0.1049比特/符号
2.11 有两个二元随机变量X和Y，它们的联合概率为
X Y 0 1 0 1 1/8 3/8 3/8 1/8 并定义另一随机变量Z?XY(一般乘积)。试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；
(2) H(XY),H(YX),H(XZ),H(ZX),H(YZ),H(ZY),H(XYZ),
H?YXZ?和H?ZXY?；
(3) I?X;Y?,I?X;Z?,I?Y;Z?,I?X;YZ?,I?Y;ZX?和I?X;ZY?。 解： (1) XY的概率分布为??XY??00011011? ?????P(XY)??1/83/83/81/8?11333311H(XY)??log2?log2?log2?log2?1.8113比特/符号
88888888X的概率分布?1??X??0， ?????P(X)??1/21/2?1111H(X)??log2?log2?1比特/符号
2222X的概率分布?1??Y??0， ?????P(Y)??1/21/2?H(Y)=1比特/符号
?Z??0??7Z=XY的概率分布???P(Z)???8H(Z)?1?1?， 8??7711log2?log2?0.5436比特/符号 8888 XZ的联合概率分布??XZ??00011011????1/203/81/8?， P(XZ)????