发布时间 : 星期三 文章信息论第二章答案更新完毕开始阅读dafbf419a0116c175f0e48b0
(2)
H(X2)?2H(X)??2?(0.4log0.4?0.6log0.6)?1.942 bit/symbolH(X3/X1X2)?H(X3)???p(xi)logp(xi)??(0.4log0.4?0.6log0.6)?0.971 bit/symbol
iH??limH(XN/X1X2...XN?1)?H(XN)?0.971 bit/symbolN???(3)
H(X4)?4H(X)??4?(0.4log0.4?0.6log0.6)?3.884 bit/symbolX4的所有符号：0000000100100011010001010110011110001001101010111100110111101111
2.14 设X?X1X2...XN是平稳离散有记忆信源，试证明：
H(X1X2...XN)?H(X1)?H(X2/X1)?H(X3/X1X2)?...?H(XN/X1X2...XN?1)。
证明：
H(X1X2...XN)????...?p(xi1xi2...xiN)logp(xi1xi2...xiN)i1i2iN????...?p(xi1xi2...xiN)logp(xi1)p(xi2/xi1)...p(xiN/xi1...xiN?1)i1i2iN?????????...?p(xi1xi2...xiN)?logp(xi1)????...?p(xi1xi2...xiN)?logp(xi2/xi1)i1?i2iNi1i2?iN?? ...???...?p(xi1xi2...xiN)logp(xiN/xi1...xiN?1)i1i2iN???p(xi1)logp(xi1)???p(xi1xi2)logp(xi2/xi1)i1i1i2 ...???...?p(xi1xi2...xiN)logp(xiN/xi1...xiN?1)i1i2iN?H(X1)?H(X2/X1)?H(X3/X1X2)?...?H(XN/X1X2...XN?1)
2.15 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解： (1)
133??1H(X)???p(xi)logp(xi)???log?log??0.811 bit/symbol
444??4i(2)
· 9 ·
?1??3?p(xi)???????4??4?m100?m3100?m?10043?41.5?1.585m bit4100100?m
I(xi)??logp(xi)??log(3)
H(X100)?100H(X)?100?0.811?81.1 bit/symbol
2.16 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。
PP0P1PP2P 解： (1)
?p(e1)?p(e1)p(e1/e1)?p(e2)p(e1/e2)??p(e2)?p(e2)p(e2/e2)?p(e3)p(e2/e3)?p(e)?p(e)p(e/e)?p(e)p(e/e)333131?3?p(e1)?p?p(e1)?p?p(e2)???p(e2)?p?p(e2)?p?p(e3)???p(e3)?p?p(e3)?p?p(e1)?p(e1)?p(e2)?p(e3)??p(e1)?p(e2)?p(e3)?1?p(e1)?1/3??p(e2)?1/3?p(e)?1/3?3
?p(x1)?p(e1)p(x1/e1)?p(e2)p(x1/e2)?p?p(e1)?p?p(e2)?(p?p)/3?1/3???p(x2)?p(e2)p(x2/e2)?p(e3)p(x2/e3)?p?p(e2)?p?p(e3)?(p?p)/3?1/3? ??p(x3)?p(e3)p(x3/e3)?p(e1)p(x3/e1)?p?p(e3)?p?p(e1)?(p?p)/3?1/312??X??0??P(X)??1/31/31/3?????(2)
·· 10
H?????p(ei)p(ej/ei)logp(ej/ei)ij3311?1 ???p(e1/e1)logp(e1/e1)?p(e2/e1)logp(e2/e1)?p(e3/e1)logp(e3/e1)33?3111 ?p(e1/e2)logp(e1/e2)?p(e2/e2)logp(e2/e2)?p(e3/e2)logp(e3/e2) 333111? ?p(e1/e3)logp(e1/e3)?p(e2/e3)logp(e2/e3)?p(e3/e3)logp(e3/e3)?333?11111?1 ????p?logp??plogp??p?logp??p?logp??p?logp??p?log33333?3 ??p?logp?p?logp bit/symbol
???p??2.17黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X);
(3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。
解： (1)
H(X)???p(xi)logp(xi)??(0.3log0.3?0.7log0.7)?0.881 bit/symbol
i(2)
?p(e1)?p(e1)p(e1/e1)?p(e2)p(e1/e2)??p(e2)?p(e2)p(e2/e2)?p(e1)p(e2/e1)?p(e1)?0.8p(e1)?0.1p(e2)??p(e2)?0.9p(e2)?0.2p(e1)?p(e2)?2p(e1)??p(e1)?p(e2)?1?p(e1)?1/3??p(e2)?2/3H?????p(ei)p(ej/ei)logp(ej/ei)ijp(黑/黑)=0.8黑e1p(白/黑)=0.2p(白/白)=0.1白e2 p(白/白)=0.9122?1? ????0.8log0.8??0.2log0.2??0.1log0.1??0.9log0.9?333?3? ?0.553 bit/symbol(3)
?1?H0?H?log2?0.881??11.9%H0log2H?H?log2?0.553?1?0??44.7%H0log2H(X) > H2(X)
· 11 ·
表示的物理含义是：无记忆信源的不确定度大于有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。
2.18 每帧电视图像可以认为是由3?105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？
解： 1)
H(X)?logn?log128?7 bit/symbolH(X)?NH(X)?3?10?7?2.1?10 bit/symbol 2)
N56
H(X)?logn?log10000?13.288 bit/symbolH(X)?NH(X)?1000?13.288?13288 bit/symbol 3)
H(XN)2.1?106N???158037
H(X)13.288N
·· 12