发布时间 : 星期六 文章信息论编码作业更新完毕开始阅读923a5e4aa8956bec0975e3c9
2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数中至少有一个是1的自信息量。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
2.3 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？
2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？
2.5黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。假设图上黑白消息出现前后没有关联，求熵H(X)；
2.6 有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)。
2.7 消息源以概率P1?1/2,P2?1/4,P3?1/8,P4?1/16,P5?1/16,发送5种消息符号m1,m2,m3,m4,m5。
（1） 若每个消息符号出现是独立的，求每个消息符号的信息量。 （2） 求该符号集的平均信息量。
?X2.8 设离散无记忆信源??P(X??x1?0???)??3/8x2?1x3?21/41/4x4?3??，其发出的信息1/8?为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？
2.9 汉字电报中每位十进制数字代码的出现概率如题9表所示，求该离散信源的熵。
题9表 数0 1 2 3 4 5 6 7 8 9 字
1
概0.26 0.16 0.08 0.062 0.06 0.063 0.115 0.062 0.048 0.052 率 ??x1????P(X)??0.2?Xx2x3x4x5x6??，求这个信源的熵，并0.17?2.10 设信源?0.190.180.170.16解释为什么H(X) > log6不满足信源熵的极值性。
2.11 每帧电视图像可以认为是由3?105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？
2.12 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？
(2) 试计算H(X2), H(X3|X1X2))及H?；
(3) 试计算H(X4)并写出X4信源中可能有的所有符号。
2.13 设信源发出二重延长消息xiyi,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率P(xi)和P(yj|xi)如题13表所示，求该二次扩展信源的共熵H（XY）。 P(xi) P(yj|xi) D E F G A 1/2 1/4 1/4 1/4 1/4 B 1/3 3/10 1/5 1/5 3/10 C 1/6 1/6 1/2 1/6 1/6
2.14 设有一概率空间，其概率分布为{p1,p2,?,pq},并有p1?p2。若取
p1?p1??,p2?p2??，其中0?2??p1?p2，而其他概率值不变。试证明由
''此所得新的概率空间的熵是增加的，并用熵的物理意义作以解释。
3.1 设有一离散无记忆信源，其概率空间为
2
?X??P(X??x1???)??0.6x2??0.4?
它们通过一干扰信道，信道输出端的接收符号集Y = [0 1]，信道转移矩阵为
?p(0/0)P???p(0/1)?5p(1/0)??6???p(1/1)??3??41?6??， 1?4??求：
(1) 信源X中事件X1和事件X2分别包含的自信息量；
(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 输出符号集Y的平均信息量H(Y)； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。
3.2 设有扰离散信道的输入端是以等概出现的A、B、C、D四个字母，该信道的正确传输概率为1/2，错误传输概率均匀分布在其他三个字母上，验证在该信道上每个字母传输的平均信息量为0.21比特。
3.3 设有下述消息将通过一个有噪二元对称信道传送，消息为：M1?00,
M2?01，M3?10，M4?11，这四种消息在发送端是等概的。试求：
（1） 输入为M1，输出第一个数字为0的互信息量是多少？ （2） 如果知道第二个数字也是0，这是又带来多少附加消息？
3.4 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D，每个二元码元脉冲宽度为5ms。试求：
（1） 不同字母等概出现时，计算传输的平均信息速率？
（2） 若每个字母出现的概率分别为PA?1/5，PB?1/4，PC?1/4，PD?3/10。
试计算传输的平均信息速率。
3.5 设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64%是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？
3.6 设二元对称信道的传递矩阵为
3
?2?3P???1??31?3?? 2?3??(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2) 求该信道的信道容量及其最佳输入分布；
3.7 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
3.8 设有扰信道如题8图所示，试求此信道的信道容量及最佳输入分布。
3.9 求图3.35中信道的信道容量及其最佳的输入概率分布。
?0.98?0.020.02??0.98?3.10 有一个二元对称信道，其信道矩阵为?。设该信源以1500二元
符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？
4．1什么是信源编码，试述香农第一编码定理的物理意义？
4．2若有一信源
?S??s1, ?????P(s)??0.8,s2?? 0.2?每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中
进行传输（假设信道是无噪无损失），而信道每秒钟只传递2个二元符号。试问信源不经过编码能否直接与信道连接？通过适当编码能否与信道连接？采用何种编码，为什么？
4．3 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E、和F。
（1） 求这些码中哪些是惟一可译码。
（2）对所有惟一可译码求出其平均码长L。
4.4 已知一信源包含8个消息符号，其出现的概率为：
?S??A?????P(S)??0.1B0.18C0.43D0.05E0.06F0.1G0.07H??0.01?
4