发布时间 : 星期三 文章2015秋 信息论 第3章离散信道与平均互信息量 - 图文更新完毕开始阅读56db4159bceb19e8b8f6bae8
37
–极值性
I(X;Y)?H(X)I(Y;X)?H(Y)38
–凸函数性
I(X;Y)?H(X)?H(X|Y)?H(Y)?H(Y|X)?I(Y;X)p(y/x)???p(xy)logp(y)YX???p(x)p(y/x)logYXp(y/x)?p(x)p(y/x)XI(X ; Y)是信源分布p(x)和信道传递概率p(y|x)的函数。
39
对于固定的信道，平均互信息I(X ; Y)是信源概率分布p(x)的上凸函数。
对于固定的信源分布，I(X ; Y)是信道传递概率p(y|x)的下凸函数。
I(X;Y)???p(x)p(y/x)logYXp(y/x)?p(x)p(y/x)X引理2.2若
n?pi?1ni?1,?qi?1,pi?0,qi?0,i?1npi?0则?pilogqii?1等号成立的充分必
要条件是pi?qi40