第二章 离散信息的度量笔记目录2.4 联合自信息量与联合熵2.5 互信息量与平均互信息量2.6 熵的性质以及各种熵之间的关系2.4 联合自信息量与联合熵2.4.1 联合自信息量1.联合自信息量定义定义2.15 联合自信息量2.联合自信息量的推广定义2.16多维随机矢量的联合自信息量设x为N维随机矢量 x(x₁,x₂,⋯,x_N)此随机矢量的自信息量定义为I(x) -log p(x)——公式3.联合自信息量的含义若把联合事件xy看作一个事件zxy则两个随机变量的联合自信息量其含义与自信息量相同。若把随机矢量 x(x₁,x₂,⋯,x_N)看作一个事件 zx₁x₂⋯x_N则其联合自信息量的含义与自信息量相同。【课本例题2.11】二元随机矢量已知现有N维二元随机矢量 x(x₁,x₂,⋯,x_N)。x_n(n1,2,⋯,N)为独立同分布随机变量且符号1的概率为ω0的概率1−ω。求符号序列x010011的自信息量。解所求自信息量为联合自信息量根据式(自信息量)可得I(x) -log₂ p(x)由于符号独立同分布所以 p(x)ω³(1−ω)³。代入上式可得I(x)-3log₂[ω(1−ω)]2.4.2 联合熵1.两个离散随机变量集合的联合熵定义2.17联合熵【课本例题】已知二维联合信源X,Y的联合概率分布p(x1y1)1/4p(x1y2)1/4p(x2y1)1/4p(x2y2)1/4求联合熵H(XY)解所有联合符号等概一共4种联合符号。H(XY) -∑∑ p(x_i y_j) log p(x_i y_j) -4 × (1/4) × log(1/4) log4 2 bit答该二维联合信源的联合熵为2bit。2.N个离散随机变量集合的联合熵定义2.18序列熵例题题目点[ x₁ x₂ ][P 3/4 1/4 ]划——划出现的P是点出现P的1/5求 I(点) I(划) 点划平均自信息量。已知P(点)3/4 P(划)1/4解I(点) -log₂ P(点) -log₂ 3/4I(划) -log₂ P(划) -log₂ 1/4 2 bitH(X) -P(x₁)logP(x₁) - P(x₂)logP(x₂)H(X) - 3/4 log₂ 3/4 - 1/4 log₂ 1/42.5 互信息量与平均互信息量2.5.1 条件自信息量定义2.19条件自信息量例2.13 信源符号的条件自信息量已知二元离散信源输出0和1两种符号输出规则如下若当前发出符号0则下一个符号是1的概率为0.25若当前发出符号1则下一个符号是1的概率为0.125。求信源在上述两种情况下各发出了多少信息量解上述两种情况都是条件事件因此所求的信息量为条件自信息量。设x_i表示信源当前发出的符号x_{i1}表示信源发出的下一个符号因此有I(x_{i1}1 | x_i0) -log₂ p(x_{i1}1 | x_i0) 2 bit -log₂ 1/4 -log₂ 2⁻² 2I(x_{i1}1 | x_i1) -log₂ p(x_{i1}1 | x_i1) 3 bit通过这个实际例子可以看到条件自信息量有下面的一些含义(1) 条件自信息量与自信息量的含义类似只不过概率空间有所变化(2) 条件自信息量也是随机变量(3) 在某个事件x给定的条件下另一个事件y所具有的不确定程度例2.13中分别是x_i和x_{i1}(4) 在某个事件x给定的条件下另一个事件y所包含的自信息量例2.13中分别是x_i和x_{i1}。2.5.2 条件熵定义2.20条件熵【例题】联合分布p(x1y1)1/4p(x1y2)1/4p(x2y1)1/4p(x2y2)1/4X符号x1,x2Y符号y1,y2求条件熵H(X|Y)解先求Y的边缘分布p(y1)1/2p(y2)1/2条件概率 p(x1|y1)1/2p(x2|y1)1/2p(x1|y2)1/2p(x2|y2)1/2H(X|y1) -1/2 log1/2 -1/2 log1/2 1 bitH(X|y2) 1 bitH(X|Y) p(y1)H(X|y1)p(y2)H(X|y2) (1/2)1 (1/2)1 1 bit2.5.3 互信息量的定义1.互信息量的引入互信息量是信息论的重点、难点用例题引入概念。例2.15已知随机变量x、y定义函数f(x,y)I(x)−I(x|y)分两种情况1y2x1x和y一一对应此时f(x,y)I(x)知道y就能完全确定x。2x是河马喝水y是大闸蟹洗澡两件事毫无关系、相互独立p(x|y)p(x)f(x,y)0。结果分析① 一一对应由一个变量可以完全推测另一个变量互信息量等于自信息量。② 相互独立两件事互不影响不能互相推测互信息量为0。结论f(x,y)I(x)−I(x|y)描述两个随机变量互相依赖、推测对方的程度这个量就是互信息量。2.互信息量的定义定义 2.21互信息量两个随机事件x和y之间的互信息量定义为I(x;y) I(x) − I(x|y) log [ p(x|y) / p(x) ] log P(y|x) / P(y)对数相减/相除互信息量的单位与自信息量相同取决与对数运算的底3. 互信息量的推广互信息量定义在二维随机空间上但可以推广到三维随机空间。I(x;y|z) log [ p(x|yz) / p(x|z) ]2.5.4 互信息量性质1. 互信息量具有互易性互信息量具有互易性即下列公式成立I(x;y) I(y;x)证明根据式(定义2.21)可得I(x;y) log [ p(x|y) / p(x) ] log [ p(x|y)p(y) / p(x)p(y) ] log [ p(xy) / p(x)p(y) ] log [ p(y|x) / p(y) ] I(y;x)互信息量I(x;y)表示两个随机变量x和y所包含的相同自信息量而互信息量I(y;x)表示的也是随机变量y和x所包含的相同自信息量。2. 互信息量可为零当随机变量x和y相互独立时I(x;y)0。3. 任意两个随机事件之间的互信息量不大于单一随机事件的自信息量由互信息量定义可得I(x;y) log [ p(x|y)/p(x) ] ≤ −log p(x) I(x)I(x;y) log [ p(y|x)/p(y) ] ≤ −log p(y) I(y)4. 互信息量可正可负例2.16 两只荡秋千的猫已知胖头鱼和小米粥两只猫荡秋千如图2.8所示。由于分心的事情太多两只猫会从秋千上掉下来。假设两只猫掉下来的概率均为0.5同时由于重量不同胖头鱼垂直掉落掉落的概率为0.9小米粥甩尾落下甩落的概率为0.7。求从秋千上掉下来的猫和掉落的方式掉落或甩落之间的互信息量。解(1) 建模。随机变量X表示坠落的猫有两种情况x₁ 胖头鱼x₂ 小米粥。随机变量Y表示坠落方式有两种情况y₁ 掉落y₂ 甩落。根据已知条件可得p(x₁)0.5 p(x₂)0.5p(y₁|x₁)0.9 p(y₂|x₁)1−p(y₁|x₁)0.1p(y₁|x₂)0.3 p(y₂|x₂)1−p(y₁|x₂)0.7(2) 坠落方式的概率分布。根据式(全概率)可得p(y₁) ∑ p(x_i)p(y₁|x_i) 0.5 × 0.9 0.5 × 0.3 0.6p(y₂) 1 − p(y₁) 0.4(3) 坠落的猫和坠落方式之间的互信息量。x₁胖头鱼 与 y₁掉落 之间的互信息量I(x₁;y₁)I(y₁;x₁) log₂ [ p(y₁|x₁) / p(y₁) ] log₂(0.9/0.6)0.585(bit)x₁胖头鱼 与 y₂甩落 之间的互信息量I(x₁;y₂)I(y₂;x₁) log₂ [ p(y₂|x₁) / p(y₂) ] log₂(0.1/0.4) −2(bit)x₂小米粥 与 y₁掉落 之间的互信息量I(x₂;y₁)I(y₁;x₂) log₂ [ p(y₁|x₂) / p(y₁) ] log₂(0.3/0.6) −1(bit)x₂小米粥 与 y₂甩落 之间的互信息量I(x₂;y₂)I(y₂;x₂) log₂ [ p(y₂|x₂) / p(y₂) ] log₂(0.7/0.4)0.81(bit)结论由此可见互信息量取负值是有可能的。2.5.5 平均互信息量1. 平均互信息量的定义定义2.22平均互信息2. 平均互信息量的物理意义(1) I(X;Y) H(X) − H(X|Y)(2) I(X;Y) H(Y) − H(Y|X3. 平均互信息量的性质(1) 非负性I(X;Y) ≥0两个随机变量相互独立时平均互信息量为零即I(X;Y)0当且仅当X与Y相互独立(2) 互易性对称性I(X;Y) I(Y;X)3极值性I(X;Y) ≤ H(X)I(X;Y) ≤ H(Y)2.6 熵的性质以及各种熵之间的关系2.6.1 信息熵的性质1. 信息熵是 N1 元函数因为概率空间的完备性∑p_i 1所以熵函数 H(X) 是 N1 元函数。2. 信息熵具有非负性非负性表明信源在发出符号之前总是具有一定的不确定性确定性信源除外可以提供一定的信息量。信息熵的非负性适用于离散随机变量集合而连续随机变量集合中相对应的概念是相对熵可能会出现负值。3. 信息熵具有对称性H(p₁,p₂,⋯,p_N) H(p₂,p₁,⋯,p_N) H(p_{i₁},p_{i₂},⋯,p_{i_N})式中i₁,i₂,⋯,i_N ∈ {1,2,⋯,N}且 i₁ ≠ i₂ ≠ ⋯ ≠ i_N。式表明只要随机变量集合的总体分布不变其信息熵不变。4. 信息熵具有确定性H(1,0) H(1,0,0) H(1,0,⋯,0)性质0㏒05. 信息熵具有扩展性lim(ε→0) H_{N1}(p₁,p₂,⋯,p_N−ε,ε) H(p₁,p₂,⋯,p_N)极小概率事件6. 信息熵具有连续性lim(ε→0) H(p₁,p₂,⋯,p_{N−1},p_Nε) H(p₁,p₂,⋯,p_N)7. 信息熵具有递增性当离散事件集从 N 个元素增加到 NM−1 时其信息熵从原来的 H(X) 增加了 H[p₁/p_N, q₁/p_N, q₂/p_N,⋯,q_M/p_N]。例2.19 信息熵递增的信源。利用信息熵递增计算信息熵 H(1/2,1/8,1/8,1/8,1/8)。解H(1/2,1/8,1/8,1/8,1/8) H(1/2,1/2)0.5H(1/4,1/4,1/4,1/4)10.5×2 2(比特/符号)8. 信息熵具有可加性例2.20 门球分布的信息熵。H(ABC) H(1/2,1/3,1/6)1.459(比特/球)第一步信息熵 H(1/2) 第二步发生概率 H(2/3,1/3)定理2.1 熵的可加性对离散随机事件集合 X 和 Y熵的可加性可以表示为H(XY)H(X)H(Y|X)H(Y)H(X|Y)I(X;Y9. 信息熵具有极值性定理2.2 离散最大熵定理当随机事件集合中的事件等概率发生时熵达到最大值即H(p₁,p₂,⋯,p_N) ≤ H(1/N,1/N,⋯,1/N) logN例2.24 具有最大熵的四个随机事件集合。X₁[0,1]P[1/2,1/2]X₂[0,1,2]P[1/3,1/3,1/3]X₃[0,1,2,3]P[1/4,1/4,1/4,1/4]X₄[0,1,2,3]P[1/2,1/4,1/8,1/8]求上述四个事件集合的信息熵。解H(X₁)H(1/2,1/2)1H(X₂)H(1/3,1/3,1/3)1.585H(X₃)H(1/4,1/4,1/4,1/4)2.00H(X₄)H(1/2,1/4,1/8,1/8)1.7510. 信息熵具有上凸性信息熵的上凸性是指熵函数 H(p₁,p₂,⋯,p_N) 是概率分布(p₁,p₂,⋯,p_N)的严格上凸函数。证明过程详见附录C。2.6.2 各种熵之间的关系1. 联合熵与信息熵和条件熵联合熵与信息熵和条件熵间的关系如下H(XY)H(X)H(Y|X)同理可得H(XY)H(Y)H(X|Y)上面两式所表示的关系即为信息熵的可加性。若两个随机变量独立则有H(XY)H(X)H(Y)2.联合熵小于或等于信息熵的和H(XY) ≤ H(X)H(Y)等号成立的条件X与Y相互独立。3.条件熵小于或等于无条件熵H(X|Y) ≤ H(X)特别地等号成立的条件是X与Y独立。4. 维拉图题信源X做N次离散平稳无记忆X.[X][0 1][P][1/2 1/2]N次log₂(1/2)1 bit10 P(10)P(1)P(0)1/4-log₂(1/4)2 bit4进制是2进制的几位2倍 A(名)[0,1,2,3] 1/4 [0,1] 1/2I(x)-log₂(1/2)1 bit I(x)log₂(4/1)2 bit1X女学生 Y近视女P(x)0.3 P(Y)0.5P(y|x)0.75P(x|y) P(x)P(y|x) / P(y) (0.3×0.75) / 0.5I(x;y) -log₂ P(x,y)2[X] [ x₁0 x₂1 x₃2 x₄3 ][P] [ 1/2 1/4 1/8 1/8 ]I(x₁) -log 1/2I(x₂) -log 1/4 2bitI(x₃) -log 1/8I(x₄) 3bitH[1/2, 1/4, 1/8, 1/8] -1/2log₂1/2 - 1/4log₂1/4 -1/8log₂1/8 -1/8log₂1/820 2|2017……) x₁:147x₂:137x₃:129 x₄:66I(X) 14I(x₁)……