自信息、联合自信息、条件自信息、互信息、熵、条件熵、联合熵区别关系用途性质✨前言很多同学学信息论最大的难点分不清「事件信息量单次」和「熵平均信息量整体统计」分不清「小写互信息可负」和「大写平均互信息恒正」本文一次性整理所有信息量、所有熵、所有性质、所有区别、所有计算公式、适用场景、相互推导关系。看完这篇信息论第二章计算题、概念题、判断题全部通关。全文默认对数以 2 为底单位bit目录四类【事件级信息量】小写 I四类【熵平均度量】大写 H、I所有核心性质汇总所有公式串联关系详细区别对比考试必考每个知识点的真实用途维恩图逻辑关系总结期末高频易错大坑全文总结一、事件级信息量针对单个事件1.自信息量 I(x)公式I(x)−log⁡2p(x) I(x)-\log_2 p(x)I(x)−log2​p(x))性质I(x)\ge 0概率越小信息量越大必然事件 p1 \Rightarrow I0含义某一个事件单独发生自带的信息量用途衡量单个消息的惊奇程度、稀有程度2.条件自信息量 I(y|x)公式I(y∣x)−log⁡2p(y∣x) I(y|x)-\log_2 p(y|x)I(y∣x)−log2​p(y∣x))性质永远非负已知 x 后y 剩余的信息量用途已知一个条件后剩余不确定事件的信息量3.联合自信息量 I(xy)公式I(xy)−log⁡2p(xy) I(xy)-\log_2 p(xy)I(xy)−log2​p(xy))性质I(xy)I(x)I(y|x)含义x、y两个事件同时发生总共携带的信息量用途描述两个事件共同出现的总信息量4.事件互信息量 I(x;y)公式I(x;y)log⁡2p(x∣y)p(x)I(x)−I(x∣y) I(x;y)\log_2\frac{p(x|y)}{p(x)}I(x)-I(x|y)I(x;y)log2​p(x)p(x∣y)​I(x)−I(x∣y))⭐超级重要性质可正、可负、可为 0对称性I(x;y)I(y;x)含义收到 y 之后对 x 减少或增加的不确定度取值含义I0y 帮我们认识 x减少不确定性I0xy独立互不提供信息I0干扰y出现反而更不确定用途分析单次事件之间的信息关联、干扰关系二、熵系列随机变量整体平均熵 自信息的数学期望描述整体平均不确定度1.信息熵 H(X)公式H(X)−∑xp(x)log⁡2p(x) H(X)-\sum_{x} p(x)\log_2 p(x)H(X)−x∑​p(x)log2​p(x))性质H(X)\ge0确定信源H(X)0等概率分布熵最大用途信源压缩编码极限、衡量信源混乱程度2.条件熵 H(Y|X)公式H(Y∣X)−∑x∑yp(xy)log⁡2p(y∣x) H(Y|X)-\sum_{x}\sum_{y} p(xy)\log_2 p(y|x)H(Y∣X)−x∑​y∑​p(xy)log2​p(y∣x))性质H(Y|X)\ge0H(Y|X)\le H(Y)独立时H(Y|X)H(Y)用途已知X后Y剩余平均不确定度代表信道噪声残余不确定性3.联合熵 H(X,Y)公式H(X,Y)-\sum\sum p(xy)\log_2 p(xy)性质H(X,Y)H(X)H(Y|X)用途两个信源整体的总平均不确定性4.平均互信息量 I(X;Y)公式I(X;Y)H(X)-H(X|Y)H(Y)-H(Y|X)I(X;Y)H(X)H(Y)-H(X,Y)⭐必考性质永远大于等于 0I(X;Y)\ge0用途信道传输信息量求信道容量最大值判断两个变量相关性强弱三、所有公式终极串联背诵版1.事件层面\begin{align}I(xy) I(x)I(y|x) \I(x;y) I(x)-I(x|y) \I(x;y) I(x)I(y)-I(xy)\end{align}2.熵平均层面\begin{align}H(X,Y) H(X)H(Y|X) \I(X;Y) H(X)-H(X|Y) \H(X) I(X;Y)H(X|Y) \H(Y) I(X;Y)H(Y|X) \H(X,Y) H(X|Y)H(Y|X)I(X;Y)\end{align}四、最全区别对比考试最容易混淆1.小写 I事件VS 大写 H/I平均I(x),I(xy),I(x;y)单次事件随机、可负H(X),H(X,Y),I(X;Y)整体统计永远 ≥02.最大坑点期末必考事件互信息 I(x;y) 可以为负数平均互信息 I(X;Y) 绝对不为负数3.逗号、分号区别I(xy)联合信息同时发生I(x;y)互信息互相提供信息五、每个知识点的核心用途总结自信息单个消息稀有度、惊奇度联合自信息双事件共同信息量条件自信息已知条件后剩余信息量事件互信息单次事件关联、干扰分析信息熵信源平均不确定度、编码极限条件熵信道残余不确定、噪声残留联合熵双信源总混乱度平均互信息信道传输能力、相关性强弱、信道容量计算六、维恩图逻辑总结最直观两个大圆H(X)、H(Y)相交公共区域I(X;Y)有效传输信息不相交部分H(X|Y)、H(Y|X)残留不确定两圆总面积H(X,Y) 总不确定度七、期末高频易错点不要混淆「事件」和「统计平均」熵永远 ≥0条件熵一定小于等于原熵独立时互信息0、条件熵原熵事件互信息可负、平均互信息恒正✅全文总结简单一句话彻底吃透信息论自信息看单次惊奇熵看整体混乱联合看共同条件看剩余事件互信息可正可负看单次关联平均互信息恒正看信道真实传输能力。所有计算题、证明题、选择题、判断题全部围绕以上公式与性质展开掌握本篇 掌握第二章全部考点。