一、章节概览第2章是全书的理论基础章节核心目标是解决“如何定量度量信息”这一问题。本章从概率论基本知识出发依次引入自信息量、信息熵、联合熵、条件熵、互信息量和平均互信息量等核心概念最后总结熵的性质以及各种熵之间的关系。本章介绍的是信息度量的重要概念如自信息量、互信息量、信息熵和平均互信息量。二、概率论基本知识2.1 核心要点本章首先回顾了度量信息所需的概率论基础包括样本空间与随机事件、概率的有关概念、全概率公式和贝叶斯公式、先验概率和后验概率、离散随机变量及其统计特性。重点理解信息的度量建立在概率论基础之上后验概率与先验概率的差异是理解互信息的关键。先验概率是事件发生前已知的概率后验概率是在获得新信息后修正的概率。三、信息度量方法的引入信息度量方法的引入本质上是要寻找一个能够定量描述“不确定性”的函数。这一部分解释了为什么用对数函数来度量信息——对数函数能够满足信息量可加性的要求且与人的直觉感受较为一致。四、自信息量与信息熵4.1 自信息量定义事件xi发生所含有的信息量定义为I(xi) log(1 / p(xi)) -log p(xi)含义当事件xi发生以前表示事件xi发生的不确定性。当事件xi发生以后表示事件xi所含有的信息量。性质I(xi)是非负值。当p(xi) 1时I(xi) 0确定性事件不含信息量。两个独立事件的联合信息量等于它们分别的信息量之和可加性。4.2 信息熵定义信源各个离散消息的自信息量的数学期望也叫信息熵或香农熵H(X) E[I(xi)] -Σ p(xi) log2 p(xi) i 1 到 n含义信息熵表示信源输出前信源的平均不确定性信息熵越大输出前越难知道输出什么不确定性越大。信息熵是描述信源本身统计特性的一个物理量是信源平均不确定度的客观表征量。五、联合自信息量与联合熵5.1 联合自信息量I(xi yj) -log p(xi yj)5.2 联合熵H(XY) -Σ Σ p(xi yj) log2 p(xi yj) i 1 到 nj 1 到 m5.3 条件自信息量与条件熵条件自信息量定义为I(xi | yj) -log p(xi | yj)条件熵是条件自信息量的数学期望H(X | Y) Σ Σ p(xi yj) I(xi | yj) j 1 到 mi 1 到 n重要关系I(xi yj) I(xi) I(yj | xi) I(yj) I(xi | yj)六、互信息量与平均互信息量6.1 互信息量的定义互信息量表示接收到消息yj后获得关于事件xi的信息量I(xi; yj) log( p(xi | yj) / p(xi) )物理含义互信息量等于事件xi的不确定性减去在已知yj后xi仍存在的不确定性。当X和Y独立时互信息量为零。6.2 互信息量的性质对称性I(X; Y) I(Y; X)非负性I(X; Y) ≥ 0仅当X和Y独立时等号成立6.3 平均互信息量I(X; Y) H(X) - H(X | Y) H(Y) - H(Y | X)含义平均互信息量是从信源熵中扣除损失熵条件熵或从接收符号熵中扣除噪声熵后得到的信息量。极值性从一个事件提取关于另一个事件的信息量至多是另一个事件的熵那么多不会超过另一个事件自身所含的信息量。即I(X; Y) ≤ H(X)I(X; Y) ≤ H(Y)。七、熵的性质及各种熵之间的关系重点7.1 信息熵的基本性质非负性H(X) ≥ 0对称性熵函数关于各概率分量对称即交换任意两个概率分量熵值不变。确定性当某个事件概率为1时熵为0。扩展性增加一个概率极小的事件对熵值影响极小。可加性H(XY) H(X) H(Y | X) H(Y) H(X | Y)极值性最大离散熵定理H(X) ≤ log K当且仅当各消息等概率出现时取等号。表明等概信源的不确定性最大。上凸性熵函数H(X)为上凸函数。7.2 各种熵之间的关系H(XY) H(X) H(Y | X) H(Y) H(X | Y) H(XY) ≤ H(X) H(Y) I(X; Y) H(X) - H(X | Y) H(Y) - H(Y | X) H(X) H(Y) - H(XY)重要结论H(X | Y) ≤ H(X)条件作用使熵减小H(XY) ≤ H(X) H(Y)当且仅当X和Y独立时取等号I(X; Y) H(X) - H(X | Y) H(Y) - H(Y | X)六种信息度量概念对比概念定义公式物理含义取值范围典型应用场景自信息量I(xi)I(xi) -log p(xi)单个事件发生所含有的信息量反映该事件发生的不确定性。I(xi) ≥ 0衡量单个符号或事件的信息量如编码长度设计、单个消息的稀有程度评估。信息熵H(X)H(X) -Σ p(xi) log2 p(xi)信源输出前的平均不确定性是信源统计特性的客观表征。0 ≤ H(X) ≤ log K信源编码理论、数据压缩极限香农第一定理、通信系统信道容量分析。联合熵H(XY)H(XY) -ΣΣ p(xi yj) log2 p(xi yj)两个信源联合输出时的平均不确定性刻画联合分布的整体信息量。0 ≤ H(XY) ≤ H(X) H(Y)多变量系统分析、联合信源编码、图像与多维信号处理中的联合不确定性度量。条件熵H(X | Y)H(X | Y) ΣΣ p(xi yj) I(xi | yj)已知 Y 后 X 仍存在的平均不确定性反映信道损失或噪声带来的信息损失。0 ≤ H(X | Y) ≤ H(X)信道容量计算损失熵、噪声信道分析、条件预测模型中的不确定性评估。互信息量I(xi; yj)I(xi; yj) log( p(xi | yj) / p(xi) )接收到 yj 后获得关于 xi 的信息量即不确定性减少的量。可为正、负或零单次观测的信息增益分析、特征选择中单个特征与标签的相关性判断。平均互信息量I(X; Y)I(X; Y) H(X) - H(X | Y) H(Y) - H(Y | X)从整体上度量两个信源之间的统计依赖程度即平均信息传输量。0 ≤ I(X; Y) ≤ min(H(X), H(Y))信道容量定义、特征选择与降维、聚类与关联分析、机器学习中的互信息准则。八、本章重点与难点总结重点掌握自信息量和信息熵的定义与物理含义互信息量和平均互信息量的定义及性质熵的可加性、极值性和上凸性各种熵之间的关系式联合熵、条件熵、互信息量三者的关系难点理解互信息量与平均互信息量的区别与联系熵函数的上凸性及其物理意义九、本章思维导论本章思维导论以「离散信息的度量」为中心主题围绕信息度量这一核心问题向下展开六个一级分支分别对应本章的六大知识模块自信息量定义公式I(xi) -log p(xi)关键子节点包括「非负性」「确定性事件信息量为零」「可加性」。信息熵定义公式H(X) -Σ p(xi) log2 p(xi)关键子节点包括「平均不确定性」「香农熵」「信源统计特性表征」。联合熵定义公式H(XY) -ΣΣ p(xi yj) log2 p(xi yj)关键子节点包括「联合分布整体信息量」「联合自信息量I(xi yj)」。条件熵定义公式H(X | Y) ΣΣ p(xi yj) I(xi | yj)关键子节点包括「条件自信息量I(xi | yj)」「损失熵」「条件作用使熵减小」。互信息量定义公式I(xi; yj) log( p(xi | yj) / p(xi) )关键子节点包括「对称性」「非负性」「不确定性减少量」。平均互信息量定义公式I(X; Y) H(X) - H(X | Y) H(Y) - H(Y | X)关键子节点包括「统计依赖程度」「信道容量」「极值性I(X; Y) ≤ min(H(X), H(Y))」。此外思维导图还延伸出两个支撑性分支一是「概率论基础」涵盖样本空间、全概率公式、贝叶斯公式、先验与后验概率等前置知识二是「熵的性质」包括非负性、对称性、确定性、扩展性、可加性、极值性最大离散熵定理和上凸性。各分支之间通过「联合熵 信息熵 条件熵」「平均互信息量 信息熵 - 条件熵」等关系式相互关联共同构成完整的离散信息度量知识框架。来源标注说明本文所有核心概念、定义、公式及性质均整理自翟明岳《信息论基础》清华大学出版社2023年11月第1版第2章“离散信息的度量”章节结构依据教材目录公式与性质参考教材正文。