前言最近在学习《信息论基础》刚开启第二章离散信息的度量。翻开这一节的时候我觉得特别疑惑明明课程主题是研究信息为什么开篇要用一大块篇幅复习概率论但随着学习和慢慢的理解之后终于明白信息论的核心观点信息的本质是消除不确定性而不确定性只能依靠概率去定量描述。如果一件事情发生概率是1结果完全确定没有任何悬念这件事就无法带来任何信息反之一件事情结果越难预测不确定性越高一旦知道结果我们收获的信息就越多。所以现在我明白这个小节不是简单的复习是整个离散信息论的底层工具库。香农熵、互信息、信道容量这些后面的核心内容全部建立在本节的概率概念、公式之上。本文是我课后整理的学习博客知识点参考教材[1]没有直接抄写课本原文加入了很多自己初学时候踩坑的感悟。每一个公式都附带简单易懂的例题为了让自己弄懂希望不仅是记录笔记也能帮和我一样零基础入门信息论的同学看懂。1 概率论基本知识1.1 样本空间与随机事件1. 样本空间$\Omega$样本空间定义随机试验当中所有可能出现的全部结果构成的集合。我的理解样本空间相当于划定了我们讨论问题的边界。后续所有事件、概率计算都不能跳出这个集合。不在样本空间内的结果是绝对不可能发生的。例题做抛一枚硬币的随机试验。试验能出现的结果只有正面朝上、反面朝上。样本空间 $\Omega\{正面,反面\}$。我们所有讨论只能在正面、反面这两个结果里不存在“硬币立起来”这类以外结果。2. 随机事件随机事件是样本空间$\Omega$的子集代表随机试验里我们关心的一类结果。在试验完成之前我们无法确定事件会不会发生。我的理解正是因为事件具备“可能发生、也可能不发生”的不确定性事件才可以承载信息。必然发生或者必然不会发生的事件没有不确定性也就不存在信息。例题掷一枚六面均匀骰子样本空间$\Omega\{1,2,3,4,5,6\}$。我们定义事件A骰子点数大于3。事件A是样本空间的子集$A\{4,5,6\}$。在掷骰子之前我们无法确定A会不会发生因此这个事件带有不确定性。1.2 概率的有关概念1. 概率$P(A)$概率用来量化随机事件A发生可能性的大小取值范围$0 \le P(A) \le 1$- $P(A)0$事件A是不可能事件一定不会发生- $P(A)1$事件A是必然事件一定会发生2. 概率三大公理非负性、规范性、可列可加性- 非负性任意事件的概率都大于等于0概率不能是负数- 规范性整个样本空间$\Omega$发生的概率 $P(\Omega)1$- 可列可加性若多个事件两两之间没有交集互斥那么这些事件的和事件概率等于各个事件概率相加。我的理解这三条公理是所有概率公式的源头。后面学习的全概率公式、贝叶斯公式都是从这三条公理推导得到。我们在信息论里面做所有概率运算都不能违背这三条基本规则。例题继续用均匀骰子。事件A点数大于3$A\{4,5,6\}$事件B点数等于1$B\{1\}$。A和B没有公共元素二者互斥。$P(A)\frac{3}{6}0.5$$P(B)\frac{1}{6}$根据可列可加性$P(A\cup B)P(A)P(B)\frac{4}{6}\frac{2}{3}$1.3 全概率公式和贝叶斯公式这两个公式是信息论、通信方向最高频的公式后续信道模型、译码计算、后验概率全部依赖它们是本节重中之重必须吃透。1全概率公式若$B_1,B_2,\dots,B_n$是样本空间的一个划分各个$B_i$两两互斥并且所有$B_i$合起来覆盖整个样本空间。$$P(A)\sum_{i1}^n P(B_i)P(A|B_i)$$公式含义事件A发生的总概率可以拆分成多个情况求和。每一项代表前提事件$B_i$发生的概率乘以在$B_i$已经发生的条件下事件A发生的条件概率。我的理解分情况汇总。放到通信场景理解接收端收到符号A收到A的总概率等于发送端每一个可能发送符号$B_i$分别产生接收符号A的概率累加在一起。例题一个通信系统发送符号有两种$B_1,B_2$。发送$B_1$的概率$P(B_1)0.6$发送$B_2$的概率$P(B_2)0.4$。信道会产生噪声发送$B_1$时收到A的概率$P(A|B_1)0.9$发送$B_2$时收到A的概率$P(A|B_2)0.2$。求接收端收到A的总概率$P(A)$。套用全概率公式$$\begin{align*}P(A)P(B_1)P(A|B_1)P(B_2)P(A|B_2)\\0.6\times0.9 0.4\times0.2\\0.540.08\\0.62\end{align*}$$所以收到A的总概率是0.62。2贝叶斯公式$$P(B_i|A)\frac{P(B_i)P(A|B_i)}{P(A)}$$公式含义已知结果A已经发生反过来去推导造成这个结果A的原因是$B_i$的概率。简单概括由结果反推原因。我的理解这就是通信译码的核心思路接收端拿到收到的信号A反过来估算发送端最有可能发送的符号$B_i$信息论中后验概率的计算全部依靠贝叶斯公式。例题沿用上面全概率的例题。已经算出收到A的总概率$P(A)0.62$。现在已知接收端收到A求此时发送端发送的是$B_1$的后验概率$P(B_1|A)$。套用贝叶斯公式$$\begin{align*}P(B_1|A)\frac{P(B_1)P(A|B_1)}{P(A)}\\\frac{0.6\times0.9}{0.62}\\\frac{0.54}{0.62}\approx0.871\end{align*}$$也就是说收到A之后我们有大约87.1%的把握发送端发送的是符号$B_1$。1.4 先验概率和后验概率1. 先验概率 $P(B_i)$定义在观测到任何实验结果之前我们预先知道的事件发生概率。通信场景例子在发送信号之前我们预先就知道发送符号$B_i$出现的概率这个就是先验概率。2. 后验概率 $P(B_i|A)$定义观测到结果A之后更新得到的概率一般依靠贝叶斯公式进行计算。我的个人理解信息获取的全过程本质就是先验概率更新为后验概率的过程。拿到观测结果之后我们对事件的猜测发生更新不确定性下降了减少掉的这一部分不确定性就是我们获取到的信息。例题还是上面通信例子。观测前没收到信号A$P(B_1)0.6$这是先验概率。观测后收到信号A$P(B_1|A)\approx0.871$这是后验概率。收到A这个观测更新了我们对发送符号的判断不确定性降低我们得到了信息。再举生活化例子猜硬币正反。没看硬币结果前正反面先验概率各0.5当我们看到硬币结果之后后验概率变成1或者0不确定性完全消除我们就获取了信息。1.5 离散随机变量1. 定义随机变量的取值是有限或者可数无限个离散数值一般用大写字母X,Y表示。我的个人理解第二章后面要学习的香农熵就是定义在离散随机变量的概率分布之上。整个离散信息论研究的核心对象就是离散随机变量。2. 概率质量函数PMF$P(Xx_i)$含义为离散随机变量X取$x_i$这个值的概率。性质随机变量所有取值对应的概率相加总和等于1。$$\sum_i P(Xx_i)1$$例题抛一枚均匀硬币定义离散随机变量X正面记为1反面记为0。$P(X1)0.5$$P(X0)0.5$验证性质$P(X1)P(X0)0.50.51$满足条件。1.6 离散随机变量的统计特性我们使用一些特征数字概括一个随机变量整体分布的特点本节重点掌握数学期望与方差两个公式。1数学期望均值$E[X]$$$E[X]\sum_i x_i \cdot P(x_i)$$含义大量重复独立试验之后随机变量取值的平均值。我的理解期望代表随机变量的平均取值。注意期望不一定是X能够实际取到的值它只是统计平均值。例题掷均匀六面骰子随机变量X代表骰子点数。$x_i1,2,3,4,5,6$每个取值概率都是$\frac16$。$$\begin{align*}E[X]1\times\frac162\times\frac163\times\frac164\times\frac165\times\frac166\times\frac16\\\frac{21}{6}3.5\end{align*}$$骰子本身只能取整数3.5这个值骰子永远不会掷出来它只是大量投掷之后的统计平均值。2方差$D(X)$$$D(X)E\left[(X-E[X])^2\right]$$含义衡量随机变量的取值偏离均值的波动大小。方差越大变量数值波动越强。- 方差关心变量数值大小的波动和变量取值数字本身有关系- 熵只关心概率分布的不确定程度和变量取什么数字没有关系。二者描述的对象完全不同千万不能把方差等同于熵。例题沿用骰子例子$E[X]3.5$计算方差$D(X)$$$\begin{align*}D(X)E\left[(X-3.5)^2\right]\\(1-3.5)^2\cdot\frac16(2-3.5)^2\cdot\frac16(3-3.5)^2\cdot\frac16 \\\quad (4-3.5)^2\cdot\frac16(5-3.5)^2\cdot\frac16(6-3.5)^2\cdot\frac16\\\frac{35}{12}\approx2.917\end{align*}$$方差≈2.917代表骰子点数整体围绕均值3.5有一定波动。小节总结个人学习复盘2.1感觉这里表面是复习概率论本质是搭建信息论的工具库仅代表个人观点逻辑梳理如下1. 样本空间、随机事件、概率公理用来描述事件的不确定性2. 全概率公式、贝叶斯公式实现“原因→结果”和“结果→原因”的概率转换是通信译码的基础3. 先验概率、后验概率刻画获取信息前后不确定性发生怎样的改变对应信息的定义4. 离散随机变量期望、方差作为数学载体用来定义香农熵实现信息的定量度量。初学的时候我自己总觉得这些概率知识和信息没有关联直到看懂了一些例题才理解信息论不是凭空诞生的香农就是依靠概率论把模糊的“信息”概念变成可以计算、可以度量的数量。参考文献[1] 傅祖芸. 信息论——基础理论与应用(第5版)[M]. 电子工业出版社,2021.