**信息论联合熵、条件熵、互信息、熵不等式、典型习题训练内容信息论基础 联合熵 条件熵 互信息 信息论计算题前言上篇学习了单变量信源的自信息量与信息熵。在实际通信系统中发送端信源为随机变量 X接收端输出为随机变量 Y二者存在统计关联。因此必须学习二维随机变量信息度量体系联合自信息、条件自信息、联合熵、条件熵、互信息量。一. 联合自信息量与联合熵1. 联合自信息量定义**物理含义**两个事件同时发生消除的不确定性等于第一个事件自信息加上已知第一件发生后第二件的剩余不确定性。2. 联合熵定义二维随机变量 XY 联合自信息量的数学期望称为联合熵。**物理含义**联合熵表征两个随机变量整体包含的总平均不确定性。3. 条件自信息量、条件熵3.1 条件自信息量**基本性质3.2 条件熵定义条件自信息量的数学期望为条件熵。物理含义H(X|Y)已知接收符号 Y 后发送符号 X 仍然剩余的平均不确定性4.互信息量4.1 事件互信息量**事件互信息性质4.2 平均互信息量平均互信息是整个概率空间的统计平均值是通信系统信息传输量的核心指标。三组万能计算公式平均互信息核心性质5.熵不等式对任意离散二维随机变量课本原题 2-3新增经典例题新增经典例题2本篇公式汇总表第二章全部核心定义总记忆表本篇小结本篇完整收录二维信息度量全部课本定义、核心公式、熵不等式保留课本原题新增两道考试代表性综合计算题覆盖联合熵、条件熵、互信息全套计算套路。本文仅为课程学习笔记所有概念、史实、定义均整理自翟明岳《信息论基础》教材仅用于个人学习交流不用于商业用途。教材著作权归原作者及出版社所有。