马尔可夫信源与信源内容马尔可夫信源、状态转移概率、马尔可夫信源熵、信源最大熵、信源剩余度冗余度包含课本定义、概念解读、性质、例题公式附带释义标注一.马尔可夫信源1.马尔可夫信源定义若信源输出符号序列某一时刻输出符号的概率仅依赖前面有限m个符号与更早时刻输出的符号无关该信源称为m阶马尔可夫信源。m阶代表信源记忆长度只记忆最近m个符号0阶马尔可夫信源等价于无记忆离散信源一阶马尔可夫信源考试最为高频下一个符号发生的概率只和紧邻前一个符号有关马尔可夫信源属于有记忆信源符号之间存在相关性可以用状态描述信源记忆。2.信源状态与状态转移概率【定义】把m个连续符号组合定义为马尔可夫信源的一个状态 s。信源从当前状态 s输出某符号之后跳转到下一个状态 s发生跳转的概率叫做状态转移概率。【概念解读】3.m阶马尔可夫信源熵【定义】达到稳态之后m阶马尔可夫信源每符号平均信息量也就是马尔可夫信源的极限熵。【概念解读】4.马尔可夫信源核心性质【课本例题】某一阶二元马尔可夫信源稳态状态概率已知代入状态与输出符号条件概率直接使用上面公式计算信源极限熵算出结果即为每个符号实际平均信息量。3.3 信源最大熵【定义】q元离散无记忆信源当各个输出符号等概率分布的时候信源熵取得最大值该最大值称为信源最大熵。【课本公式】【概念解读】q 代表信源符号的总个数最大熵是信源理论能够达到的信息量上限只要符号不是等概率分布信源实际熵一定小于最大熵最大熵只和符号数量q有关与各个符号发生的具体概率无关。3.4 信源剩余度冗余度【定义】信源的最大熵与实际极限熵之间存在差值代表信源当中存在可压缩的多余成分使用剩余度衡量信源冗余的大小。剩余度体现信源可以进行压缩编码的空间。3.4.1 信源信息效率【定义】信源实际极限熵与最大熵的比值代表信源信息被利用的程度。【课本公式】【概念解读】n 取值介于0~1之间数值越接近1代表信源符号的信息利用越充分。3.4.2 信源剩余度【课本公式】【概念解读】【课本完整计算例题】本篇博客公式汇总本篇易错考点小结马尔可夫信源核心是有限记忆一阶只依赖前一个符号马尔可夫信源极限熵等于条件熵最大熵仅取决于符号数目q剩余度越大代表信源可压缩空间越大剩余度来自符号概率不均匀、符号之间相关性。