信息论基础 | 第1章 绪论1.信息论的创始人香农Shannon信息论之父。2. 信息论诞生时间1948年香农发表了划时代论文《通信的数学理论》标志着信息论正式诞生。3. 三大基本概念1消息消息是接收信息的载体。常见 形式文字、语言、图像、符号、视频。2信息信息是事物运动状态或者存在方式的不确定性的描述。特点具有随机性、不确定性可以度量已知消息不含信息3信号信号是消息的物理传输形式电信号、电磁波。三者区别总结信息是内涵消息是外在形式信号是物理载体。教材内容总结4. 通信系统各组成部分详解通信流程信源 → 编码器 → 调制器 → 信道 → 解调器 → 译码器 → 信宿信源信息的来源输出消息消息的输出是随机的、不确定的又具有一定的体积规律可以用随机变量或者随机矢量等数学模型表示。编码器把消息变为符合或者符号序列核心目标是提高数据的传输有效性。调制器将符号转换成能在信道里传输的物理信号目的是提高传输效率使远距离传输成为可能远距离传输一般要做载波调制。信道信息的传输通路始于调制器终于调解器。狭义架空明线、电缆、波导、光纤、无线电波广义还可以是其他类型的传输媒介分析时常把系统各处的噪声和干扰等效为信道干扰。解调器调制器的反向操作在接收端把收到的信号还原成符号。译码器位于信息的接收端编码器的逆变换。信宿信息的接收方可以是人或者设备。5. 三种编码及其性能目标信源编码目标有效性作用去除冗余、压缩数据信道编码目标可靠性作用增加冗余、检错、纠错、抗干扰加密编码目标保密性作用对信息做变换防止未授权的对象获取信息内容6. 信息的三个层次语法信息符号本身的排列、统计关系语义信息符号代表的内在含义语用信息信息对于接收者的实际作用、价值拓展概念补充知识点7. 信息论研究内容信息论主要研究信息的度量、传输、存储、压缩、保密、纠错等问题从定量的角度分析信息处理与通信的基本规律。8. 信息论发展历程1924 奈奎斯特带宽与传输速率关系1928 哈特莱提出用对数函数度量信息的多少1948 香农发表了奠基性论文正式建立完整的信息论理论体系。