做这个系列专题之前我一直在想一个问题很多人张口闭口“信息时代”“信息技术”可真要问一句“信息到底是什么”能立刻说清楚的人并不多。我当年学信息论的时候第一堂课老师就问了我们这个问题全班四十多人没一个人能给出一个像样的定义。后来我才明白这事儿不怪我们笨是因为“信息”这个词在日常语境里太模糊了模糊到我们根本意识不到它还有一个精确的数学定义。这期专题就专门把这事儿捋清楚什么是信息、什么是信息技术以及那个被问了无数遍的问题——信息技术和计算机技术到底什么关系。这篇内容适合刚接触信息论和编码理论的初学者也适合想把自己的技术知识体系化梳理一遍的从业者。我会尽量避开教科书式的死板定义用我自己理解和实践下来的思路来讲该有的公式和计算过程一步都不会省但保证每个概念都能让你在脑子里形成画面感。1. 信息从玄学概念到数学定义的跨越日常生活中我们说的“信息”基本等同于“消息”“内容”“情报”。比如“你告诉我一个信息”这里的“信息”指的是那条消息本身。但信息论里说的信息跟这个完全是两码事。这个区分如果不彻底搞清楚后面所有的内容都会飘在空中。1.1 香农的视角信息就是不确定性的消除1948年香农在《通信的数学理论》里给出了一个划时代的定义信息是用来消除不确定性的东西。这个定义看起来简单内涵极其深刻。它把“信息”从一种内容属性变成了一种数学上可度量的物理量。我举个例子你就明白了。假设我在等一个二进制信号信号只可能有两种状态0或者1。在没有收到信号之前这个结果是完全不确定的——可能是0也可能是1概率各占一半。这时候如果收到了一条消息告诉我“结果是1”我的不确定性就被完全消除了。这条消息之所以携带“信息”正是因为它消除了我的不确定。但如果我事先已经知道这个信号100%是1——比如我看到的根本就是一个恒定的电平——那即便有人再告诉我一次“它是1”这句话对我来说也毫无信息量。因为我的不确定性本来就是零。所以你发现了信息量的大小不取决于消息本身有多长、内容多丰富而取决于它消除了多少不确定性。同一个词在不同场景下携带的信息量完全不同。这个视角的转变是整个信息论的基石。1.2 信息量怎么算对数公式与比特的诞生既然信息是“消除不确定性的量”那就要解决一个核心问题如何量化它香农的思路是这样不确定性的本质是“有多少种可能、以及每种可能出现的概率”。可能性越少不确定性越小可能性越多不确定性越大。而信息的度量就应该跟“可能性的数量”取对数挂钩。最经典的公式是自信息量公式I(x) log2(1/p(x)) -log2(p(x))其中p(x)是事件x发生的概率。为什么取对数因为对数能把“乘法关系”变成“加法关系”。举个例子如果一件事有8种等可能的结果那么需要一个消息来确认到底发生了哪种结果这消息的信息量就是log2(8) 3比特。如果换成64种等可能结果信息量变成log2(64) 6比特。两种情况的概率分别为1/8和1/64你代入公式算一下结果完全一致。对数在这里的作用就是让信息量能够线性叠加这样我们才可以方便地描述“两条消息合起来带来了多少信息”。单位“比特”也由此而来。1比特的信息量就是“在两种等可能状态中做出区分”所需要的信息。这跟我们计算机里的“位”完美对应——一位二进制数正好能表示两种状态携带1比特信息。香农用一个数学概念为整个数字时代定了度量衡这是我每次想到这里都觉得极其震撼的地方。1.3 信息熵平均意义上的信息量单条消息的信息量好算但一个信源会产生很多条不同概率的消息。我们还需要一个“平均信息量”来刻画信源本身的特性。这就引出了信息熵H(X) -Σ p(xi) log2 p(xi)这里Σ表示对所有可能的消息求和。信息熵描述的是这个信源平均而言每产生一条消息能带来多少比特的信息量。我用一个具体例子算给你看。假设一个信源只有两种输出A和B概率分别为0.5和0.5。其信息熵为H -(0.5 × log2 0.5 0.5 × log2 0.5) -(0.5 × (-1) 0.5 × (-1)) 1比特这意味着该信源平均每条消息提供恰好1比特信息。如果改成A的概率是0.9、B的概率是0.1代入计算H -(0.9 × log2 0.9 0.1 × log2 0.1) ≈ -(0.9 × (-0.152) 0.1 × (-3.322)) ≈ 0.469比特结果明显变小了。原因也好理解因为A几乎总是出现每次来一个消息你能获得的“新东西”也就变少了不确定性降低了。当某种结果概率趋近于1时信息熵趋近于0——这个信源几乎不携带信息。反过来当所有结果等概率分布时信息熵达到最大值。这从直觉上也非常通顺结果越难猜消息才越有分量。信号与噪声的经典关系也可以从这里引申。信道里的噪声本质上是一个你不想要的信源它会不断产生随机的干扰消息增加接收端的不确定性。你能从接收信号中提取的有效信息就是总不确定性减去噪声带来的那部分不确定性。这正是香农第一定理——信源编码定理以及香农第二定理——信道编码定理——的直觉基础。2. 信息技术比你想象的更宽广搞清楚了信息是什么再来看信息技术就顺手多了。如果信息是“消除不确定性的东西”那么一切用来“获取、传输、处理、存储、展示信息”的手段都可以叫信息技术。这个定义比大多数人以为的要宽泛得多。2.1 信息技术的五个核心环节我习惯把信息技术的全貌拆成五个环节感知、传输、处理、存储、应用。你仔细观察任何一个信息系统的架构无论多复杂本质上都在这五个环节里打转。感知环节负责从物理世界采集信息。传感器、摄像头、麦克风、雷达、各种测量仪表干的事儿都是把现实世界的物理量变成数据。传输环节负责把信息从一端搬到另一端从古代的烽火狼烟、驿站快马到今天的无线电波、光纤通信都是传输环节的不同形态。处理环节负责对信息进行变换、分析、计算从算盘、机械计算机到今天的电子计算机都属于这个范畴。存储环节负责把信息记录到某种介质上纸张、胶卷、磁盘、闪存不同时代有不同载体。应用环节则是把信息最终转化为决策和行动比如你手机上的导航软件把定位信息和地图数据处理后给你输出一条最优路线。这五个环节缺了任何一个信息技术都无法构成完整的闭环。但现实中很多讨论尤其是非技术圈子的讨论往往把注意力全部集中在“处理”这一环上忽略了其他四个环节的价值。这是我特别想纠正的一个认知偏差。2.2 信息技术的历史纵深远早于电子计算机很多人一提信息技术就想到计算机、想到互联网这是典型的以偏概全。信息技术的历史跟人类文明一样长。文字的出现是人类第一次大规模地把信息存储到身体之外打破了信息传递的时间和空间限制。纸张和印刷术的发明让信息的复制成本断崖式下降知识不再是极少数人的特权。电报和电话的普及让信息传输首次摆脱了物理载体的运输速度电信号承载的信息可以跨越大洲大洋近乎瞬时到达。广播和电视让信息可以从一点向无数点同时辐射大众传播时代由此开启。到了计算机和互联网登上舞台信息的处理能力和分发能力再次发生质变数字时代才真正到来。从这个脉络可以看到每个历史阶段的“信息技术”都有鲜明的时代特征但背后的核心逻辑是一致的都是让信息在感知、传输、处理、存储、应用这五个环节上跑得更快、覆盖更广、成本更低。计算机技术是信息技术演进到某个阶段后的产物而不是信息技术的全部。2.3 技术维度的解构现代信息技术的分层结构现代信息技术发展到现在已经形成了一个非常清晰的分层结构。从底层到顶层我梳理下来大概是这样的层次物理层技术芯片制造、光纤通信、无线射频、传感器技术解决的是信息的物理承载问题。逻辑层技术操作系统、数据库管理系统、网络协议栈解决的是信息资源如何被统一管理和调度的问题。应用层技术各类软件、算法模型、人工智能系统解决的是信息如何落地为业务价值的问题。每一层都依赖下一层提供的抽象能力。芯片技术的每一次突破都会传导性地推动上层应用的变化——比如移动处理器性能的大幅提升才让深度学习模型在终端设备上跑起来成为现实。反过来上层应用产生的海量需求也会倒逼底层技术迭代——比如视频流媒体爆发推着内容分发网络和视频编码标准不断升级。理解这个分层观对我们判断一项新技术的价值和位置非常有帮助。3. 信息技术与计算机技术的关系先分清楚再谈融合现在到了本篇的核心辨题。信息技术与计算机技术到底什么关系两种极端说法都有一种说“计算机技术就是信息技术”另一种说“信息技术的核心就是计算机技术”。我给的答案是两者本质不同却又深度交融。说句大白话计算机技术是信息技术的心脏但信息技术是整具躯体。3.1 边界辨析外延与内涵的差别从外延上看信息技术的外延远大于计算机技术。信息技术涵盖信息的获取、传输、存储、处理和应用其中“传输”这一块在传统上归属于通信技术“感知”归属于传感器和仪器仪表技术“存储”还牵扯到介质科学。而计算机技术呢专注的是冯·诺依曼架构下的运算、控制和存储组织方式属于“处理”环节的核心技术。从内涵上看计算机技术为信息技术提供了最关键的通用计算能力。没有强大的计算能力现代信息技术从感知到应用整个链条都会塌掉——传感器采集到的海量数据无法被及时处理通信系统的编解码效率上不去人工智能算法也没有物质基础来支撑。你甚至可以这样理解信息系统中感知、传输、存储、应用这些环节的落地最后几乎都要依赖计算机技术来实现。所以计算机技术虽然不等于信息技术却是现代信息技术最硬核的底座。为了说清楚我做了一个对照关系表对比维度信息技术计算机技术核心关注点信息的全生命周期管理信息的计算与存储代表性学科信息论、通信工程、控制论计算机体系结构、操作系统、编程理论典型产物通信网络、传感器系统、互联网CPU、操作系统、软件生态历史起点文字、印刷术、电报机械计算器、图灵机、电子计算机演进动力更广范围的信息流通更快的计算速度这张表做完两个概念的重合与分野就一目了然了。3.2 依赖共生通信与计算的双向奔赴信息技术和计算机技术的关系最生动的体现就是现代通信与计算的深度融合。我举个很实际的例子你在手机上发一条微信消息。这条消息先由你手机上的应用层软件编码这是计算机技术在处理。然后它被交给通信模块经过调制、编码、加扰等一系列操作后通过无线信道发射出去这是通信技术也是信息技术在发挥作用。消息传到基站后机房里的服务器要对它进行路由决策、排队调度、存储转发这又是强大的计算机技术在做支撑。整个过程中你很难划出一条清晰的线说“这一段纯粹是计算机技术那一段纯粹是通信技术”。因为现代通信系统本质上就是一台分布在广阔地理空间上的超大型计算机。反过来看经典计算机科学的基础理论之一——图灵机模型——本身也在研究“信息如何被一步步处理”。计算过程就是把输入信息按照规则一步一步转换成输出信息的过程。从这个角度说计算机科学天然就是信息科学的一个分支只是它把重心放在了“处理”环节上而且发展出了极其庞大的理论和技术体系才在学科谱系上形成了一个独立王国。另外需要留意的是它们的历史先后顺序。所谓“信息技术起源于计算机技术”的说法是站不住脚的。电报出现在19世纪30年代比第一台电子计算机早了整整一百年。即便不说电报文字和印刷术更是早在计算机出现之前几千年就完成了信息技术的原始积累。计算机技术是在已有信息需求的大背景下应运而生的它的出现让信息技术从模拟时代跃迁到数字时代是一次革命性的加速而不是起点。3.3 做技术判断时的实际意义很多人可能会问搞这么清楚有什么实际价值真有用。当你做一个系统架构决策时如果分不清技术归属很容易选错技术方向。举个例子。某公司的系统遇到瓶颈如果问题出在数据传输环节——比如带宽占用过高、网络时延不稳定——这就是典型的信息技术问题应该去调整传输协议、压缩算法、网络拓扑而不是一味加大服务器计算能力。反过来如果问题出在查询速度慢、计算资源耗尽上那就是计算机技术层面的问题该换数据库方案、加缓存、优化算法逻辑而不该盲目改造网络架构。分清信息技术和计算机技术本质是帮你做更精准的问题定位。4. 编码理论视角信息从“理解”到“传输”的桥梁既然这个系列叫“信息论与编码理论专题”那必须把编码理论的视角融进来因为它正好把前面两章的内容串联到一起了。信息论回答的是“信息能压缩到什么程度”“信道能以什么速率可靠传输”等理论极限问题编码理论则负责发明具体的技术方案去逼近这些极限。它们的关系很像物理学里的理论物理和实验物理。4.1 信源编码把冗余挤出去信源编码的目标是去除信息中的冗余。注意这里的“冗余”不是废话的意思而是那些不携带新信息的部分。自然语言的冗余度非常大大到什么程度呢有人做过统计分析英文文本的冗余度大约在50%左右。这意味着理论上你可以删掉约一半的字符还能基本保留原文的语义信息。这就牵扯出信息论里一个极具反直觉的结论信息的“质”远比“量”重要。一段完全随机、毫无规律的字符串如果它有10个字符那每个字符都可能是约5到6比特的信息量取决于字符集大小而一段按语法规则写成的自然语言段落看似字符很多但很多字符的概率是高度可预测的——你看到一个“Th”后面就知道大概率是“e”。这种可预测性就是冗余的来源也是可以被压缩的空间。经典的哈夫曼编码就是干这件事的。对高频出现的符号给短码字对低频出现的符号给长码字让平均码长接近信源熵从而逼近“无损压缩的理论极限”。我当年第一次自己实现哈夫曼编码的时候拿一篇文章测试压缩率大概到了55%左右跟理论上算出来的熵值非常接近。那种“理论预测被代码实证”的感觉是真正建立信息论直觉的开始。4.2 信道编码给信息穿上铠甲信源编码解决的是“用最少的比特描述一个信源”的问题信道编码解决的则是“在充满噪声的信道里如何保证这些比特不出错”的问题。信道编码的核心方法是在原始数据上人为地加入受控的冗余用这些冗余来发现或纠正传输中发生的错误。看似矛盾信源编码在拼命去冗余信道编码却在拼命加冗余。其实一点不矛盾两者的目标完全不同。信源编码去掉的是信源的固有冗余信道编码加入的是防护性的结构冗余。一个是为了经济性一个是为了可靠性二者结合才构成一个完整高效的通信系统。用最简单的生活类比来说信源编码是把行李里空荡荡的包装盒压扁减小体积信道编码是往易碎的玻璃器皿周围塞上泡沫板防止运输途中磕碎。缺了前者运输成本高得离谱缺了后者东西运到了也是一堆碎片。常见的信道编码方案包括汉明码、卷积码、低密度奇偶校验码和乘积码。它们的性能差异本质上都围绕着“纠错能力”和“冗余开销”之间的权衡展开。我在实际工程项目里选信道编码方案时最重要的三个参数就是编码效率冗余占比、时延编解码延迟和纠错增益能抗住多大的噪声。这三个参数之间没有免费的午餐你永远是在三角形里选一个平衡点。4.3 香农极限编码理论的圣杯与天花板任何做编码相关工作的人最终都绕不过一个概念——香农极限。它告诉我们在给定信噪比的信道中可靠通信的传输速率存在一个理论上限任何编码方案都无法突破这个上限只能无限逼近。这个结论的可怕之处在于它不是工程上的限制而是宇宙法则层面的限制。我做信道编码方案选型的时候心里永远有一根弦如果一种新方案的性能距离香农极限还有2dB的差距那说明还有优化空间如果已经逼近到0.2dB以内再投入巨量资源去改进边际收益就会非常有限。这时候更明智的做法是直接把方案定下来把研发精力省出来留给别的环节。编码理论的发展史本质上就是一部不断逼近香农极限的历史。从汉明码到Turbo码再到低密度奇偶校验码标准每更新一代我们就离那个理论天花板近了一步。理解这一点你对5G通信、深空通信、数据存储等领域的很多技术决策的逻辑一下子就通了。5. 常见认知误区与经验心得这个专题写到这里最后分享几个我在学习、教学和项目实践中反复遇到的认知误区以及我自己总结的处理经验。这些东西教科书里很少专门拎出来讲但对建立正确的信息论直觉特别重要。5.1 误区一信息量越大等于比特数越多这是最普遍的误解。许多人第一次接触“信息量”这个概念时会下意识地认为一条消息如果很长很长那它的信息量一定很大。事实恰恰相反信息量取决于消息的不可预测程度跟长度没有必然关系。我来构造一个极端的例子。一条消息是“1212121212”反复循环20次长度有几十个字符。另一条消息是随机生成的20个数字“5297318406”长度可能还短些。但我问你哪条消息携带的信息量大显然是后者。因为前者的模式一旦被你识别出来后面每个字符都是完全可预测的新增信息量趋近于零后者每一个数字都是无法预料的所以每一个数字都在实实在在地消除不确定性。这个认知落实在工程上有个非常实用的启示判断一个系统的瓶颈时别只看数据传输的量要看它传输的内容里有多少真正不可预测的部分。很多系统表面上看流量巨大但里面绝大多数数据都是高度模式化的、可预测的真正需要消耗带宽资源的“有效信息”其实很少。理解这一点可以帮助你在做压缩和缓存策略时找到更优的切入点。5.2 误区二信息技术就是计算机技术这个误区在技术圈子里其实也有只是大家不会说得那么直白。最典型的表现就是一聊到信息技术就默认等同于“写代码、搞软件、维护服务器”。我甚至见过一些团队在搭建信息系统的时候把通信链路、传感器网络这些基础设施全都外包出去只盯着后端服务器和应用开发结果系统做完之后数据采集端时延不稳、传输链路丢包严重整体体验一塌糊涂。正确的姿势是把信息系统当作一个整体来规划。感知、传输、处理、存储、应用五个环节每一个都值得在架构层面被认真对待。哪怕你是一个纯粹的后端开发工程师至少在认知上要清楚你的代码只是整个信息链条中的一环——而且是依赖上游数据质量的一环。上游要是垃圾你下游处理得再精巧产出的也是垃圾。这一点在任何讲系统设计的书里都会被反复强调。5.3 误区三信息熵越高系统越“混乱”就应该越低这个误区常出现在对信息熵的通俗解读里。很多文章把熵简单等同于“混乱程度”然后引申出结论说信息熵越低越好。但如果把“信源的熵”和“信息系统的质量”混为一谈就会得出荒谬的结论。对信源编码来说我们希望压缩后的比特流尽量接近信源的熵——此时信息熵决定了“理论上最少需要多少比特”。这时候熵越低确实代表原始信源冗余越多、越容易被压缩。但对密码学系统来说我们希望系统的熵越高越好——密钥必须是高熵的低熵密钥意味着容易被暴力破解。再说白一点一段加密过的密文理想状态下应该是接近完全随机的熵极高而一段加密前的明文熵可能相对较低。所以信息熵本身没有好不好关键看场景。判断问题时一定要先搞清楚你关心的是哪一侧的熵——信源的熵、信道的噪声熵、还是密钥的熵。搞清楚这一点很多关于熵的迷惑会瞬间消散。5.4 实际工作中学信息论和编码理论的经验谈最后说点土办法。信息论和编码理论在数学表达上确实有门槛但入门阶段完全没必要一上来就啃大部头公式我的经验是三步走第一步把“信息是消除不确定性”这个直觉彻底内化。生活中任何一次决策——猜硬币、看天气预报、查考试成绩——都可以拿来当练习素材问自己在知道结果之前我有多少种可能每种可能的概率是多少知道结果之后我的不确定性减少了多少比特这个练习坚持一两个星期信息量的概念就再也不会忘。第二步手写实现一遍经典的编码算法。哈夫曼编码、汉明码这两个是最理想的入门项目。代码量不大但完整实现一遍之后你对“码字”“冗余”“纠错”这些概念的理解深度会远超你读十遍理论书的收获。我在带新人时从不让他们先读大块理论而是直接给需求让他们实现一个小功能——带着问题去理论里找答案效率最高。第三步把理论结论和现实标准对应起来。比如你看到压缩软件展示压缩率想一想这个压缩率跟信源的熵还有多大的距离你看到通信参数里有个误码率指标想一想这背后对应着什么样的信道编码方案和信噪比条件。这种“理论与现实互相印证”的习惯能让你在信息论这条路上走得远比别人扎实。信息论和编码理论是一个常读常新的领域。每当我以为自己已经把某个概念彻底吃透过段时间回头看总能发现自己之前理解里的空缺。这种持续被打脸又持续进步的感觉大概正是做技术最有意思的地方。