计算机里几乎没有一个部件像 Cache 这样用一小块片上存储扛起了 CPU 和主存之间的速度差。学《计算机组织结构》第七章核心就是把这笔账算清楚命中时间、缺失率、缺失代价、AMAT、CPI这些数字怎么来、怎么用、怎么优化。笔试、复试、日常做性能调优都绕不开这一节。最近我把这一章重新过了一遍把计算题的解题思路整理成一套能直接上手的方法前面先把原理和公式讲透后面用一道例题完整走一遍最后把容易踩的坑都列出来。不管你是刚开始学体系结构的学生还是在准备考试的老手按这个思路走Cache 计算题基本不会再失分。很多人学完这章公式背得很熟但一拿到题目还是不知道从哪里下手。问题往往出在“没有把 Cache 访问过程还原成一条时间线”上。所以我开头先提醒一句算性能之前想清楚一次访存大概会经历什么——先查 L1没命中再去 L2、再去主存每多一级就多一段等待时间。所有计算题本质上都是“加权平均等待时间”问题。后面我会一直沿着这条时间线来讲。1. 从整体思路上拆解Cache性能计算1.1 要算的核心指标只有三个半Cache 性能计算看起来公式很多但核心指标拆开不过三个半命中时间、缺失率、缺失代价。命中时间是一次访存刚好命中 Cache 时花掉的时间缺失率是访问中没命中的比例缺失代价是没命中之后从下一级存储拿到数据并填回 Cache 所花的额外时间。那个“半”指的是由它们综合出来的 AMAT以及它在 CPU 流水线里的体现——存储停顿周期。这三个指标之间的关系用一句话概括一次访存的平均时间等于命中情况下的时间加上以一定概率发生的“额外等待”。概率就是缺失率额外等待就是缺失代价。把这句话写下来就是AMAT 命中时间 缺失率 × 缺失代价大多数教材把它叫平均内存访问时间但我更愿意把它理解成“加了权重的访存开销”。之所以强调加权平均是因为 CPU 某一次实际访存不可能既要命中又要缺失它只是把两种情况的耗时按比例混合在一起。这个视角对理解多级 Cache 尤其重要因为每一级 Cache 的“命中时间”和“缺失代价”会像套娃一样相互嵌套。1.2 为什么说缺失代价比缺失率更敏感第一次算 Cache 性能的人通常只会盯着缺失率觉得缺失率降一半性能就能好一半。这恰恰是最容易误导自己的地方。看一个例子假设命中时间 1 个周期缺失代价 100 个周期缺失率 5%。此时 AMAT 1 0.05 × 100 6 周期。如果把缺失率从 5% 降到 2.5%降了一半AMAT 1 0.025 × 100 3.5 周期节省了 2.5 周期。如果保持缺失率不变把缺失代价从 100 降到 50AMAT 1 0.05 × 50 3.5 周期同样节省了 2.5 周期。这个例子说明当缺失代价远大于命中时间时缺失率和缺失代价对 AMAT 的影响是乘法关系而不是加法关系。缺失代价越大缺失率变化几个百分点造成的绝对差距就越夸张。所以在真实 CPU 里一级 Cache 的命中时间只有 1~2 个周期而主存缺失代价可能上百个周期这时候把缺失代价降下来往往比死磕缺失率那零点几个百分点更划算。这也是为什么现代处理器要做多级 Cache、非阻塞 Cache、硬件预取的根本原因——它们本质上都是在减少“额外等待”本身。2. 核心公式与参数详解2.1 从 AMAT 到 CPI把访存停顿打进 CPU 性能AMAT 描述的是“一次访存需要多久”但 CPU 性能最终要看 CPI。CPU 执行时间 指令数 × 实际 CPI × 时钟周期。实际 CPI 可以拆成两段理想 CPI假设所有访存都命中不用等存储器加上存储停顿周期。存储停顿周期用公式表达就是实际 CPI 理想 CPI 每指令访存缺失次数 × 缺失代价以时钟周期计这里有一个容易混淆的地方公式里的“每指令访存缺失次数”不能直接拿缺失率套要先换算成“每条指令平均几次访存”。比如程序每条指令平均访存 1.5 次1 次取指0.5 次数据访问L1 缺失率是 5%那么每条指令在 L1 这一级的缺失次数就是 1.5 × 0.05 0.075 次。缺失代价如果以时钟周期计就是 0.075 × 200 15 周期停顿。这个先后顺序是新手算错的重灾区。提示如果题目分开给指令 Cache 和数据 Cache 的缺失率要分别计算。每指令访存缺失次数 取指次数占比 × 指令 Cache 缺失率 数据访问次数占比 × 数据 Cache 缺失率。不能直接把两个缺失率相加也不能简单取平均。2.2 命中时间、缺失率、缺失代价分别由什么决定命中时间看似只是一个数字实际上它的来源决定了取值是否合理。命中时间约等于 Cache SRAM 的读取时间再加上标签比较和选择逻辑的延迟。直接映射的标签比较最简单组相联要先在多个候选路里做选择全相联要并行比较全部标签。所以相联度越高命中时间往往越长。这也是为什么设计时要用相联度换缺失率但要防止换过头。缺失率受四个因素影响程序局部性、块大小、Cache 容量、相联度与替换策略。为了定位问题教材把缺失分成强制缺失、容量缺失、冲突缺失。强制缺失是数据第一次被访问任何 Cache 都躲不掉容量缺失是 Cache 装不下工作集冲突缺失是映射方式造成的明明 Cache 还有空间但两个常用数据被映射到了同一组。这个分类不是用来背的是用来指导优化的强制缺失靠预取和增大块大小容量缺失只能靠增大容量冲突缺失靠提高相联度。缺失代价则需要看访问下一级存储的完整路径。它不只是“下一级存储器的访问时间”还包括地址发送、总线传输、数据返回、替换块写回这些开销。假如题目说主存访问时间 100ns千万别直接当成缺失代价。先看清它是否已经包含一次完整读缺失的处理时间没包含的话要自己补上。2.3 多级 Cache局部缺失率和全局缺失率的关系多级 Cache 是第七章的重头戏也是计算最容易乱套的部分。先明确两个定义某一级 Cache 的局部缺失率 该级缺失次数 / 到达该级的访问总次数某一级的全局缺失率 该级缺失次数 / CPU 发出的访存总次数。对 L1 来说局部缺失率等于全局缺失率对 L2 来说全局缺失率 L1 局部缺失率 × L2 局部缺失率。举个例子。CPU 发出 10000 次访存L1 缺失 500 次则 L1 缺失率为 5%。这 500 次继续访问 L2L2 又缺失 100 次那么 L2 局部缺失率 100 / 500 20%但 L2 全局缺失率只有 100 / 10000 1%。很多题目问“L2 缺失率”默认指局部缺失率但如果问“整体停顿”就必须用全局视角来算。只盯着 20% 这个局部数值去算 CPU 损失会把停顿时间放大 5 倍。多级 Cache 的 AMAT 计算要按递归方式展开AMAT L1 命中时间 L1 缺失率 × (L2 命中时间 L2 局部缺失率 × 主存缺失代价)括号里这个量本质上是“L1 缺失之后以 L2 为入口继续访存的平均时间”。L2 命中时间必须加进去是因为 L1 缺失后无论如何都要先花一个 L2 命中时间去查 L2 里有没有数据只有在 L2 也缺失时才继续访问主存。如果题目给出三级 Cache就继续往括号里套L1 命中时间 L1 缺失率 × (L2 命中时间 L2 局部缺失率 × (L3 命中时间 L3 局部缺失率 × 主存缺失代价))。这个嵌套结构是所有多级 Cache 题目的统一骨架。3. 实操演算一道典型计算题走完全程3.1 先从只有一级 Cache 的基准模型算起把公式落到一道完整题目里。假设某处理器主频 2GHz时钟周期就是 0.5ns理想 CPI 1每指令平均访存 1.5 次。L1 Cache 命中时间为 1 个时钟周期缺失率 5%主存完全缺失代价 100ns。第一步先把单位统一成周期主存缺失代价 100 / 0.5 200 周期。先算 AMATAMAT 1 0.05 × 200 11 周期。这个数可以直观地读出一次访存平均要等 11 个周期其中大部分时间都耗在缺失后等主存。再算对 CPI 的影响每指令访存缺失次数 1.5 × 0.05 0.075 次/指令存储停顿 0.075 × 200 15 周期实际 CPI 1 15 16。一个理想 CPI 只有 1 的处理器因为 L1 缺失实际平均每条指令要跑 16 个周期主存等待占了绝对统治地位。用执行时间验证一下如果程序有 10 亿条指令执行时间 10 亿 × 16 × 0.5ns 8 秒。如果没有存储停顿理想执行时间只有 10 亿 × 1 × 0.5ns 0.5 秒。也就是说大约 93.75% 的时间都花在等主存上了。这个例子很极端但能非常清楚地说明一级 Cache 缺失在真实系统里的代价有多大。3.2 增加二级 Cache缺失代价如何被“稀释”继续上面的题增加一个 L2 CacheL2 命中时间 20nsL2 局部缺失率 20%主存缺失代价仍然按 200 周期算。先把 L2 命中时间换算成周期20 / 0.5 40 周期。按多级 Cache 公式展开AMAT 1 0.05 × (40 0.2 × 200) 1 0.05 × 80 5 周期对比原来只有 L1 时的 11 周期AMAT 直接下降一半多。这里真正关键的是括号里的 80 周期它才是“L1 缺失后平均额外等待”L2 命中时间 40 周期加上 20% 的概率再等 200 周期主存所以是 40 40 80。只有 L1 缺失并且 L2 也缺失时才会碰到完整的主存 200 周期。存储停顿 CPI 也用每指令缺失次数算每指令 L1 缺失次数 1.5 × 0.05 0.075 次每次 L1 缺失后平均停 80 周期停顿 0.075 × 80 6 周期实际 CPI 1 6 7。对比没有 L2 时的 CPI 16速度快了 2.3 倍左右。为什么 L2 局部缺失率高达 20%整体停顿却没有爆炸因为 L2 的 20% 建立在 L1 已经过滤掉大部分访存的基础上真正漏到主存的访问只有全部访存的 1%。这就是多级 Cache 的精华每一级都在替上一级过滤流量越往下看到的缺失率越低每次缺失的代却越高。3.3 微调参数块大小、相联度、替换策略怎么选还是基于上面这个系统试着调几个参数看趋势。如果把 L1 块大小从 32B 扩大到 128B空间局部性好的时候缺失率可能从 5% 降到 3% 左右但主存缺失代价会因为一次传输更多数据而上升比如从 200 周期涨到 250 周期。代入公式AMAT 1 0.03 × 250 8.5 周期仍然比原来的 11 周期好。但如果跑的是局部性很差的随机访问程序块变大不但降不了多少缺失率还会浪费总线带宽结果就要差得多。所以块大小没有绝对最优必须在局部性和传输代价之间折中。相联度的影响可以从冲突缺失角度去看。同样的容量和块大小下把直接映射改成 4 路组相联冲突缺失往往明显下降但命中时间会因为标签比较逻辑变复杂而增加。假设直接映射时 AMAT 是 11 周期4 路组相联让命中时间从 1 变成 1.5 周期缺失率降到 3%还按 200 周期缺失代价算AMAT 1.5 0.03 × 200 7.5 周期依然划算。但继续从 4 路升到 8 路冲突缺失的下降就不明显了命中时间还在增加收益递减。设计题里不要盲目追求高相联度。替换策略上LRU 和随机替换在低相联度下差异最大相联度超过 8 路后性能差距很小。还有一个容易被忽略的点如果 Cache 使用写回策略替换脏块时要先把脏块写回下一级这个写回时间要算进缺失代价。很多计算题默认缺失代价不含写回一旦题干提到“5% 的块是脏的”这类条件就要按比例把写回时间补上。写直达策略虽然替换时不用写回但每次写命中都要向下一级写一次写缓冲满时会产生写停顿影响的是写指令的 CPI而不是 AMAT。这两类写策略的计算路径完全不同做题之前先确认题目用的是哪一种。4. 常见问题与排查技巧实录4.1 五个最隐蔽的丢分点第一缺失率和缺失次数的单位混用。缺失率是比例每指令缺失次数是“缺失率 × 每指令访存次数”。题目如果给“指令 Cache 缺失率 3%数据 Cache 缺失率 8%”必须知道指令访问和数据访问各占多少比例加权求和不能直接平均或相加。第二纳秒和周期没有统一。主存时间 100ns处理器主频 2GHz缺失代价要先除以时钟周期换算成多少个周期。忘记换算的情况非常普遍而且往往表现为“过程很流畅结果错得很彻底”。第三缺失代价里漏算了 L2 命中时间。多级 Cache 场景下L1 缺失后不管 L2 是否命中都要先花一个 L2 命中时间去查找。只有 L2 也缺失时主存时间才会叠加到后面。这个层次关系是最容易漏的。第四把 L2 局部缺失率当成全局缺失率去算 CPU 停顿。前面例子中 20% 的局部缺失率如果直接拿来乘主存代价停顿会放大很多倍。算整体性能一定要落回“CPU 视角看到多少访问最终漏到下一级”。第五忽略写策略对缺失代价的影响。写回 Cache 替换脏块时要写回这部分时间从缺失代价中漏掉算出的 CPI 会偏乐观。尤其是设计要求“使用写回 Cache”时一定要检查脏块比例和写回带宽。4.2 自检清单判断答案靠不靠谱算式写完之后花一分钟做几个数量级检查。AMAT 一定大于命中时间也小于等于命中时间 最大缺失代价。如果算出来比命中时间还小那必然是单位换算或加权系数错位了。实际 CPI 一定大于等于理想 CPI。如果实际 CPI 小于理想 CPI说明你把缺失率漏了或者把节省时间写成了负数。存储停顿周期一定等于每指令缺失次数乘以平均缺失代价如果数字大得离谱优先检查缺失代价有没有除以处理器时钟周期。多级 Cache 题目里还可以用一个“极端验证”方法把 L2 局部缺失率设成 0此时括号内应该只剩 L2 命中时间整个 AMAT 变成 L1 命中时间 L1 缺失率 × L2 命中时间。再把公式里的所有乘法重算一遍结果应该符合直觉。这个方法在考试核对答案和平时搭建计算器模型时都非常好用能快速定位是哪一层参数写错了。4.3 设计题中的隐含条件怎么读考试除了纯计算还常出现“怎么优化更好”的设计题。我的读题经验是看到缺失率高先判断是哪一类缺失不要急着加容量。如果题干说“程序反复访问一组映射到同一组的地址”属于典型冲突缺失加相联度最有效加容量没什么用。如果题干说“工作集大小为 2MB而 Cache 只有 1MB”那就是容量缺失加大容量或者适当增大块大小才有意义。如果缺失发生在数据第一次被访问后往往还伴随强制缺失需要靠预取解决单纯增大 Cache 并不能消除第一次访问的缺失。这些判断在第七章的计算题里不是附加题而是把计算和设计思想连起来的关键。我自己的习惯是拿到题目先写一行“缺失类型”的猜测再决定代入哪个优化方案这个步骤花不了 30 秒但能避免不少方向性错误。5. 一点实操心得5.1 复习时我常用的方法复习这一章时我会把每个公式写成一行带单位的中文描述比如“存储停顿周期 每指令访存次数 × 缺失率 × 缺失代价时钟周期”而不是只背字母。单位能让你在很多陷阱上提前刹车当你意识到缺失代价必须是多少个时钟周期时就不容易忘记把纳秒除以主频了。另外我会在电子表格里搭一个很小的计算器输入主频、各级命中时间和缺失率直接算出 AMAT 和 CPI。搭的过程中被迫把每个参数写清楚也顺便验证了公式之间的一致性。这个方法在复习时帮我节省了大量重复计算时间每次调整某个参数能立刻看到结果变化比手算几十遍更直观。5.2 这套公式在工作里的用法实际工作中做性能调优时这套模型同样非常有用。先用处理器的性能计数器读出 L1、L2、LLC 的缺失率再用同样的公式估算某项优化能带来多少收益。比如你在犹豫要不要增大一块缓冲区可以把当前缺失率和预计缺失率分别代入算出 AMAT 差值再乘以访问频率和平均指令数就能得到一个大致的收益预期。纸上第七章算的是考试题工作里算的是“给某个模块加一层缓存能省多少延迟”原理完全是同一套。区别只在于工作里的参数不一定是理想值命中时间要实测、缺失代价要包含总线争用但公式骨架不变。我个人复习下来最大的感受是这章表面在考公式实际在训练一种成本意识任何一次访问要么命中要么付出代价关键是想清楚代价有多大、概率有多高、怎么把两者同时压下来。把这套思路理顺之后第七章的绝大多数题目都能稳稳拿分而且这种“算清成本”的思维方式放到系统设计和性能优化里也依然好用。