大家好我是Tony Bai。欢迎来到我们的专栏 《AI 工程师的 GPU 入门课》的第二讲。上一讲我们提到LLM 推理是典型的“大巴车”业务需要高吞吐量。今天我们来聊聊这辆大巴车最致命的弱点。想象这样一个场景你买了一台拥有 1000 个顶级厨师GPU 核心的超级厨房。这些厨师切菜、炒菜的速度快如闪电。但是你的厨房里没有冰箱食材全部存放在距离厨房 10 公里外的仓库显存里。每当厨师要切一个土豆快递员就必须骑车去仓库取一个土豆回来。厨师“咔嚓”一刀切完只花了 0.01 秒然后就只能坐着发呆等待快递员花 1 小时把洋葱取回来。在这个系统里厨师的手速算力再快也没有意义因为整体效率完全取决于快递员的车速带宽。这就是 AI 工程领域著名的“Memory Wall”内存墙。对于大模型推理而言我们绝大多数时候都在面对这堵墙。今天我们就来解剖 GPU 的内存金字塔看看数据究竟是如何在 GPU 内部流动的以及为什么“搬运数据”会成为万恶之源。GPU 的内存金字塔从仓库到工作台当我们说“显存”时我们通常指的是 GPU 规格表上写的那个数字比如 RTX 5090 的 32GB 或 H100 的 80GB。但这只是冰山一角。GPU 的存储系统是一个层级分明的金字塔越往上速度越快容量越小价格越贵。而且最关键的是不同层级的内存其“管理权限”是完全不同的。让我们由下而上一层层拆解