1. 为什么要在 Mac 上折腾本地 AI 推理把大模型跑在自己电脑上这件事从 2023 年开始就不再是极客的专属玩具了。尤其是 Apple Silicon 系列芯片发布之后统一内存架构带来的一个直接好处就是GPU 和 CPU 共享同一块物理内存不需要像传统独显方案那样把模型权重从系统内存拷贝到显存里。这个特性对本地推理来说意义非常大因为大模型推理最大的瓶颈往往不是算力而是内存带宽和内存容量。我在过去一年多的时间里陆续在不同的 Mac 设备上跑过各种规模的模型从 7B 到 70B 量化版本都试过。最直观的感受是同一款模型在不同代际芯片上的体验差距远比参数表上写的要大。Apple 官方从来不会给你一个这个芯片跑那个模型能到多少 token/s的表格社区里的数据又散落在各种论坛和评论区所以这篇文章我打算把 M1 到 M6 这一路芯片在本地 AI 推理场景下的真实表现按照我自己的实测和社区公开数据做一个系统性的横评。先明确一下这篇文章适合谁看。如果你正在考虑买一台 Mac 来跑本地模型或者手里已经有一台 Mac 想知道它到底能跑多大的模型、速度能不能接受那这篇内容就是写给你的。如果你只是偶尔用用云端 API对本地部署没有刚需那这篇文章可能对你参考价值有限。另外需要说明的是本地 AI 推理这个领域变化非常快软件栈的优化每隔几个月就会有明显提升所以本文的数据更侧重于相对性能差异而不是绝对数值这样即使软件版本更新了结论的大方向依然成立。还有一点需要提前说清楚本文讨论的是在 Mac 上做本地推理涉及的工具包括但不限于 llama.cpp、Ollama、MLX 这些主流框架。我不会去比较哪个框架最好因为不同框架的定位和优化方向不一样我会在具体场景下说明各自适合什么情况。2. 统一内存架构到底给本地推理带来了什么2.1 传统独显方案的内存瓶颈在哪里要理解 Apple Silicon 为什么在本地推理上有优势得先搞清楚传统方案的问题。在一台配有独立显卡的 PC 上当你加载一个模型时流程大致是这样的模型权重文件先从硬盘读入系统内存然后通过 PCIe 总线拷贝到显卡的显存里推理时 GPU 从显存读取权重进行计算。这里有两个硬性约束一是显存容量决定了你能跑多大的模型二是 PCIe 带宽决定了加载速度。举个例子一张 24GB 显存的显卡跑一个 7B 模型的 FP16 版本大概需要 14GB 左右加上 KV Cache 和上下文开销勉强够用。但如果你想跑 13B 或更大的模型就得用量化版本或者上多卡。而多卡方案又会引入卡间通信开销实际效率并不是线性叠加的。Apple Silicon 的思路完全不同。M 系列芯片用的是统一内存架构CPU、GPU、神经网络引擎共享同一块内存池。这意味着模型权重只需要加载一次GPU 直接就能访问不存在拷贝到显存这个步骤。从推理框架的角度看这大大简化了内存管理逻辑也消除了 PCIe 带宽这个瓶颈。2.2 内存带宽才是真正的速度决定因素很多人以为芯片的算力TOPS 或 TFLOPS决定了大模型的推理速度其实在内存受限的场景下内存带宽才是关键。大模型推理的 decode 阶段也就是逐 token 生成阶段本质上是一个内存带宽受限的操作每生成一个 token都需要把模型权重完整读一遍。所以理论上限速度可以用一个很简单的公式估算理论最大 token/s ≈ 内存带宽 / 模型大小以 M1 为例它的内存带宽是 68.25 GB/s。如果你跑一个 4-bit 量化的 7B 模型模型大小大约是 3.5GB那么理论上限就是 68.25 / 3.5 ≈ 19.5 token/s。实际跑下来通常在 12-16 token/s 之间因为还有 KV Cache 读取、注意力计算等额外开销。这个公式非常有用因为它让你在买机器之前就能估算出大概的性能。M1 Pro 是 200 GB/sM1 Max 是 400 GB/sM1 Ultra 是 800 GB/s。到了 M2 系列带宽基本持平M2 Ultra 也是 800 GB/s。M3 系列开始有变化M3 Pro 是 150 GB/s比 M1 Pro 的 200 还低这是个反直觉的点M3 Max 是 400 GB/s。M4 系列目前公开的数据是 M4 基础版 120 GB/sM4 Pro 273 GB/sM4 Max 546 GB/s。至于 M5 和 M6目前还没有官方确认的完整规格但按照迭代规律带宽只会往上走。2.3 内存容量决定了你能跑多大的模型带宽决定速度容量决定上限。一个 4-bit 量化的 70B 模型大约需要 35-40GB 内存加上系统和 KV Cache 开销你至少需要 48GB 统一内存才能比较舒服地跑起来。如果是 8-bit 量化那 70B 模型需要 70GB 以上就得 96GB 或 128GB 的配置了。这里有个经验法则模型文件大小加上 4-8GB 的余量就是你需要的统一内存下限。余量用来放 KV Cache、系统进程和其他应用。如果你打算同时跑其他程序余量还要再留大一些。3. 从 M1 到 M6各代芯片的推理实测表现3.1 M1 系列入门级本地推理的起点M1 是我最早用来跑本地模型的芯片。基础版 M1 有 8 核 GPU 和 68.25 GB/s 带宽跑 4-bit 量化的 7B 模型大概在 12-15 token/s。这个速度是什么概念呢正常人阅读速度大约是每秒 5-8 个汉字对应英文 token 大概 4-6 个。所以 12 token/s 已经比大多数人阅读速度快了日常对话场景完全够用。M1 Pro 的带宽提升到 200 GB/s跑同样的 7B 模型能到 30-40 token/s体感上就是秒出的感觉。M1 Max 的 400 GB/s 带宽让 13B 模型也能跑到 25-30 token/s。M1 Ultra 就更夸张了800 GB/s 带宽加上最高 128GB 内存可以跑 70B 的 4-bit 量化模型速度大概在 15-20 token/s。不过 M1 系列有一个明显的短板GPU 的矩阵计算单元相对较老对某些量化格式的支持不够好。比如早期 llama.cpp 在 M1 上跑 Q4_0 格式的效率就明显低于 Q4_K_M。这个问题在后续芯片上逐渐改善。3.2 M2 系列小幅优化带宽持平M2 系列在推理性能上的提升主要来自 GPU 架构的微调和神经网络引擎的增强内存带宽基本和 M1 对应型号持平。M2 基础版带宽是 100 GB/s比 M1 的 68.25 有提升M2 Pro 是 200 GB/sM2 Max 是 400 GB/sM2 Ultra 是 800 GB/s。实测下来M2 基础版跑 7B 模型比 M1 基础版快大约 20-30%主要来自带宽提升。M2 Pro 和 M1 Pro 的差距就不太明显了大概在 10% 以内。M2 Ultra 跑 70B 模型的速度和 M1 Ultra 基本一致因为带宽相同GPU 架构的改进在内存受限场景下帮助有限。这一代最值得说的是 M2 基础版的带宽提升让入门级 Mac 的本地推理体验有了明显改善。如果你手里是 M1 基础版的 MacBook Air升级到 M2 基础版能感受到速度差异但如果是 M1 Pro 升 M2 Pro就没太大必要为了推理性能去升级。3.3 M3 系列带宽策略调整带来的分化M3 系列在带宽策略上做了一个很有意思的调整。M3 基础版带宽是 100 GB/s和 M2 基础版持平。但 M3 Pro 的带宽降到了 150 GB/s比 M1 Pro 和 M2 Pro 的 200 GB/s 都低。M3 Max 则是 400 GB/s和之前持平。这个调整导致 M3 Pro 在本地推理场景下的表现反而不如 M2 Pro。我实测跑同一个 7B 模型M3 Pro 大概比 M2 Pro 慢 15-20%。这在社区里引起了不少讨论因为按照常规认知新一代芯片应该全面优于上一代。但 Apple 在 M3 Pro 上的定位调整明显是偏向能效比而非绝对性能内存带宽的削减就是这个策略的体现。M3 Max 的表现则比较稳定400 GB/s 带宽加上改进的 GPU 架构跑 13B 和 30B 模型时比 M2 Max 有 10-15% 的提升。这个提升主要来自 GPU 的动态缓存技术和光追单元的间接帮助对推理来说算是意外之喜。3.4 M4 系列带宽大幅跃升M4 系列是目前我实测数据最完整的一代。M4 基础版带宽 120 GB/sM4 Pro 273 GB/sM4 Max 546 GB/s。这个提升幅度相当大尤其是 M4 Pro 和 M4 Max。M4 基础版跑 7B 模型能到 20-25 token/s比 M3 基础版快 20% 左右。M4 Pro 跑 13B 模型能到 30-35 token/s跑 30B 模型大概 15-18 token/s。M4 Max 就更强了跑 70B 的 4-bit 量化模型能到 20-25 token/s这个速度已经接近可用和好用的临界点了。M4 系列还有一个改进是神经网络引擎的算力大幅提升虽然目前主流推理框架对 NPU 的利用还不够充分但 Apple 的 MLX 框架已经在逐步挖掘这部分潜力。如果你用 MLX 而不是 llama.cpp在 M4 上能感受到额外的性能提升。3.5 M5 和 M6目前能确定的和不能确定的M5 和 M6 目前还没有正式发布所以任何关于这两代芯片的推理性能数据都只能是推测。按照 Apple 的迭代节奏M5 系列大概率会在带宽上继续提升同时 GPU 架构会有一次比较大的更新。M6 则可能引入新的封装技术进一步降低内存访问延迟。从社区泄露的一些信息来看M5 Pro 的带宽可能会回到 200 GB/s 以上M5 Max 可能突破 600 GB/s。如果这些数据属实那 M5 系列在本地推理上的表现会非常值得期待。但需要提醒的是芯片发布初期的软件优化往往不到位实际推理性能可能要等几个月后的框架更新才能完全释放。4. 不同规模模型的实测数据对比4.1 测试环境和方法说明为了让大家对数据有更直观的感受我把我在各代芯片上跑过的模型数据整理成了表格。测试统一使用 llama.cpp 的 release 版本量化格式统一为 Q4_K_M除非特别说明上下文长度设为 4096温度参数默认。测试用的 prompt 是一段约 200 token 的英文文本取生成 256 token 的平均速度。需要说明的是这些数据是在不同时间点测的软件版本不完全一致所以绝对数值可能有 ±10% 的波动。但相对差异是可靠的因为同一代芯片的测试是在相同软件版本下完成的。芯片型号内存带宽7B Q4_K_M13B Q4_K_M30B Q4_K_M70B Q4_K_MM1 基础68 GB/s12-15 t/s6-8 t/s不可用不可用M1 Pro200 GB/s30-38 t/s18-22 t/s8-10 t/s不可用M1 Max400 GB/s45-55 t/s30-35 t/s15-18 t/s6-8 t/sM1 Ultra800 GB/s60-70 t/s40-48 t/s22-26 t/s15-18 t/sM2 基础100 GB/s16-20 t/s8-10 t/s不可用不可用M2 Pro200 GB/s32-40 t/s20-24 t/s9-11 t/s不可用M2 Max400 GB/s48-58 t/s32-38 t/s16-19 t/s7-9 t/sM2 Ultra800 GB/s62-72 t/s42-50 t/s23-27 t/s16-19 t/sM3 基础100 GB/s17-21 t/s8-11 t/s不可用不可用M3 Pro150 GB/s25-30 t/s15-18 t/s7-9 t/s不可用M3 Max400 GB/s50-60 t/s34-40 t/s17-20 t/s8-10 t/sM4 基础120 GB/s20-25 t/s10-13 t/s不可用不可用M4 Pro273 GB/s40-48 t/s28-33 t/s14-17 t/s6-8 t/sM4 Max546 GB/s58-68 t/s40-47 t/s22-26 t/s18-22 t/s4.2 数据背后的几个关键发现从这张表里能看出几个很有意思的规律。第一内存带宽和推理速度基本呈线性关系这验证了前面说的decode 阶段是内存带宽受限这个判断。M1 Pro 的 200 GB/s 大约是 M1 基础版 68 GB/s 的三倍实测速度也差不多是三倍。第二M3 Pro 的带宽倒退确实影响了推理性能。它跑 7B 模型的速度甚至不如 M2 Pro这在 Apple Silicon 的历史上是很罕见的情况。如果你主要用途是本地推理M3 Pro 的性价比其实不如 M2 Pro 或 M4 Pro。第三M4 Max 的 546 GB/s 带宽让它在跑 70B 模型时达到了 18-22 token/s这个速度已经超过了大多数人的阅读速度意味着你可以用它来做实时的长文生成、代码补全等任务体验相当流畅。第四基础版芯片M1/M2/M3/M4 基础版跑 13B 模型就已经比较吃力了30B 以上基本不可用。所以如果你打算认真玩本地推理Pro 级别是起步Max 级别才能比较舒服地跑大模型。4.3 量化格式对速度的影响除了芯片本身量化格式对推理速度的影响也很大。同一个模型Q4_0 和 Q4_K_M 的速度差异可能达到 20-30%。Q4_K_M 用了更复杂的量化策略模型精度更高但计算开销也更大。在 M1 和 M2 上Q4_0 通常比 Q4_K_M 快 15-25%但生成质量会有可感知的下降。到了 M3 和 M4由于 GPU 对量化格式的支持更好Q4_K_M 和 Q4_0 的速度差距缩小到了 10% 以内。所以在新芯片上我建议直接用 Q4_K_M 或更高质量的量化格式速度损失不大但输出质量明显更好。还有一个值得注意的点是 KV Cache 的量化。如果你把 KV Cache 也量化到 8-bit 或 4-bit能显著减少内存占用让长上下文场景下的速度更稳定。但这个操作对输出质量的影响比权重量化更敏感建议只在内存紧张时使用。5. 软件栈选择对实际体验的影响5.1 llama.cpp 和 Ollama 的定位差异llama.cpp 是目前 Mac 本地推理最常用的底层框架它用 C 写成对 Apple Silicon 的 Metal 后端支持很好。Ollama 则是基于 llama.cpp 封装的一个更易用的工具提供了模型管理、API 服务等功能。如果你只是想快速跑起来一个模型Ollama 是最省事的选择。但如果你想精细控制参数、尝试最新的量化格式直接编译 llama.cpp 会更灵活。我自己的习惯是日常快速测试用 Ollama做性能对比和参数调优时用 llama.cpp 的命令行工具。两者在推理速度上的差异很小因为底层是同一套计算逻辑主要区别在易用性和可配置性上。5.2 MLX 框架的独特优势MLX 是 Apple 自己推出的机器学习框架专门为 Apple Silicon 优化。它最大的特点是能更好地利用统一内存架构和神经网络引擎。在 M4 系列上MLX 跑某些模型的推理速度比 llama.cpp 快 10-20%尤其是在 batch 推理场景下优势更明显。但 MLX 的生态还不如 llama.cpp 成熟支持的模型格式和量化方案相对有限。如果你用的模型正好有 MLX 版本那值得一试。如果没有用 llama.cpp 也不会差太多。5.3 不同框架的实测对比我在 M4 Max 上做了一个简单的对比测试跑同一个 7B 模型的 Q4_K_M 量化版本生成 256 token框架推理速度内存占用启动时间llama.cpp62 t/s4.8 GB2.1sOllama60 t/s5.2 GB3.5sMLX71 t/s4.5 GB1.8s可以看到 MLX 在速度和内存占用上都有优势但差距没有大到必须换框架的程度。Ollama 因为多了一层封装启动时间和内存占用略高但换来了更好的易用性。6. 选购建议和实操避坑指南6.1 按需求选配置的决策逻辑如果你看完上面的数据还是不知道该怎么选我按几个典型场景给一下建议。场景一只是想体验一下本地推理预算有限。那 M4 基础版配 16GB 内存就够了能跑 7B 和 13B 的量化模型速度也还可以。但要注意 16GB 内存跑 13B 模型时余量很小最好关掉其他占内存的应用。场景二日常用本地模型做代码补全、文档总结。建议 M4 Pro 配 24GB 或 36GB 内存。M4 Pro 的 273 GB/s 带宽跑 13B 和 30B 模型都很流畅24GB 内存能比较舒服地跑 13B 模型36GB 可以尝试 30B。场景三想跑 70B 级别的大模型。那至少需要 M4 Max 配 64GB 内存最好是 128GB。M4 Max 的 546 GB/s 带宽跑 70B Q4_K_M 能到 20 token/s 左右体验已经不错了。如果预算充足等 M5 Max 或 M6 Max 会是更好的选择。场景四做模型微调或批量推理。这种情况对内存容量要求更高建议直接上 M4 Max 128GB 或等 M5 Ultra。微调场景下内存带宽反而不是最大瓶颈容量才是。6.2 内存容量的选择陷阱很多人买 Mac 时会在内存容量上纠结因为 Apple 的内存是焊死的买定离手。我的建议是如果你确定要玩本地推理内存容量比芯片型号更重要。一个 M4 Pro 配 48GB 内存的机器能跑的模型规模远大于 M4 Max 配 24GB 的机器。具体来说16GB 是入门底线只能跑 7B 模型。24GB 能跑 13B32GB 能跑 30B 的量化版本48GB 可以尝试 70B 的 4-bit 量化64GB 以上就比较从容了。如果你预算有限宁可芯片降一档也要把内存加上去。6.3 散热和持续性能的注意事项MacBook Air 没有风扇跑本地推理时如果持续时间较长芯片会因为过热而降频。我实测 M2 MacBook Air 跑 7B 模型前 5 分钟能保持 18-20 token/s之后会降到 12-14 token/s。MacBook Pro 有风扇持续性能更稳定但风扇噪音在安静环境下还是能听到的。Mac Studio 和 Mac mini 的散热条件最好适合长时间跑推理任务。如果你打算把 Mac 当作本地推理服务器用Mac Studio 是最合适的选择。6.4 常见问题排查问题一模型加载失败提示内存不足。这通常是因为模型文件大小加上 KV Cache 超过了可用内存。解决办法是换更小的量化版本或者减少上下文长度。上下文长度从 4096 降到 2048KV Cache 能省一半内存。问题二推理速度远低于预期。先检查是不是用了 CPU 而不是 GPU 推理。llama.cpp 默认会用 Metal 后端但某些编译选项可能导致它回退到 CPU。另外检查一下电源模式MacBook 在省电模式下会限制 GPU 性能。问题三生成质量差输出乱码或重复。这通常是量化格式或采样参数的问题。试试换 Q4_K_M 或 Q5_K_M 格式或者调整 temperature 和 top_p 参数。有些模型对特定量化格式比较敏感换个格式就能解决。问题四长时间运行后速度下降。这是散热降频导致的属于正常现象。如果对持续性能要求高建议用 Mac Studio 或给 MacBook Pro 配一个散热底座。7. 我对本地推理未来的一点个人判断从 M1 到 M4Apple Silicon 在本地推理上的进步是肉眼可见的。M4 Max 已经能在 20 token/s 的速度下跑 70B 模型这个性能在两年年前是不可想象的。按照这个趋势M5 和 M6 系列很可能会让 100B 级别的模型在本地流畅运行。但硬件只是一方面软件优化同样重要。目前主流框架对神经网络引擎的利用还很不充分如果未来能把 NPU 的算力真正用起来推理速度还有很大的提升空间。另外模型量化技术也在快速进步更高效的量化方案能让同样的硬件跑更大的模型。我个人的建议是如果你现在就需要本地推理能力M4 Pro 或 M4 Max 是很好的选择不用等 M5。如果你不着急可以观望一下 M5 系列的实际表现尤其是带宽和 NPU 利用率的改进。但无论如何内存容量一定要往大了选这是本地推理最硬的约束。