1. 先说结论这台六年前的办公本到底跑出了什么数去年底整理柜子翻出一台六年前买的笔记本。当时是日常办公用的主力机后来换了新机器就一直吃灰。屏幕完好、电池还能撑一小时配置放在今天看属实古董四核八线程的低压CPU、核显、16G内存、一块老的SATA固态硬盘。扔掉可惜卖掉不值钱我就想着给它找个新活干——跑本地大模型。同事知道后直接泼冷水这配置跑大模型光加载模型权重都能把内存吃满吧。说实话我自己心里也没底。当时大模型最火的玩法是云端API或者租显卡要么花钱要么折腾环境。我偏不我想验证一件事不花一分钱不买新硬件不租云服务纯靠这台老笔记本的CPU和内存能不能把当下主流的大模型跑起来折腾了两天实测结果先放在最前面省得大家猜参数量级量化精度生成速度占用内存可用性判断7B级Q4_K_M3-5 token/秒约5.5GB日常对话、总结、写代码完全可用8B级Q4_K_M2-3 token/秒约6.5GB勉强可用打字体验13B级Q4_K_M0.5-1 token/秒约11GB基本不可用等得心慌这个成绩超出了我的预期。7B级别的量化模型在这台六年前的老笔记本上居然能做到每秒吐三五个字和手动打字的速度差不多。对于翻译、改写、草拟邮件这种场景体验完全在可接受范围内。整个过程中我只用了一个开源工具——Ollama全程零成本没有买任何硬件。这篇文章我会完整记录整个实测过程为什么选Ollama、怎么装、怎么选模型、怎么调参数、踩了哪些坑。如果你手头也有一台吃灰的旧电脑这篇文章可以帮你判断它到底能不能跑能跑得多好。2. 为什么选择Ollama这条免费路线想在本机跑大模型可选的工具其实不少。我最初列了几个方案各自优缺点都很明显实测前先做个清晰对比方便你理解我为什么最后落到了Ollama上。2.1 主流本地部署方案横评第一个想到的是原版生态方案。在电脑上装好官方推理框架再手动下载模型权重文件。优点是自由度极高模型权重、推理参数、调度逻辑全都可以自己控缺点是配置门槛高依赖项的版本匹配就能让人折腾一晚上。我在这台老笔记本上试过一次光是环境依赖就报了三个错属实不适合当作零成本快速跑起来的首选。第二个方案是直接调用云端API。这个确实省事注册账号充值就能用而且效果很好但违背了我这次的原则——零成本。而且API按token计费聊天聊多了也是一笔持续支出。对于手头没预算、只是想体验一下本地大模型的场景这条路天然排除。第三个方案就是我最后选的Ollama。它的设计哲学很直接把大模型的下载、模型格式转换、推理服务、命令行交互全部封装好用户只需要执行一条命令就能拉取并运行模型。底层推理引擎会自动做优化不需要手动指定算子库不需要处理各种依赖冲突也不需要自己写Python推理脚本。2.2 Ollama能在老电脑上跑的核心原因你可能好奇为什么一个CPU推理的老笔记本也能跑得动大模型关键在于Ollama默认的模型分发格式和量化策略。市面上的开源大模型原始权重动辄十几甚至几十GB直接加载到内存里16G内存根本不够看。但Ollama拉取的模型大多以GGUF量化格式分发。这种格式把神经网络的权重从16位浮点数压缩到4位甚至更低精度损失有限但体积缩小到原来的四分之一左右。以7B级模型为例原始权重大约14GB量化到Q4_K_M之后只有大约4.7GB再加上推理时的上下文缓存总内存占用大约5GB出头。这就是16G内存老电脑能跑起来的关键。更重要的一个原因是Ollama对CPU推理做了非常务实的支持。它不要求必须有NVIDIA显卡也不需要显存直接用CPU做计算把内存当显存用。在这方面我的老笔记本正好满足基本条件有16G双通道内存处理器虽然是六年前的低压型号但有四个物理核心和八线程跑一些小参数量模型在算力上并不算离谱。2.3 对零成本的理解我需要把0元这个概念说清楚。它不是指完全没有任何开销毕竟电费还是要的。我理解的零成本有三个层面第一不买新硬件不花显卡钱第二不租云服务器不付按小时计的GPU租赁费第三不用付费的API额度模型本身和Ollama工具都是开源免费的。严格来说电费和老笔记本本身的折旧属于沉没成本但相比动辄几百上千的方案算下来确实接近零。3. 安装与首次运行老电脑上容易卡住的几个环节确定方案之后我开始了实际的安装和首次运行。整个过程没有想象中顺利有几个环节在旧电脑上特别容易出现状况我逐个说明一下我是怎么处理过去的。3.1 Windows原生还是WSL的取舍Ollama在Windows平台上有原生安装包也支持在WSLWindows Subsystem for Linux里跑Linux版本。我一开始直接装了原生Windows版理由很简单我的老笔记本硬盘空间紧张原生版不用额外装一个完整的Linux子系统。而且回想一下当年的使用习惯这台机器跑Windows系统已经六年各种驱动和运行库都很齐全兼容性最稳。实测下来原生版表现可用。不过你要是在意性能极限WSL2的I/O调度在某些场景下确实会更快一些但这属于锦上添花。如果你的电脑年份比较新硬盘是NVMe内存又充裕装WSL2版本体验会更好但如果是像我这样的老机器直接原生Windows版最简单也最省心。3.2 下载与安装中的老硬盘瓶颈安装包本身不大也就几十MB但首次拉取模型的时候问题来了。Ollama的模型文件托管在公共仓库我用默认设置拉取一个7B模型等了十分钟进度条几乎没动。原因不难猜老笔记本的网卡和机械硬盘时代留下的网络协议栈效率不高加上模型文件有几个GB大小下载慢很正常。解决办法是给Ollama配置镜像加速地址。我用了一个简单的环境变量来指向国内可直连的镜像仓库之后下载速度明显提升。具体操作不复杂右键我的电脑打开属性里的高级系统设置在环境变量里新增一个变量变量名是OLLAMA_MODEL_SERVER变量值填写可用的镜像地址即可。当然如果你直接访问官方仓库速度正常这一步可以跳过。3.3 跑通第一个对话安装完成后在终端执行了一条命令就能进入交互对话模式。第一次运行时会先把模型权重读入内存这个过程在这台老电脑上大概要三十秒左右。读完后输入你好测试等了大概一两秒终端开始逐字往外蹦回复。虽然速度不算飞快但看到第一个字出现那一刻就知道这台老笔记本重获新生了。这个阶段需要特别记住的一点是首次加载模型会占用大量内存加载完成后内存不会立刻释放模型会保留在内存里等待下一次请求。如果你想手动释放可以执行一条简单命令来卸载当前加载的模型或者设置自动卸载时间。4. 三个参数量级的实测从流畅到勉强跑通第一个对话只是热身。为了搞清楚这台老笔记本的性能边界在哪儿我连续试了三个主流参数量级的模型。选择它们也是经过考虑的7B级是轻量部署的甜点区8B级是当前开源模型的入门规格13B级则代表更大的挑战我想看看这台老机器到底能不能啃下来。4.1 7B级办公场景完全可用的性能甜点区先测的是7B量级模型量化格式选了Q4_K_M。这是我在本地部署时最常用的配置体积和效果比较平衡。输入问题后首字响应在1秒左右之后生成速度大概稳定在每秒3到5个token。这个速度具体是什么体验大概就是能看到文字一个字一个字蹦出来但中间没有明显停滞感阅读速度刚好能跟上。在内容质量上这个量级的模型做常规对话、翻译、要点提炼、文档改写完全够用。我在实测中让它把一段产品说明改写成更口语化的说法它给出的结果逻辑清晰表达自然。唯一的短板是特别复杂的多步推理或专业领域知识偶尔会出现遗漏或者表达不规范的情况。内存方面7B Q4_K_M加默认上下文长度总占内存约5.5GB。我的16G内存跑它绰绰有余剩余空间还能再开个浏览器加办公软件。如果你手头是8G内存的机器运行7B级模型时会比较吃紧建议关闭其他大型程序后再跑或者选择体积更小的Q3量化版本。4.2 8B级质量提升但速度略有妥协接着换成了8B量级的模型同样采用Q4_K_M量化。相比7B级这类模型在训练数据规模上略有增加逻辑能力和知识覆盖面会好一些。实测下来生成速度降到了每秒2到3个token首字响应时间也变长了一点。体感上明显比7B慢但还不至于让人抓狂。如果只是简单问答和短文本生成甚至感觉不到太大差别。内存占用在6.5GB上下和7B级差距不大。如果你目标是日常使用且对速度不那么敏感8B级是一个值得选的位置。但对我个人来说在CPU推理的老机器上我倾向于用7B级保证流畅度用8B级更多是为了验证速度下限。4.3 13B级能启动但不推荐日常用最后测了13B量级的模型。说实话这一步我心里大概有数毕竟参数量上去了计算量也大幅增加。实测结果也印证了预期生成速度降到了每秒0.5到1个token输入一句话之后至少要等十几秒才能看到第一个字。这种速度别说作为日常工具连测试耐心都不够用。内存方面13B Q4_K_M加上下文缓存占用差不多11GB接近16G内存的天花板。如果同时开浏览器或者处理文档很容易触达系统内存极限。这次实测让我明确了一个结论在这台老笔记本上13B级模型虽然技术上能启动但实际没有日用价值。4.4 实测数据小结与选型建议把三个量级的体验放到一起做横向对比选型逻辑就很清楚了参数量级生成速度日常可用度内存需求适用场景7B Q4_K_M3-5 token/秒高5.5GB日常对话、写作辅助、翻译8B Q4_K_M2-3 token/秒中6.5GB对质量要求更高的问答13B Q4_K_M0.5-1 token/秒低11GB只适合半夜有耐心的实验如果你的电脑配置和我类似我的建议是日常使用首选7B级Q4量化这是性能和质量的甜蜜点有多余内存可以试8B级速度略慢但回答质量有时会好一些13B级除非你纯粹想验证极限否则别浪费时间。5. 榨干老机器性能的几个关键设置跑通只是第一步怎么让它跑得更顺、响应更快、内存不爆才是老电脑部署大模型体验好坏的分水岭。这一部分总结一下我在实测中摸索出来的关键参数和优化手段。5.1 量化等级怎么选Ollama拉取模型时可以在tag里指定量化格式比如Q4_K_M、Q8_0。量化等级听起来玄乎其实可以类比为图片压缩压缩率越高文件体积越小计算速度越快但画质回答质量会有损失压缩率低体积大速度慢但更接近原始效果。我在老笔记本上对比过Q2、Q4_K_M和Q8_0三个等级。Q2体积最小速度最快但回答内容经常出现语义颠三倒四的情况Q8_0质量最好体积几乎是Q4的两倍内存压力大速度也下降四成左右。最终的平衡点是Q4_K_M体积约为原始权重的四分之一在速度和效果之间拿捏得最稳。如果你特别看重质量可以尝试Q5或Q6量化但我实测在老CPU上它们带来的质量提升感知不明显速度损失却很实在。除非模型本身是你非常依赖的核心工具否则Q4_K_M仍然是老机器的首选。5.2 上下文长度与内存的关系上下文长度num_ctx决定了模型在对话中能记住多少历史内容。默认值通常是2048或4096这个数值越大模型能参考的前文越多但内存和计算开销也越大。上下文占用的内存随长度线性增长我曾经把上下文从4096调高到8192内存占用直接多了将近2GB生成速度也慢了一截。对于7B级模型在日常办公场景下的使用4096上下文已经足够覆盖多轮对话和长文档处理需求。如果你的需求是让模型阅读一本书或超长合同那可以按需调高但一定要清楚地知道它会带来内存和速度的双重压力。5.3 三个值得关注的后台参数模型保活时间控制模型在多长时间内保持驻留内存。如果设置为0每次请求后立即释放内存省资源但每次都要重新加载等待时间很长如果设置很大模型一直留在内存里响应快但内存一直占着。我设在5分钟左右既能避免频繁重载又能让模型在空闲后自动退出释放内存给其他程序。并发请求数控制同时处理的请求数量。老笔记本CPU核心有限并发开太高反而会增加排队时间我实测设成1时最稳定模型始终优先处理当前对话不会出现资源争抢。模型加载数量控制最多同时加载几个模型到内存。在16G内存的老笔记本上我强烈建议设为1否则两个模型同时挤在内存里系统会频繁使用虚拟内存导致速度断崖式下降。这几个参数在Ollama中都可以通过环境变量或模型运行时的参数修改改完之后记得重启服务进程才生效。6. 踩坑记录内存、温度与断连的处理思路任何实操都会遇到文档里不会写的坑。这一部分是我的真实踩坑记录希望你看到之后能少走弯路。6.1 内存占用持续飙高第一次跑模型对话聊了大概二十轮之后瞥了一眼任务管理器发现内存占用居然从启动时的5.5GB一路涨到了9GB。一开始还以为是模型越聊越累后来才明白是上下文缓存在持续累积。这个现象的本质是每轮对话都会把全部历史提问和回答继续维护在上下文中随着对话变长缓存不断增加。解决办法有两个思路一是开启更激进的上下文清理策略二是为当前对话设置更短的上下文长度。实际操作上可以在对话过程中定期开启新对话或直接重启对话进程。对于日常问答工具我提倡用用完就开新对话的方式既能节省内存又能避免模型被历史噪音干扰。6.2 CPU推理时的温度与降频CPU跑大模型时负载接近满载这是意料之中的。老笔记本的散热能力本来就弱实测跑7B模型五分钟后机身底部温度一度飙升到有点烫手核心温度接近90度。高温带来的连锁反应是降频CPU为了保护温度会自动压低运行频率推理速度反而比刚启动时更慢。这是老电脑跑大模型最容易被忽视的性能杀手。我的解决方式很朴素给笔记本配了一个散热底座同时把电源计划调成高性能模式限制后台应用。这样处理之后跑大模型的速度比没散热时明显更稳定没有再出现中途大幅降速的问题。6.3 多任务切换时的内存顶爆有一次我一边跑模型一边开了十几个浏览器标签页还挂着一个在线会议。结果系统弹出了内存不足的警告整个界面卡了很久最后浏览器直接闪退恢复。原因很清楚模型驻留占大头其他程序再一挤系统就只能用磁盘做虚拟内存全部程序一起变慢。此后我的使用习惯变成跑模型之前先清一波后台关掉不用的标签页把内存占用大户都退掉。实测下来清出至少8GB空闲内存再跑模型进程占用峰值稳定在6GB上下系统依然保持流畅。记住一个原则跑本地大模型时内存资源就是硬通货分配得越干净体验越舒服。6.4 模型拉取中断与续传第一次拉一个8B模型时拉到一半网络闪断终端报错退出。重新执行拉取命令后我以为会从头再下结果Ollama支持断点续传进度自动从已下载部分继续最终完整拉完。这个不算什么大坑但如果你遇到中途下载失败直接重试即可不用担心重新下载浪费时间。7. 这台老笔记本还能做什么及后续升级方向实测到这里我对这台老笔记本的能力有了清晰认知。它不可能成为一台高性能AI工作站但作为个人本地模型工具在特定使用场景下完全称职。7.1 老电脑上真实可用的日常场景我目前把这台老笔记本当作一台离线AI助手在用。第一个常用场景是文档处理把公司邮件或会议纪要丢给它让它提炼要点、写回复草稿、转换语气风格。7B级模型在这几项任务上表现相当稳定输出的文本基本不用大改。第二个场景是翻译和润色。相比在线翻译工具本地模型的好处是内容不会上传到任何服务器对隐私要求高一些的文本用起来更放心。实测中英互译的质量能达到中上水平输出速度虽然比不上云服务秒回但等待过程完全可以接受。第三个场景是编写代码片段。让它写一些常见的数据清洗脚本、正则表达式或者Shell命令准确率还不错。虽然复杂项目架构它搞不定但作为编码辅助工具已经够用。7.2 如果要继续压榨三个可玩的方向如果你的老笔记本和我这台情况类似后续还想继续扩展可以尝试三个方向。第一个方向是给Ollama接入其他应用。它本身提供了一套HTTP接口你可以在电脑上写一个简单的聊天界面把接口对接起来做成一个本地的网页版对话台。不需要复杂的Python框架甚至可以用纯HTML加JavaScript来实现非常适合当练手项目。第二个方向是尝试更大的上下文窗口。既然7B级模型只用掉5GB内存你可以尝试把上下文长度调到满编让模型能在一次对话中处理更长的文档内容。我在实测中将上下文调到近万长度时内存占用增加了不少但依然没有顶爆系统只是生成速度会再慢一些。如果你的场景是处理长文档这个方向值得试。第三个方向是扩展一个GPU。如果你的老笔记本碰巧有扩展坞接口或者能换一块中等性能的独立显卡哪怕只有几GB显存Ollama也会自动把部分计算任务卸载到显卡上速度会有一定提升。不过这个方向会打破零成本的初衷我暂时没有动手只是作为可选项记录下来。7.3 最后再分享一点体会这次实测整个过程下来我的体会是本地大模型的性能门槛没有想象中那么高。很多人都被大模型需要高端显卡的惯性思维劝退忽略了模型量化技术这几年突飞猛进更忽略了CPU推理在下探小参数模型时的实用价值。如果你手头有一台配置不算太差的旧电脑花一个晚上下载Ollama拉一个7B量化模型很可能收获和我一样的意外之喜。也不用担心操作复杂。整个流程从下载到跑通对话我在老笔记本上大概只花了不到半小时。模型选择方面7B级配Q4量化是最稳妥的起点。跑通之后再根据速度和内存观察逐步调整上下文长度和量化等级找到最适合你这台机器的配置组合。毕竟能让一台吃灰的老电脑重新派上用场还不用花一分钱这件事本身就挺有意思的。