前两天帮朋友从柜子里翻出一台吃灰的旧笔记本2018年左右的移动版i5处理器、8GB内存、256GB固态满打满算已经服役六七个年头。开机还算利索但也仅限开个网页、写个文档。朋友随口问了一句“这玩意儿能跑现在流行的大模型吗”我当时第一反应是不行毕竟本地大模型动辄几个GB大小跑起来还吃显存。然而实测完之后我改变了自己的判断并且想把这个“0元方案”好好分享出来因为它的核心工具就是Ollama。这里先给个直接结论6年前的普通笔记本只要把期望摆正、模型选对完完全全可以本地跑通大模型速度不唬人日常查资料、写文案、做翻译、整理信息都够用投入成本为0元。它不依赖显卡不依赖高性能CPU甚至不需要多高的内存规格。这篇文章就是我实打实的测试记录和踩坑记录从安装步骤到模型选型、从性能实测到问题排查全都有。想在自己电脑上体验大模型、又不想花钱买服务的朋友照着做就行。1. 先说结论老电脑跑大模型为什么值得一试先说清楚这件事的底层逻辑其实特别简单大模型不是非要在云端或者昂贵工作站上跑它本质上就是一堆权重数据加推理代码。Ollama这类本地推理工具把模型推理的硬件要求降了下来特别是在模型很小时CPU就能跑。我们不需要几十上百亿参数的大模型1B到3B这个小范围正是老笔记本的甜点区。我实测的那台机器配置是6年前很典型的移动版i5双核四线程8GB内存核显没独显。最初我也有顾虑“这配置连跑个游戏都费劲能跑AI”事实证明顾虑被数据推翻了。运行一个1.5B参数量的量化模型时实测生成速度大约每秒8到12个token。而3B参数的模型速度降到每秒5到7个token。如果是7B甚至更大的模型每秒2到3个token只是在“挤牙膏”体验上确实不太行。很多人会问是不是内存必须16GB起步未必。选对模型以后8GB内存的老本也确实能跑但我建议有条件的话把笔记本内存升级到16GB二手内存条很便宜这个升级对体验的提升是立竿见影的。如果没有升级条件老老实实选1B级别模型8GB内存也能稳定运行。这个方案要解决的痛点很明确现在很多大模型工具都要联网调用数据要经过别人的服务器有些场合还涉及隐私和断网问题。而本地跑一个大模型完全断网也能用数据全在自己电脑里而且不牵扯按次计费、不牵扯月度会员这几点对普通用户来说真的很加分。这篇文章适合三类人一是笔记本年限较长、预算有限的在校学生想学习大模型但不想买云服务器二是对数据敏感、希望隐私数据不出本机的办公用户三是单纯想低成本体验本地AI、把一台旧电脑利用起来的折腾型玩家。后面讲到的所有步骤和命令都是在这台老电脑上一步步验证过的有需要直接照抄。2. 老笔记本硬件摸底与可行性判断2.1 先看清自己手里这台机器的底牌动手之前先做体检。我把朋友笔记本的几个关键参数查了一遍处理器6年前移动版i5双核四线程基础频率1.6GHz左右睿频能到3.4GHz内存8GB DDR4单通道频率2400MHz左右硬盘256GB SATA固态不是NVMe显卡核显共享系统内存这几项里最重要的不是CPU也不是显卡而是内存容量。大模型推理时模型权重和中间计算结果都要放进内存。8GB内存在跑1.5B模型时还能勉强应付但如果同时开十几个浏览器标签页内存一紧张系统就会用虚拟内存生成速度直接崩盘。硬盘也很关键。模型文件大则4GB到5GB小则几百MBSATA固态虽然不如NVMe但读取顺序足够。机械硬盘就别想了加载一个几GB模型可能要等好几分钟体验非常差。2.2 模型跑不跑得动关键看这3个硬指标判断一台电脑能不能跑本地大模型不要只看CPU型号里数字大小主要看这3个指标内存容量是第一个指标也是最硬性的。按我的经验内存大小和可运行模型参数之间有大致对应关系内存容量推荐模型参数范围实际体验8GB0.5B ~ 3B1.5B流畅3B偏卡16GB1.5B ~ 7B7B可跑但速度一般32GB7B ~ 14B体验不错速度尚可CPU指令集支持是第二个指标。现在的推理引擎普遍依赖AVX2、AVX512这类x86指令集来做矩阵运算加速。6年前的笔记本CPU绝大多数都支持AVX2这就是为什么老电脑还能跑的原因。如果更早的笔记本比如10年前的CPU可能不支持AVX2会遇到没法用的问题。散热能力是第三个指标最容易被人忽略。本地大模型推理时CPU会长时间满载老笔记本散热风扇噪音很大而且温度高到一定程度会触发降频保护推理速度急剧下降。我实测时看到CPU温度一度飙到95度随后速度肉眼可见地掉了一半。拿个风扇底座垫着会有很明显改善。2.3 期望管理老电脑能干什么不能干什么这点我多说两句因为很多人期望值不对最后说“这个方案是骗人的”。老笔记本跑大模型能干的是这些日常问答对话、中文翻译、文案润色、信息提取、代码补全和简单解释、会议纪要整理。这些任务本身对模型能力要求不高1B到3B的模型完全能胜任我实测润色一段中文文案效果很不错翻译英文句子也比想象中准确。不能干的是复杂推理和多步逻辑问题类似数学证明、代码调试、长篇内容创作、实时语音对话、同时处理超长文档。主要瓶颈是内存带宽和CPU算力小模型在复杂任务上的能力上限就摆在那里硬跑也只会输出逻辑混乱的内容。把期望先立好后面用的过程就会舒心很多。我见过有人拿1.5B模型跑数学题输出错了就骂工具不行其实真不是工具不行纯粹是模型能力上限在那儿。3. Ollama安装与基础配置3.1 安装Ollama前的系统准备所谓0元是说不用花钱买算力、买云服务但系统准备工作还是要做足的。我先检查了这几点Windows系统补丁更新到较新状态避免老版本系统的兼容性问题关闭不必要的后台开机自启程序特别是各种安全管家、桌面助手能卸载就卸载它们会在推理时抢占内存预留至少10GB磁盘空间模型文件、依赖和缓存都要放得下如果用的是Linux系统比如Ubuntu检查一下glibc版本是否够新太老的话Ollama会报错。Windows和macOS相对省心直接装就行。3.2 安装步骤与验证Windows下安装非常简单去官网下载Windows安装包双击下一步就装好了不需要配置额外的运行环境也不需要装Python。macOS用户可以用命令行工具安装Linux用户直接用我下面这段命令curl -fsSL https://ollama.com/install.sh | sh装完以后打开终端或命令提示符窗口输入ollama --version只要能看到版本号说明安装成功。如果提示命令找不到多半是环境变量问题Windows安装包会自动配置Linux的话把安装目录下的bin路径加进PATH就好。注意安装目录和模型存储目录最好不要放在C盘系统分区。老笔记本的C盘普遍紧张后面模型拉多了容易爆盘。Windows下可以通过设置环境变量OLLAMA_MODELS来修改模型目录建议直接指向D盘或E盘。3.3 模型下载与运行的第一条命令Ollama最吸引人的地方是命令极简。下载并运行一个模型只需要一条命令ollama run qwen2.5:1.5b执行后会自动从模型仓库拉取文件这个过程类似下载安装包1.5B模型大约1GB左右取决于网络情况可能要几分钟到十几分钟。下载完成后会直接进入交互式命令行你可以像微信聊天一样一句一句和模型对话。退出对话用/bye查看本地已下载的模型列表用ollama list删除不需要的模型用ollama rm 模型名这些命令是日常使用频率最高的后面所有操作都是在这几个命令基础上展开的。4. 模型选择决定老电脑体验成败的核心环节4.1 参数规模、量化等级与内存匹配模型选错后面全是泪。我第一批模型就踩了大坑当时图新鲜直接拉了一个13B模型结果加载到一半内存就满了电脑直接卡死只能强制重启。后来冷静下来分析发现模型参数规模、量化等级和内存三者是强关联的。模型文件不是原始的参数大小而是经过量化压缩的。量化就是把模型权重从原始的16位浮点数压缩到8位、4位甚至更低体积缩小好几倍精度有小幅损失但换来的是能在小内存机器上跑起来。文件名里通常带Q4、Q8这些字样Q4就是4位量化体积最小最适合老电脑。内存占用可以用这样一个粗算方法一个1.5B参数的模型按Q4量化后模型本体大约占1GB内存推理时还需要一部分额外内存做上下文缓存所以总计约1.5GB到2GB。3B模型Q4量化后大约2GB到2.5GB。8GB内存的老本1.5B确实是最稳妥的选择。4.2 实测中的模型表现对比这台老电脑上我前后跑了4个模型分别是不同的参数规模和量化版本成绩单如下模型参数规模量化体积实测速度内存占用峰值综合体验qwen2.5:0.5b0.5B约400MB20 token/s约1GB快但笨qwen2.5:1.5b1.5B约1GB8~12 token/s约2GB平衡最优qwen2.5:3b3B约2GB5~7 token/s约3.5GB有点卡llama3.2:1b1B约700MB10~15 token/s约1.5GB英文更佳tinyllama1.1B约900MB10~14 token/s约1.5GB中规中矩其中中文日常对话表现最好的是qwen2.5:1.5b速度快、语义理解准确、写中文文案很自然。llama3.2:1b的中文能力偏弱一些但英文流畅度更好。如果你主要是做些简单的代码问答tinyllama也够用。有一个衡量速度的换算标准正常阅读中文大约每秒5到8个汉字而1.5B模型每秒生成8到12个token一个token在中文里大约对应一个词或半个词所以生成速度可以达到“边聊边等”的接受范围。3B模型的5到7 token/s就是明显的停顿感了聊起来不够顺。4.3 冷知识上下文长度也不是越大越好Ollama默认的上下文长度是2048或4096很多人以为越大越好其实在老电脑上这是一个“内存杀手”。上下文长度越大推理时需要占用的额外内存就越多而且计算量会随上下文长度成倍增长。我在8GB内存的老本上实测把上下文从2048调成4096后1.5B模型的生成速度明显下降还出现过内存不足报错。合理的做法是跑1.5B模型时把上下文设置为2048日常对话完全够用。只有处理较长文档时才临时调大用完再调回来。调整方法是在对话时输入/set parameter num_ctx 2048然后继续对话即可。这个细节经常被忽略但对于老本跑模型它可能决定你是流畅还是卡死。5. 实操记录从安装到流畅跑通的完整过程5.1 首次运行实测记录我完整记录了一次从拉取模型到对话的实操过程下面把关键节点列出来。第一步拉取模型ollama pull qwen2.5:1.5b命令会显示下载进度条下载完成后自动提示成功。我特意记录了下载时间在百兆宽带下大概3分多钟。第二步运行模型ollama run qwen2.5:1.5b第一次运行时Ollama要把模型读入内存我注意到有大约10秒的冷启动延迟之后才出现提示符。这个等待时间在后续再运行模型时会有改善因为系统缓存了部分文件。第三步输入测试内容。我用了三个维度的语料做实测翻译任务“把这段话翻译成英文今天天气不错适合出去走走。”写作任务“帮我写一份周末去图书馆学习的时间安排表。”信息提取任务“从这段文字中提取时间、地点和人物昨天下午三点小李在公司会议室提交了项目报告。”从实际输出结果看翻译比较准确信息提取也能抓住核心要素时间安排表的输出结构完整到可以直接用。9成以上的常见需求都能覆盖。5.2 给Ollama配一个网页界面命令行对话虽然是极简方案但用起来不够直观复制粘贴也不方便。我给Ollama配了一个本地网页前端也就是常说的Web UI效果就像在浏览器里用网站版大模型一样。先启动Ollama服务ollama serve默认情况下Ollama会在本机的11434端口开启一个服务。然后找一个支持Ollama接口的开源对话前端工具这类工具非常多我这里用的是比较常见的一个本地聊天前端。配置时只需要把接口地址填成http://127.0.0.1:11434填完就能在浏览器里选模型、新建会话、切换不同模型体验比命令行友好得多。配置过程中唯一容易出问题的是本机防火墙拦截11434端口需要在防火墙里加一条放行规则允许该端口的本地连接。注意这个接口默认只监听本机地址不会暴露给局域网其他设备。如果外网或者其他设备想访问需要额外改配置这一步不建议随意开启本地使用保持默认就好安全第一。5.3 日常使用中的提速技巧使用一段时间后我积累了一些这台老笔记本跑模型的提速经验分享几个立竿见影的推理前关闭浏览器的大多数标签页特别是视频网站和大型网页它们能吃掉大半内存。实测把浏览器标签从20个关到5个后生成速度提升了差不多三成。把Windows电源模式切换到高性能笔记本默认的平衡模式会限制CPU频率。电源模式切换后CPU睿频更积极生成速度有明显提升。任务管理器里把性能占用最高的进程看清楚一些同步网盘、后台更新程序都会抢CPU和内存。尽量使用纯净版本的系统或者精简系统原版系统自带的一堆后台服务会拖慢推理。按这套组合操作下来这台6年前的老笔记本跑1.5B模型的体验已经相当接近网页版的效果了。6. 踩坑实录老电脑跑模型最容易出问题的5个环节6.1 内存爆掉的隐藏原因我遇到的第一次瓶颈就是内存爆掉。一开始我以为模型本身占用太大后来仔细观察才发现真正吃内存的是同时开着的10多个浏览器标签页和微信桌面版。光浏览器就占了3.5GB内存微信再吃1GB留给模型的只有3GB多一点点。排查思路很简单先用任务管理器把吃内存大户排序一下排在前面的浏览器标签、通信软件、网盘该关就关。个别占用特别高的进程可以直接结束任务。跑模型时最理想的状态是内存占用率在70%以下这样模型才有充足的内存去做推理运算。6.2 CPU过热与风扇全开老笔记本的散热结构普遍老化硅脂干涸6年前的CPU在满载推理时温度飙升是意料之中的。我实测到CPU核心温度最高95度这时候系统会自动降频保护推理速度从10 token/s掉到4 token/s。解决方案分三档最基础的是垫高笔记本让底部通风顺畅进阶方案是拿小风扇对着底部吹成本几十块钱效果立竿见影彻底方案是拆机更换硅脂、清理风扇灰尘这个对动手能力要求高一些但效果最好。如果动手能力弱也不建议硬扛可以把模型换成0.5B大幅减少推理时的CPU占用发热会明显缓解。6.3 模型加载半天生成像挤牙膏有一次运行模型首次加载花了将近半分钟后续生成速度也只有每秒2到3个token异常卡顿。排查半天发现是系统在后台做磁盘索引和自动更新硬盘被反复读写导致模型文件读取延迟严重。后来我把自动更新时段设置到深夜关掉Windows搜索索引服务对模型目录的扫描再清理了磁盘碎片加载速度恢复正常。还有一个容易被忽略的点如果模型放在SATA机械硬盘或者U盘上加载速度会慢到让人怀疑人生SSD是底线。6.4 模型下载失败与本地管理第一次拉取大模型时中途网络不稳定进度条卡在99%一直不动。我以为是网络问题就等着结果等了10分钟还是没动静。后来查到Ollama支持断点续传但前提是不要手动中断如果中断了上次下载的残留文件可能会被当成不完整文件处理。处理办法很简单用ollama rm 模型名清掉不完整的模型记录重新执行ollama pull。另外下载大模型时尽量避开网络高峰时段实测白天和深夜的下载速度差别明显。模型多了以后本地占用很容易失控13B模型一个就有7GB以上几轮测试下来磁盘空间就告急了。我建立了一个习惯每测完一个模型立刻用ollama rm清理只保留日常真正在用的1到2个模型。6.5 多开窗口导致系统卡死有段时间我图方便同时打开了命令行对话和网页前端还在另一个命令行窗口里用API调用同一个模型。结果内存迅速见底系统直接无响应。原因是每个推理进程都会加载一份模型副本即便同一台机器、同一个模型同时开多个进程也会重复占用内存。正确做法是只用一种方式访问比如开着网页前端就不要再用命令行跑同一个模型。多个会话可以放在同一个前端工具里用不同对话窗口实现这样不会重复加载。7. 常见问题排查速查表把这段时间遇到的问题整理成一张速查表方便大家遇到问题时直接对号入座现象可能原因解决办法模型加载很久才出结果模型放在机械硬盘、首次加载冷启动换SSD首次加载后再跑一次会快很多生成速度突然变慢一半CPU过热降频、后台进程抢资源清理散热、关闭无关进程、开高性能电源模式对话时系统卡顿或死机内存不足、同时开了多个推理进程关闭多余软件只用一种方式访问模型报错提示内存不足选中了超出内存范围的模型换更小的参数模型或降低上下文长度网页前端连不上Ollama本机防火墙拦截11434端口添加防火墙放行规则允许本地连接下载进度一直停在99%网络波动导致文件不完整删掉不完整模型记录后重新pull中文回答质量差模型本身中文语料偏弱优先选择中文优化过的模型风扇噪音很大CPU满载散热压力大垫高、外置风扇、更换硅脂或降级模型这张表覆盖了我遇到过的绝大多数问题如果你按表排查还找不到原因最后的大招是去看Ollama的日志文件。Windows下日志通常在%LOCALAPPDATA%\Ollama目录Linux下在/var/log/下里面有详细的运行记录能定位到具体报错。这次实测下来我的真实感受是本地跑大模型的门槛比大多数人想象中低得多而Ollama把这种门槛又往下拉了一大截。6年前的老笔记本确实跑不了大模型但跑一个“符合它身份”的小模型绰绰有余关键是不要和参数规模较劲。0.5B到3B之间中文问答、翻译润色、信息整理已经完全够日常使用隐私数据不出本机断网可用这才是本地方案最闪亮的点。最后再分享一个实操心得跑模型这件事最花时间的前期排查是选模型而不是装软件。建议新手先用1.5B模型跑一周日常场景摸清自己的需求点以后再去找更合适的模型。直接追求大参数的后果大概率是被卡顿劝退。把旧电脑利用起来这件事除非亲自试过否则很难相信这个年代还有这么省钱的AI方式。Ollama是本地LLM运行工具的一个通用代称文中涉及的模型均为公开的开源模型仅用于技术交流与学习。