摘要本文手把手教你用 Ollama 在本地电脑上跑大模型全程不花一分钱 API 费、断网也能用、数据完全不出本机。内容覆盖三个平台的安装、模型选择、命令行操作、三种代码调用方式原生 REST API、OpenAI SDK 兼容、流式输出以及 Modelfile 自定义模型、接入 VSCode 和 Web UI 等进阶玩法最后附上常见报错排查清单8GB 内存即可入门。目录前言一、Ollama 是什么二、安装三个平台任选三、拉模型、跑模型3.1 模型怎么选3.2 一条命令开聊3.3 必知命令四、代码调用三种方式4.1 原生 REST APIcurl4.2 OpenAI SDK 兼容调用最实用4.3 流式输出打字机效果五、进阶玩法5.1 Modelfile 自定义模型5.2 接入 VSCode 本地 AI 编程5.3 一键 Web UI六、常见报错排查重点收藏七、总结不花一分钱 API 费、断网也能用、数据完全不出本机——Ollama 让你在自己电脑上跑大模型。本文覆盖安装、选模型、命令行、三种代码调用方式、自定义模型和常见报错全程实操。前言调 API 的痛点谁用谁知道按 token 计费肉疼、数据要上传第三方、断网就歇菜、限流等到怀疑人生。而本地部署最大的好处是一次配置无限次白嫖数据 100% 在自己手里。Ollama 是目前最简单的本地方案一条命令下载模型一条命令跑起来还自带 OpenAI 兼容 API。8GB 内存的电脑就能玩起来。一、Ollama 是什么Ollama 是一个开源的大模型本地运行框架核心卖点极简ollama run 模型名一条命令直接对话自动量化默认加载 4 位量化版消费级硬件就能跑OpenAI 兼容本机起一个 API 服务原来的 OpenAI 代码只改一行就能切过来跨平台Windows / macOS / Linux 全支持二、安装三个平台任选Windows去官网ollama.com下载OllamaSetup.exe双击安装即可。macOSbrew install ollamaLinuxcurl -fsSL https://ollama.com/install.sh | sh验证ollama --version强烈建议做的第一个配置Windows 用户福利模型默认存在 C 盘动辄几个 GB改到其他盘新建系统环境变量OLLAMA_MODELS值设为如D:\ollama\models重启 Ollama 服务任务栏图标退出重开Linux/Mac 同理在启动前export OLLAMA_MODELS/your/path。三、拉模型、跑模型3.1 模型怎么选模型命令显存/内存需求特点Qwen2.5 7Bqwen2.5:7b约 6GB中文能力第一梯队综合最推荐DeepSeek-R1 7Bdeepseek-r1:7b约 6GB带推理链数学/逻辑强Llama 3.2 3Bllama3.2:3b约 3GB轻量老电脑友好Qwen2.5 14Bqwen2.5:14b约 10GB效果更强需独显Qwen2.5-Coder 7Bqwen2.5-coder:7b约 6GB专门写代码经验法则8GB 显存玩 7B12GB 玩 14B24GB 玩 32B。纯 CPU 也能跑 7B只是速度慢约 5-10 token/s。3.2 一条命令开聊ollama run qwen2.5:7b首次运行自动下载模型之后直接进入对话。/bye退出。3.3 必知命令ollama list # 查看本地已有模型 ollama ps # 查看当前加载在显存里的模型 ollama show qwen2.5:7b # 查看模型详情量化格式、上下文长度等 ollama rm 模型名 # 删除模型释放磁盘 ollama serve # 手动启动 API 服务一般装完自动就在跑四、代码调用三种方式4.1 原生 REST APIcurlcurl http://localhost:11434/api/chat -d { model: qwen2.5:7b, messages: [ {role: user, content: 用一句话解释什么是卷积} ], stream: false }返回 JSONmessage.content就是回答内容。4.2 OpenAI SDK 兼容调用最实用Ollama 内置了 OpenAI 兼容端点你现有的 OpenAI 代码只需要改两行from openai import OpenAI client OpenAI( base_urlhttp://localhost:11434/v1, # 原来是 https://api.openai.com/v1 api_keyollama # 随便填不校验 ) resp client.chat.completions.create( modelqwen2.5:7b, messages[ {role: system, content: 你是一个简洁的中文技术助手}, {role: user, content: Python 的 GIL 是什么两句话说清} ] ) print(resp.choices[0].message.content)这意味着LangChain、LlamaIndex、各种 AI 框架只要支持自定义 base_url就全部能无缝接本地模型。4.3 流式输出打字机效果stream client.chat.completions.create( modelqwen2.5:7b, messages[{role: user, content: 写一首关于程序员的五言绝句}], streamTrue ) for chunk in stream: content chunk.choices[0].delta.content if content: print(content, end, flushTrue)五、进阶玩法5.1 Modelfile 自定义模型固定角色、固定参数不用每次写 system prompt# 文件名: Modelfile FROM qwen2.5:7b PARAMETER temperature 0.7 SYSTEM 你是我的代码审查助手。收到代码后按「正确性、可读性、性能」三个维度点评 用中文指出问题时附上修改建议。 ollama create code-reviewer -f Modelfile ollama run code-reviewer5.2 接入 VSCode 本地 AI 编程装 VSCode 插件Continue配置 provider 为ollama、模型选本地模型就能获得离线版 Copilot代码补全、对话解释、重构建议全走本地代码不出电脑。5.3 一键 Web UI不想用命令行装个 Open WebUIDocker 一条命令docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway \ -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main浏览器打开localhost:3000得到一个本地版 ChatGPT 界面支持多会话、知识库文档问答。六、常见报错排查重点收藏1. 下载模型速度极慢国内网络直连不稳定。给终端配置代理后再ollama pull或者换个时间点官方源本身不限速。2. 报out of memory/ 跑不动换小模型qwen2.5:3b甚至qwen2.5:1.5bOllama 默认 4bit 量化已经很省了再不行关掉其他占显存的程序浏览器硬件加速纯 CPU 跑自动降级能跑但慢7B 约 5-10 token/s3. 模型下载后 C 盘爆了没做第二节的环境变量配置OLLAMA_MODELS指到数据盘把已有模型目录整体剪切过去再重启服务。4. 端口 11434 被占用 / 服务没起ollama serve手动启动端口冲突时改环境变量OLLAMA_HOST0.0.0.0:11500同时记得客户端 base_url 同步修改。5. Python 连不上 API先curl http://localhost:11434确认服务活着防火墙拦截时允许 Ollama 通过。七、总结Ollama 把本地大模型的门槛降到了「安装 一条命令」个人用ollama run直接聊配 Open WebUI 得到本地 ChatGPT开发用OpenAI 兼容端点现有代码改两行 base_url进阶用Modelfile 定制专属模型Continue 插件实现离线 AI 编程8GB 内存即可入门显卡越好越流畅。AI 应用的下一波红利就在本地化、私有化部署现在把环境搭好后面接 RAG、Agent 都是顺水推舟。觉得有用的话点个赞再走评论区聊聊你本地跑的是什么模型。发布建议CSDN 标签选「Ollama、大模型、本地部署、LLM、AIGC」这类文章长尾流量很好标题里带「本地部署」「白嫖」「告别 API」等关键词搜索量都很大封面建议用终端运行截图或 Web UI 截图。