最近折腾完一个小任务在本地把大模型跑起来作为 OpenClaw 的推理后端。选了 Ollama 和 LM Studio 两条路线分别搭了一遍最后接入 OpenClaw 让 Agent 真正调用本地模型。整个过程不算复杂但踩了一些比较典型的坑包括端口、模型量化、WSL2 环境校验这类问题。这篇文章把我自己的实操过程理顺记录两条路线的差异、关键步骤和排坑经验给同样准备本地搭建大模型并接入 OpenClaw 的朋友一个可以直接参考的版本。先说结论Ollama 更偏命令行和自动化适合脚本调用、嵌入服务LM Studio 更偏图形界面适合下载模型、试模型、日常聊天。这两条路线都能成功接入 OpenClaw但接入方式有细微差别。下面按我的实际步骤展开。1. 为什么要本地部署隐私、预算与可控性这三件事在动手之前先解决一个很实际的问题为什么不用云端 API如果你只是偶尔调用云端省心省力一旦把大模型接入 Agent、经常性调用情况就完全不同了。1.1 隐私和敏感数据不再出本机我接 OpenClaw 的时候有一部分场景是处理本地文档和内部数据。这些内容走云端 API 会被服务商留存虽然绝大多数服务都有隐私协议但“数据出了自己机器”这件事本身就让人不舒服。本地部署后模型权重在自己硬盘上推理也在本机完成对话内容不会离开网卡。这个特性对个人开发者、小团队、或者对数据流向敏感的场景是刚需。1.2 成本从按量计费变成一次性硬件投入云端 API 是按 token 计费的Agent 类的场景天然 token 消耗量大系统提示词、工具调用返回、长上下文反复携带一天跑下来费用不低。本地部署的模型只要硬件扛得住调用次数不再和钱直接挂钩。拿我自己常用的 7B/8B 量级模型来说内存 16GB 以上就可以跑得动Q4 量化后用 GPU 或好的 CPU 推理响应速度都够用。这笔账算下来长期跑 Agent 任务明显是本地划算。1.3 版本可控不会被服务商悄悄替换云端 API 的另一个问题是模型版本不可控。你昨天调用的模型和今天调用的可能是同一名字但不同版本输出的稳定性会有波动。本地模型不存在这个问题下到哪个文件就是哪个版本量化方式自己定上下文长度也可以按需调整整个推理链路完全透明。对于要复现结果、做对比实验的场景这是很重要的优势。这个“可控性”还体现在本地大模型不会因为服务商调整策略而突然下线某个版本。你既可以把小模型跑在老爷机上也可以把大模型跑在多卡服务器上自由度比云端大很多。2. Ollama 与 LM Studio两种路线的核心差异我一开始以为 Ollama 和 LM Studio 是同类工具实际用下来才发现它们的设计哲学完全不同。理解这个差异才能选对适合自己的路线。2.1 本质区别一个是服务端一个是图形应用Ollama 本质是一个本地模型运行时的服务端默认监听 11434 端口提供命令行工具和 REST API。它的使用习惯是终端命令ollama pull qwen2.5:7b下载模型ollama run qwen2.5:7b启动交互式对话ollama list查看已安装模型ollama serve手动启动服务。LM Studio 是一个桌面应用基于 Electron 构建打开后是完整的图形界面模型浏览、下载、加载、聊天、本地 API Server 都集成在一个窗口里。它服务的核心对象是“人”操作习惯是点击而不是命令。2.2 共同点模型管理 OpenAI 兼容 API两者的底层推理都基于 llama.cpp 或类似引擎支持 GGUF 格式的量化模型。更关键的是两者都实现了 OpenAI 兼容的/v1/chat/completions和/v1/models接口。这个共同点决定了接入 OpenClaw 的时候思路是一样的把本地引擎看成一个 OpenAI 格式的 API 服务配置 base URL 和模型名就行。2.3 差异对比表对比项OllamaLM Studio操作方式命令行为主图形界面为主安装包体积小500MB较大数百MB到1GB级别模型管理ollama pull/push命令应用内搜索、下载管默认 API 端口114341234API 路径/v1/chat/completions/v1/chat/completions服务生命周期后台服务可常驻启动应用后才有服务适合场景服务化、自动化、脚本调用试模型、闲聊、可视化调参资源占用相对更轻因为界面本身内存稍高多模型同时加载支持同时监听多个模型同一时刻一般加载一个主模型2.4 怎么选取决于最终目的如果你和我一样重点是“把模型变成 OpenClaw 的推理后端”Ollama 更顺它天然是服务形态关掉终端也能后台跑资源占用少适合长期挂机。如果你还处于“我该用哪个模型/哪个量化版本”的阶段LM Studio 更合适图形界面让你快速试不同模型看到效果再决定。两条路线也可以共存我现在的做法是日常试模型用 LM Studio接入 OpenClaw 用 Ollama。原因很简单——LM Studio 要一直开着应用而 Ollama 可以注册成系统服务随开机启动。3. 基于 Ollama 的搭建终端派的最优解我先把 Ollama 这条路线完整走了一遍下面是每一步的具体做法和背后的原因。3.1 安装三平台通用的方式Ollama 官方支持 macOS、Linux、Windows。macOS 可以直接用 Homebrewbrew install ollamaLinux 用官方安装脚本curl -fsSL https://ollama.com/install.sh | shWindows 直接下载.exe安装包装完会自带一个后台服务不需要额外配置环境变量。安装完成后验证一下ollama --version ollama serve如果ollama serve能正常启动说明基础环境没问题。这里有个小细节在 macOS 上如果你是用 Homebrew 安装的服务可能已经以 launchd 方式跑起来了不需要手动ollama serveWindows 同理。Linux 上手动serve后如果要改成开机自启通常需要配 systemd 服务。我实际用的 Ubuntu 服务器上官方安装脚本会自动创建 systemd 服务省了不少事。3.2 下载模型选对尺寸比选对模型更重要模型选择是本地部署最容易纠结的一环。我的经验是先定硬件再定模型规模。内存或显存 8GB 左右老老实实选 7B/8B 模型内存 16GB 且能调用 GPU可以尝试 13B/14B内存 32GB 以上再考虑 32B 级别。官方模型仓库的拉取命令很简单ollama pull qwen2.5:7b也可以拉 Llama 3.1 8Bollama pull llama3.1:8b关于量化版本Ollama 默认拉取的模型已经是量化过可直接运行的版本一般不需要手动指定 Q4_K_M 这类参数。如果你在 LM Studio 里下载模型就要自己关注 GGUF 文件和量化等级。3.3 启动一个能对外提供服务的后端打开一个终端运行ollama run qwen2.5:7b这个命令会加载模型并进入交互式对话界面。但注意交互式会话是给“人”用的。如果要接入 OpenClaw我们更关心的是 API 服务。ollama 默认在模型运行后已经开启了 API 服务端口是 11434。你可以用另一个终端验证curl http://localhost:11434/api/tags应该返回一个 JSON里面是你已下载的模型列表。3.4 让 Ollama 长时间稳定跑的几个设置长期跑 Agent 任务时有几个环境变量值得关注export OLLAMA_NUM_PARALLEL1 export OLLAMA_KEEP_ALIVE5mOLLAMA_NUM_PARALLEL控制同时处理的请求数如果你的机器内存不够大保持 1 是最稳妥的OLLAMA_KEEP_ALIVE控制模型在内存中的驻留时间。默认 5 分钟是为了省内存但对 Agent 场景来说模型频繁被卸载再加载反而更耗时我一般设成30m甚至-1常驻内存。当然这取决于你有没有富余内存。3.5 如何验证 OpenAI 兼容接口OpenClaw 走的是 OpenAI 兼容协议。验证方式很简单curl http://localhost:11434/v1/models如果返回模型列表说明 OpenAI 兼容层已经可用。再发一条测试消息curl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5:7b, messages: [{role: user, content: 你好}], stream: false }返回内容里的choices[0].message.content就是模型回复。这步测试很重要因为它直接对应后续 OpenClaw 的调用方式。你的本地模型对 OpenClaw 来说就是一个位于http://localhost:11434/v1的 OpenAI 兼容服务。4. 基于 LM Studio 的搭建界面派的最优解如果你不是命令行爱好者LM Studio 会友好很多。它的安装和使用全程都是图形界面但接入 OpenClaw 时的核心步骤和 Ollama 类似。4.1 安装与模型浏览去 LM Studio 官网下载对应系统的安装包安装完成后首次启动会让你选择模型下载目录。注意这里尽量选一个磁盘空间充足的盘一个 GGUF 模型通常是 4GB 到 8GB多下几个就是几十 GB。模型搜索在应用内完成。你可以在搜索框输入模型名比如qwen2.5或llama3.1结果列表里会显示不同作者和不同量化版本。推荐优先看文件名里带Q4_K_M或Q5_K_M的版本这是量化大小和效果相对平衡的点。我在 LM Studio 里试模型时通常先下 Q4_K_M如果效果满意就不再试更高精度的版本了——增量收益对实际任务来说不太明显但内存和推理时间却实实在在增加了。4.2 加载模型与本地推理点击模型左栏的下载按钮下载完成后在 “Models” 列表里选中它再点 “Load” 加载。加载后右侧聊天窗口可以直接对话。注意 LM Studio 的推理上下文长度默认可能比较保守。你可以先把它调到 4096 或 8192 再测试。上下文长度越长内存占用越高推理速度越慢。对 OpenClaw 场景来说Agent 要携带系统提示词、工具定义和中间结果4096 起步比较稳妥如果你用的是 8B 以下小模型8192 内存也扛得住。4.3 开启 Local Server这是接入 OpenClaw 的关键在 LM Studio 的界面里找到 “Local Server” 或 “Developer” 标签页点击 “Start Server”。默认地址是http://localhost:1234/v1。启动之后同样可以用 curl 验证curl http://localhost:1234/v1/models这里有一个和其他工具不同的地方LM Studio 的 API Server 是跟应用窗口生命周期绑定的。你关掉 LM Studio那个端口就没了。接入 OpenClaw 做长期服务的场景这点比较烦。解决方式也简单LM Studio 可以设置开机自启并保留 Server 运行状态但本质上你还是得付出一个图形应用的内存开销。4.4 LM Studio 独有的一些傻瓜化设置打开 Local Server 后界面会有几个选项Serve on local network如果你想让局域网内其他设备也能访问这台机器的模型服务可以打开。默认只监听本机。CORS headers如果你的前端想跨域调用把这个选项打开。Port默认 1234如果你和别的服务有冲突可以改成其他端口改完重启 Server 生效。这些设置对 OpenClaw 接入来说保持默认即可主要留意端口就行。我习惯把 LM Studio 的端口改成 1235避免和 Ollama 的 11434 之外的另一个常见服务撞车虽然实际上两者默认端口不冲突但多一层保险总是好的。4.5 Ollama 与 LM Studio 都装的情况下怎么共存我两台机器都装了两者发现它们可以共存但要注意资源冲突。主要问题在显存同时让 Ollama 和 LM Studio 各加载一个模型显存或内存很容易被占满导致其中一个 OOM。我的原则是同一时间只让一个引擎加载模型。日常试模型就开 LM Studio正式跑 OpenClaw 就关掉 LM Studio用 Ollama 顶着。5. 接入 OpenClaw让 Agent 直接驱动本地模型OpenClaw 是一个开源的 Agent 运行时你可以把它理解成一个可以连接多种大模型、执行工具任务、管理多代理协作的控制端。之前的痛点就是它默认配置往往指向云端模型 API而我们要做的是把它的模型源指向本地已经跑起来的 Ollama 或 LM Studio。5.1 接入前要确认的四个信息不管用哪个引擎接入 OpenClaw 前都先确认本地服务的 base URL即http://127.0.0.1:11434/v1或http://127.0.0.1:1234/v1API Path 是标准/v1/chat/completions模型标识名例如qwen2.5:7b或local-model-nameLM Studio 里就是模型文件名一个任意非空字符串作为 API KeyOllama/LM Studio 本地服务通常不校验 key但 OpenClaw 的 OpenAI 客户端会要求这个字段不能为空5.2 OpenClaw 配置示例以我用的 OpenClaw 版本为例配置文件中会有一个 provider 或 model 相关的节点核心是把baseUrl和apiKey改到本地地址。大致结构如下{ mode: primary, model: { name: qwen2.5:7b, provider: { kind: openai, baseUrl: http://127.0.0.1:11434/v1, apiKey: ollama } } }如果你用的是 LM StudiobaseUrl改成http://127.0.0.1:1234/v1模型名改成你下载的模型标识apiKey随便填一个非空字符串比如lm-studio。重点是这个provider.kind要设成openai或对应的“OpenAI 兼容”类型OpenClaw 才会把请求拼成 OpenAI 的标准格式发往本地服务。5.3 容器或 WSL2 环境下的 base URL 调整这是我最想强调的坑如果你把 OpenClaw 跑在 Docker 容器或 WSL2 里面直接用127.0.0.1访问宿主机的 Ollama/LM Studio 往往不生效。原因很简单容器里的127.0.0.1是容器自己不是宿主机。WSL2 里的 localhost 转发规则在多数情况下好用但 Docker 和某些网络配置下会失灵。解决方案是改用host.docker.internal{ baseUrl: http://host.docker.internal:11434/v1 }macOS 和 Docker Desktop 天然支持host.docker.internalLinux 上如果没解析需要在启动容器时加参数--add-hosthost.docker.internal:host-gateway。5.4 验证接入是否成功配完之后不要急着跑完整 Agent 任务先用一个最简单的对话验证确认 OpenClaw 能列出模型或加载配置不报错向 OpenClaw 发一条“你好”这样的消息观察日志如果 OpenClaw 报连接失败用 curl 手动访问baseUrl下的/v1/models先排除模型服务本身的问题如果连接成功但响应很慢考虑是不是模型还在冷加载首次推理要加载权重到内存走完这些OpenClaw 就打通了——Agent 的思维链、工具调用、多轮对话都会经过本地大模型完成推理过程中不再有外部 API 请求。6. 实测对比与越界排坑记录最后这部分是全文最有价值的部分。我实测了 Ollama 和 LM Studio 接入 OpenClaw 的表现也踩了一些值得记录的坑。6.1 同一个模型两条路线的实测差异我拿qwen2.5:7b分别通过 Ollama 和 LM Studio 接入 OpenClaw各跑了几个任务。结论是模型输出质量基本没差别因为底层都是同一个 GGUF 模型文件在推理。差异主要在工程层面。维度OllamaLM Studio首次请求时延低常驻服务中首次需确认模型已加载连续多轮对话稳定性稳定稳定但长时间挂机偶发断连内存占用略低略高图形界面本身吃内存配置复杂程度中低适合接入 Agent更推荐可以但需要配合开机自启如果你想让 OpenClaw 7x24 小时挂着Ollama 是我实测下来更稳的选择。LM Studio 更适合我在桌面上试模型、调提示词的阶段。6.2 排坑记录一OpenClaw 报 “could not safely verify the wsl2 environment”这个报错是我在 Windows WSL2 环境下遇到的。OpenClaw 运行时会检查 WSL2 环境是否正常如果检测策略比较严格或者 WSL2 内核版本过旧、网络栈异常就会触发这个提示。我当时的处理步骤在 PowerShell 执行wsl --update确保 WSL2 内核更新到最新进入 WSL2 后检查/etc/resolv.conf是否正常生成DNS 异常有时也会触发环境校验失败把 OpenClaw 的配置改成显式指定 provider 和 baseUrl而不是让它自动探测如果网络环境复杂比如公司代理先临时关掉代理再启动 OpenClaw确认是网络探测问题还是配置问题不过坦白说如果只是本地单机使用我更推荐直接在 Linux 或 macOS 上跑 OpenClawWindows 下走 WSL2 的变量太多了排查起来效率很低。6.3 排坑记录二端口看起来通了但 OpenClaw 就是连不上有次我在 LM Studio 里已经启动了 Servercurl 也能拿到模型列表但 OpenClaw 一直报错。排查后发现是我把baseUrl写成了http://localhost:1234OpenClaw 会按/v1/models去请求结果返回 404。原因出在 baseUrl 的路径必须带/v1。两种写法# 错误 http://localhost:1234 # 正确 http://localhost:1234/v1Ollama 也是同理正确写法是http://localhost:11434/v1。这个细节很容易漏但漏一次就会白白浪费很多排查时间。6.4 排坑记录三模型名对不上OpenClaw 配置里的name必须和引擎返回的模型 ID 完全一致。Ollama 的模型 ID 规范是qwen2.5:7b这种带冒号的全名LM Studio 下通常是你下载的模型文件名去掉.gguf后缀后的名字。如果你不确定直接 curl 一下/v1/models把返回 JSON 里的id字段复制到配置里最保险。6.5 排坑记录四内存爆掉和推理过慢本地大模型聊着聊着突然开始“卡死”十次里面有九次是内存或显存被占满。我的建议是上下文长度控制在 4096 或 8192不要无脑拉满7B/8B 模型至少准备 8GB 可用内存含权重重常驻部分16GB 更舒服能用 GPU 就用 GPUCPU 推理 7B 模型虽然能跑但流式输出速度明显比 GPU 慢Agent 多轮任务时延会被放大如果显存吃紧换更低的量化版本Q4_K_M 换成 Q4_0或者干脆降低模型参数量级内存不足的另一个表现是 OpenClaw 一侧出现超时看起来像是 Agent 卡住。这时候先看系统资源监视器而不是急着翻配置。6.6 我的最终选择实测一轮下来我现在主力方案是 Ollama 提供模型推理服务OpenClaw 做 Agent 控制端两者都跑在同一台 Linux 机器上。LM Studio 则留作“模型试玩平台”——毕竟在图形界面里切换不同 GGUF、调整上下文和采样参数比在命令行里一个版本一个版本地试要直观太多了。如果你刚起步我建议也从 LM Studio 开始先下载一两个小模型试试水熟悉量化和推理的基本手感等你确定自己的核心模型和量化版本之后再迁移到 Ollama 做正式服务。这样做的好处是你不必在什么都不懂的时候就被迫理解端口、环境变量、服务注册这些工程细节却也不会在真正需要稳定服务的时候被图形界面限制住手脚。本地大模型这件事门槛其实没有想象中高。一个 7B/8B 模型一台 16GB 内存的普通电脑就能跑出不错的效果。接入 OpenClaw 后Agent 的每一步推理都不再依赖外部 API这种完全自控的感觉用过一次就回不去了。