云原生后端运维【免费下载链接】TerminusOpen-Source Personal Cloud OS for Always-On Agents项目地址https://gitcode.com/gh_mirrors/terminus2/Terminus点击查看免费下载LiteLLM 是一个 AI 网关它把 OpenAI、Anthropic、Google 以及 Ollama、vLLM 等本地推理引擎的异构 API 统一收敛到一个 OpenAI 兼容接口后面客户端只需一个 API 端点即可调用全部已配置模型。本文基于 Olares 的 LiteLLM 应用应用版本 1.0.8完整演示从 Market 安装 LiteLLM、配置 OpenAI 兼容的本地 Qwen 模型、用内置 Playground 验证连接、生成虚拟密钥并接入 Open WebUI以及通过使用统计与日志监控调用链路的全过程。读完本文你将掌握一套模型引擎 LiteLLM 网关 客户端应用的可复用接入方案并理解 Olares 平台层面对应用间调用的身份与网络支撑机制。认识 LiteLLM 网关LiteLLM 位于你的应用和模型提供商之间充当代理层主要承担三项职责统一接口LiteLLM 将来自 OpenAI、Anthropic、Google 以及本地引擎Ollama、vLLM的不同 API 格式规范化为单一的 OpenAI 兼容标准。客户端不必为每家提供商分别适配一套 API。自动格式转换当你使用标准参数发送请求时LiteLLM 会把它们翻译成目标提供商期望的特定参数名称与数据结构保证请求能正确被后端解析。请求路由根据请求中的模型名称LiteLLM 决定将其转发到远程云提供商还是本地模型服务器。由于这一统一层的存在你的客户端应用只需要一个 API 端点即可访问所有已配置的模型并能在远程与本地提供商之间自由切换。在 Olares 上运行 LiteLLM意味着你拥有了一个集中管理全部模型配置的枢纽模型在 Olares 本地引擎上推理LiteLLM 对外暴露单一端点其他应用如 Open WebUI无需感知模型后端的网络细节。版本说明本文档对应的 Olares 连接方式基于模型控制台直连方式对应 Olares 1.12.6 及此前版本的ai-service-connections-1.12.6.md复用内容Olares 1.12.7 及以后版本引入 Router 统一网关后连接信息也可通过 Router 的连接示例 获取两种方式在 LiteLLM 中的配置思路一致。前置条件开始之前你需要具备Olares 管理员权限安装应用、查看应用入口Entrances等操作都需要管理员身份。一个本地聊天模型推荐使用以下组合模型类型模型获取方式聊天Qwen3.6-27B (llama.cpp)从 Market 安装安装完成后模型应用会作为独立服务运行为后续 LiteLLM 接入提供模型名与 Base URL。如果你希望使用其他模型也可以从 Market 安装其他预构建模型应用或参考 使用引擎基座应用托管本地大语言模型 克隆引擎基座来部署自己的模型实例。安装 LiteLLM打开 Olares 的Market搜索 LiteLLM。点击获取然后点击安装。出现提示时设置两个环境变量UI_USERNAME指定管理员账户的用户名。这是 LiteLLM 管理后台的登录用户名。UI_PASSWORD指定管理员账户的密码。建议使用强度足够的独立密码不要与其他账户共用。点击确认并等待安装完成。安装完成后LiteLLM 会出现在 Olares 的 Launchpad 中。首次使用需要以安装时设置的管理员凭据登录后续所有模型管理、密钥签发与用量查看都在这套凭据下进行。添加 OpenAI 兼容的本地模型要让 LiteLLM 代理本地模型需要先拿到模型的精确连接信息再把它注册到 LiteLLM 中。整个过程分两步。从模型控制台获取连接信息在 Olares 上独立模型以独立服务的方式与客户端应用分开运行。要连接它们客户端需要与 API 格式匹配的精确Model name和Base URL这两个值都可以从模型的模型控制台获取。以 Qwen3.6-27B (llama.cpp) 为例LiteLLM 使用 OpenAI 兼容 API 格式具体步骤如下从 Launchpad 打开模型应用其模型控制台Model Console会自动打开。等待Model显示READY、Engine显示RUNNING确保推理引擎已就绪。在Model区域按原样复制Model name。本示例中为unsloth/Qwen3.6-27B-GGUF:Q4_K_M。在Engine区域Connection source选择Apps in Olares面向 Olares 内应用的服务端调用。API format选择OpenAI-Compatible。复制提供的Base URL请按显示内容原样使用不要改动路径与协议。说明如果模型控制台提供的是 Anthropic 兼容格式或其他格式如 Ollama 原生格式则对应选择相应的 API format本文以 OpenAI-Compatible 为例因为它是 LiteLLM 接入本地模型最常用的格式。关于 Olares 内应用请求来源与连接方式的一般性原理可参考 如何将 AI 应用连接到 Olares 模型。将模型添加到 LiteLLM拿到 Model name 和 Base URL 后在 LiteLLM 中完成注册从 Launchpad 打开 LiteLLM使用安装时设置的管理员凭据登录。从左侧边栏选择Models Endpoints然后点击Add Model标签页。配置以下设置配置项取值说明ProviderOpenAILiteLLM 使用 OpenAI 提供方适配器对接 OpenAI 兼容端点。LiteLLM Model Name(s)unsloth/Qwen3.6-27B-GGUF:Q4_K_M输入从模型控制台复制的准确 Model nameLiteLLM 将以此作为内部路由标识。Public Model Nameqwen3.6-27b容易识别的对外别名客户端在模型列表中看到的就是这个名字。API Base粘贴从模型控制台复制的 Base URL模型后端的实际服务地址请原样使用。API Keylocal本地模型通常不校验密钥输入占位值即可若后端有真实密钥要求请填入对应密钥。点击页面底部的Test ConnectLiteLLM 会向模型后端发起一次连通性探测。当Connection Test Results窗口显示连接成功消息时关闭窗口。点击Test Connect旁边的Add Model完成注册。你现在可以在All Models标签页中查看新添加的模型。从平台实现看LiteLLM 作为 Olares 上的共享应用其到模型服务的调用走的是 Olares 平台的应用间网络mesh-in通道平台通过shared-caller决策机制解析应用依赖并注入调用边见 decide.go 中Decide的实现测试用例中也以SettingSharedAppDeps: ollama,litellm这类共享依赖声明为例见 decide_test.go。这正是 Olares 内应用调用本地模型无需真实 API 密钥的底层原因——平台网络层已经完成调用方身份与可达性管理。使用 Playground 测试模型注册完成后先在内置 Playground 中验证模型连接与响应质量再接入其他客户端。从左侧边栏选择Playground。在聊天标签页上配置以下设置虚拟密钥来源Virtual Key Source保持默认的当前 UI 会话Current UI Session。这会让测试请求直接使用当前管理会话无需额外签发密钥。自定义代理基础地址Custom Proxy Base URL留空。填写它会导致错误。端点类型Endpoint Type选择与你的模型匹配的模式。对于聊天模型选择v1/chat/completions。Select Model选择刚刚添加的模型本示例中为qwen3.6-27b。在测试密钥Test Key面板中向聊天框发送提示词以评估模型性能。例如写一个关于机器人发现被遗忘图书馆的 3 段科幻故事你可以在这里直接查看首 token 时间TTFTTime to First Token、总延迟以及输入/输出 token 数等指标用来判断模型响应速度与上下文消耗。若要检查模型支持的功能和参数从左侧边栏选择AI Hub然后在模型中心Model Hub标签页上点击详情即可在模型概览页面上查看模型能力与参数说明。Playground 验证通过后说明模型后端 → LiteLLM这条链路已打通下一步就是把它开放给客户端应用。将 LiteLLM 与 Open WebUI 一起使用本节以 Open WebUI 为例演示接入方式。相同的方法适用于任何支持 OpenAI 兼容 API 的客户端应用例如 LobeHub、OpenCode 等。生成虚拟密钥客户端不能直接使用 LiteLLM 的管理员凭据而应使用按模型授权范围签发的虚拟密钥实现最小权限访问在 LiteLLM 中从左侧边栏选择虚拟密钥Virtual Keys然后点击创建新密钥Create New Key。在密钥所有权窗口中配置以下设置密钥名称Key Name输入一个描述性名称以便识别例如open-webui。模型Models选择此密钥允许访问的模型。建议只勾选需要开放的模型限制密钥的调用范围。保持所有其他选项为默认值。点击创建密钥Create Key。在Save your Key窗口中复制虚拟密钥并妥善保存供后续在 Open WebUI 中使用。关闭窗口后密钥将不再完整展示。获取 LiteLLM API Endpoint当客户端连接 Olares 上的另一个应用时使用的是该应用的**端点Endpoint**作为网络地址如果应用暴露多个端点应选择与客户端所需功能或协议匹配的那一个。对于 LiteLLM前往 OlaresSettingsApplicationsLiteLLMEntrances。选择LiteLLM API然后复制EndpointURL。这个 Endpoint 就是 Open WebUI 所需的API Base URL。将 Open WebUI 连接到 LiteLLM启动 Open WebUI点击左下角的用户头像然后选择管理面板Admin Panel。点击设置Settings标签页然后点击连接Connections。在OpenAI API下点击添加按钮新增一条连接。在添加连接窗口中配置以下设置连接类型Connection Type点击外部External将其切换为本地Local。本地连接表明请求来自 Olares 内部网络无需外部鉴权流程。API 基础地址API Base URL输入之前记下的 LiteLLM API Endpoint URL。API 密钥API Key输入之前复制的虚拟密钥。点击刷新/验证按钮验证连接。当看到 Server connection verified 消息时点击保存。在连接Connections下选择模型Models确认 LiteLLM 中配置的模型现在可用并显示你之前设置的公共模型名称本示例为qwen3.6-27b。聊天并监控使用情况在 Open WebUI 中开始新聊天选择你的 LiteLLM 管理模型验证它在对话中正确响应。此时链路为Open WebUI → LiteLLM 网关 → Qwen3.6-27B 本地引擎。返回 LiteLLM 监控你的使用数据要查看图形化使用统计从左侧边栏选择使用Usage。这里按时间维度展示请求量、token 消耗等统计便于观察模型负载与配额。要查看详细的 API 请求记录从左侧边栏选择日志Logs。每条请求的模型、耗时、状态码与 token 明细都可以在此追溯用于排查连接问题与性能瓶颈。理解虚拟密钥与平台访问控制细心的读者会发现整套链路中有两套凭据它们职责不同管理员凭据UI_USERNAME / UI_PASSWORD用于登录 LiteLLM 管理界面负责模型配置、密钥签发与用量查看只在安装时设置一次。虚拟密钥Virtual Key签发给客户端应用用于调用 LiteLLM 暴露的 API。密钥可以按模型范围授权最小化每个客户端的访问面。在 Olares 平台上这套身份体系还有更底层的支撑来自 Olares 内应用的请求会由平台网络层管理。源码测试中可以看到LiteLLM 应用AppID6aead52a在开启共享调用者决策settingSharedCallerDecide: true时平台会为其创建应用级 JWT 密钥用于内部调用鉴权见 issuer_test.go同时网关通过共享主机与 TLS 入口管理来维护应用间网络的加密通道相关实现见 mesh_in_shared_hosts_test.go 与 entrance_tls_test.go。这正是文档中本地模型 API Key 可以填写local占位值、Olares 内应用间调用无需外部 API 密钥的原因——平台身份层已经完成了调用方的识别与鉴权LiteLLM 的虚拟密钥则进一步为跨应用调用提供模型级授权。了解更多使用引擎基座应用托管本地大语言模型了解 Ollama、vLLM、llama.cpp、SGLang 四种引擎基座自行部署模型实例。使用 Open WebUI 与本地 LLM 聊天从零开始安装并配置 Open WebUI。使用 Olares Router 作为你的 AI 网关了解 Olares 1.12.7 内置的 Router 统一网关与模型命名规范。如何将 AI 应用连接到 Olares 模型理解客户端应用、Router 与模型服务三者之间的关系及连接参数含义。赞分享云原生后端运维【免费下载链接】TerminusOpen-Source Personal Cloud OS for Always-On Agents项目地址https://gitcode.com/gh_mirrors/terminus2/Terminus点击查看免费下载相关推荐在 Olares 上部署 Open WebUI连接本地模型的私有 AI 聊天实战指南在 Olares 上部署 Open WebUI连接本地模型的私有 AI 聊天实战指南 Open WebUI 是一款自托管的聊天界面在 Olares 上安装后云原生后端运维Olares 中的 Bifrost AI 模型网关实战单一 OpenAI 兼容端点统一路由模型并接入 OpenCode 与 Open WebUIOlares 中的 Bifrost AI 模型网关实战单一 OpenAI 兼容端点统一路由模型并接入 OpenCode 与 Open WebUI 本篇指南讲解云原生后端运维在 Olares 上部署 Firecrawl 网页加载器安装、Open WebUI 集成与 scrape/crawl API 实战在 Olares 上部署 Firecrawl 网页加载器安装、Open WebUI 集成与 scrape/crawl API 实战 Firecrawl 是一个云原生后端运维上一篇思源宋体CN如何用7种字重彻底改变你的中文排版设计下一篇终极Windows热键冲突解决指南3步排查快捷键失效问题创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考