三步跑通属于你自己的免费 LLM APIFreeLLMAPI 本地部署与接入完整教程【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapiFreeLLMAPI 是一个 OpenAI 兼容的免费 LLM API 统一接口请求打向本地一个 /v1 地址由它分派到 34 家 AI 提供商的免费额度里——474 个模型家族、635 个免费端点每月约 74 亿免费 token。各家免费层请求量少、限流规则还各不相同34 套密钥、34 套 SDK 手工维护并不现实FreeLLMAPI 把派单、限流切换和额度记账合并成一份本地服务你只管一个地址、一把密钥。读完本文你将拿到本地跑起来的 FreeLLMAPI 服务第一条应答直接返回一个只改两行代码就能接入的示例一套能用一句话说清的路由派单逻辑动手前选一条适合你的部署路径三条路径跑起来的是同一个服务差别只在你愿意自己管多少东西。方式适合谁环境要求一句话说明一行命令想最快启动的人Docker脚本自动建目录、生成密钥、拉镜像、启动容器Docker Compose想自己保管密钥与数据卷的人Docker Docker Compose OpenSSL自己生成 ENCRYPTION_KEYSQLite 落在具名卷里桌面版不想碰终端的人macOS 或 Windows无额外依赖路由器与仪表盘装进系统托盘自动登录一行命令最快启动主路径就是一条命令。它会建好~/freellmapi目录、生成加密密钥、拉取镜像并启动容器服务跑在 3001 端口重复执行等价于升级到最新版已有配置不丢。curl -fsSL https://freellmapi.co/install.sh | bash启动后浏览器打开 http://localhost:3001 进密钥页做三件事填提供商密钥Google AI Studio、Groq、Mistral或任意 OpenAI 兼容端点在Fallback Chain回退链里调整顺序排靠前的优先被选中复制页头的统一密钥freellmapi-开头之后所有应用只认这一把。真实密钥用 AES-256-GCM 加密存进本地 SQLite轻量嵌入式数据库仪表盘上看不到明文。Docker Compose自己保管密钥与数据卷openssl rand -hex 32生成 64 位十六进制密钥连同PORT3001写进.env再启动git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY$(openssl rand -hex 32) printf ENCRYPTION_KEY%s\nPORT3001\n $ENCRYPTION_KEY .env docker compose up -dSQLite 会持久化到具名卷里。升级时只要ENCRYPTION_KEY和数据卷保持不变已存的密钥就能继续解开两者任何一个变了密文就解不动了。完整细节见 安装与部署文档。桌面版装进托盘不用终端桌面版把路由器和仪表盘整体装进系统托盘不设账号密码仪表盘自动登录托盘弹窗里能看实时请求统计。从 Releases 下载即可macOS 装.dmgWindows 装.exe。先验证再写码确认路由器真的在切换部署完别急着写代码花一分钟在 Playground 里确认派单确实发生。先打开 http://localhost:3001 的Playground页再输入一句短话比如用一句话介绍你自己发送看到回复气泡上标注出这次实际由哪家提供商、哪个模型应答、延迟多少即完成 ✅。这个标注就是路由发生的直接证据。如果你用代码发请求响应里还会带X-Routed-Via: 提供商/模型头可以逐次核对实际应答方请求在提供商之间转移过则同时出现X-Fallback-Attempts: N。接入现有代码把 base_url 指到本地现有代码只要走 OpenAI 协议要动的只有两个参数base_url指到本地api_key换成统一密钥。/v1 是 OpenAI 兼容接口即任何 OpenAI SDK 客户端都能直连的协议面SDK 原样保留。from openai import OpenAI client OpenAI(base_urlhttp://localhost:3001/v1, api_keyfreellmapi-你的统一密钥) resp client.chat.completions.create( modelauto, messages[{role: user, content: 一句话介绍你自己}]) print(resp.choices[0].message.content)model的取值决定这次请求怎么挑auto交给路由器自决auto:fast、auto:smart、auto:reliable让本次请求偏向速度、智能或近期成功率也可以直接写具体模型名例如gemini-2.5-flash。本地跑着的 Ollama、vLLM、LM Studio可以在密钥页按自定义 OpenAI 兼容端点挂进来和免费池一起参与路由。流式、工具调用、Embedding、图像/语音生成、Anthropic 协议面的完整用法见 REST API 参考。给好奇的人每次应答背后的派单逻辑FreeLLMAPI 自己不做推理只做派单每个请求进来它从池子里挑一个应答方。打分是三维的可靠性、速度、智能。评分来自近 7 天的实时流量按 2 天半衰期指数衰减——越新的实测数据权重越高。可靠性取实测成功率速度看吞吐和首字节时间智能取模型静态能力档位。分数最高的模型接单。响应带上X-Routed-Via: 提供商/模型头你随时能核对是谁真正答的。答砸了就走阶梯冷却命中 429限流或 5xx服务端错误时该密钥依次停用 2 分钟 → 10 分钟 → 1 小时 → 1 天越连击停得越久期间请求自动落到 Fallback Chain 的下一家你这边无感知。每一次调用都计入按密钥的额度统计。池子始终停在各家免费上限之内靠的就是这套记账。选模与评分的实现见 server/src/services/router.ts429/5xx 的冷却重试循环在 server/src/lib/fallback-loop.ts想读得更深从 路由与评分架构文档 入手。长期用法三个页面、四个 FAQ、一条边界日常管理集中在三个页面密钥页管提供商密钥、Fallback Chain 顺序和统一密钥一切密钥操作的入口Models页是路由透视每个模型带可靠性、速度、智能三个实时评分列表顺序就是当前真实的路由顺序整池月度 token 预算也在这里看Analytics页记账请求量、成功率、token 进出、按提供商拆分延迟给到 p50/p95 与首 token 时间数据默认保留 90 天。仪表盘密码忘了怎么办点登录页的Forgot password?重置码打印在服务器日志里15 分钟内有效。局域网别的设备怎么访问服务默认只绑127.0.0.1用HOST_BIND0.0.0.0启动即可暴露仅限可信网络。日志在哪里看Docker 部署用docker compose logs -f freellmapi实时跟踪桌面版在托盘菜单里选Open Logs Folder打开日志目录。提供商密钥安全吗真实密钥用 AES-256-GCM 加密存在本地 SQLite请求经过时才在内存中解密仪表盘任何位置都不露明文。最后一条边界这套免费池定位是个人实验与学习免费层没有 SLA真要上线的产品发布前把密钥池换成付费 API。上手之后还有三件事值得做请求fusion虚拟模型能拿到更稳的答案多个免费模型并行起草再由裁判模型合成一份参与模型组在仪表盘Fusion页配置接口用法见 REST API 参考 的 Fusion 一节。把编程智能体指向统一接口客户端与编程智能体文档 里有 Claude Code、Codex CLI、Cline 等工具的现成配方一条命令就能把它指到本地。想弄懂分数到底怎么算从 路由与评分架构文档 读起配合 server/src/services/router.ts 看评分与采样在代码里如何落地。【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考