资讯动态

10 分钟跑通 FreeLLMAPI:免费 LLM API 路由安装配置教程

发布时间:2026/10/19 3:30:28 来源:尧图企业网站定制
10 分钟跑通 FreeLLMAPI免费 LLM API 路由安装配置教程【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapiFreeLLMAPI 是一个免费 LLM API 路由把34家 AI 提供商的免费额度汇成一个 OpenAI 兼容的 /v1 接口背后是474个模型家族、635个免费端点每月约74 亿 token的免费推理额度某家限流就自动切下一家。走完你能拿到第一条免费回复并把现有 OpenAI 代码接上它。先跑起来一行命令装好免费 LLM API 路由前提是 Docker。这条命令替你建好~/freellmapi目录、生成加密密钥、拉镜像并启动容器curl -fsSL https://freellmapi.co/install.sh | bash✅ 成功标志浏览器打开 http://localhost:3001 能进仪表盘说明服务已在3001端口跑起来。命令可重复执行重跑只升级到最新版配置和加密密钥都保留。接着进密钥页做三件事把提供商密钥填进去Google AI Studio、Groq、Mistral或任意 OpenAI 兼容端点在Fallback Chain里调整顺序排靠前的优先被选复制页头freellmapi-开头的统一密钥之后你的应用只认这一把。更可控的部署方式Docker Compose 手动装想先读代码再运行clone 仓库后自己生成密钥并写进.envgit clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY$(openssl rand -hex 32) printf ENCRYPTION_KEY%s\nPORT3001\n $ENCRYPTION_KEY .env docker compose up -dSQLite 会持久化到具名卷。升级时保持ENCRYPTION_KEY和卷不变已加密的密钥不会解不开细节见安装文档。零命令行的方式桌面应用不想碰终端就从 Releases 下载 macOS 的.dmg或 Windows 的.exe安装包。路由器连同仪表盘整体装进系统托盘不需要设置任何账号密码仪表盘自动登录托盘弹窗里能看到实时请求统计。看到它真的在转用 Playground 验证第一次响应先别写代码。打开Playground页发一句介绍一下你自己。回复气泡上直接标出这次实际由哪家提供商、哪个模型应答以及延迟——路由确实在转一眼可见。走接口的话每个响应还带X-Routed-Via: 提供商/模型头核对实际应答方不用猜。 第一条免费回复到手。接入你现有的代码只改 2 个参数只要你的代码走 OpenAI 协议把base_url指向本地3001端口的 /v1、api_key换成统一密钥from openai import OpenAI client OpenAI(base_urlhttp://localhost:3001/v1, api_keyfreellmapi-你的统一密钥) resp client.chat.completions.create( modelauto, messages[{role: user, content: 一句话介绍你自己}], ) print(resp.choices[0].message.content)model填auto让路由器自己挑auto:fast偏重速度、auto:smart偏重智能、auto:reliable偏重近期成功率也可以直接写具体模型名。流式、工具调用、Embedding、图像/语音生成、Anthropic Messages 协议同样支持清单见 API 参考。本地的 Ollama、vLLM、LM Studio 也能按 OpenAI 兼容端点挂进密钥页的自定义端点和免费池一起参与路由。它在背后怎么干活的请求流转四步走大白话它不做推理只做派单——每个请求进来从池子里挑当前最优的免费模型去答。打分选模路由器对池内所有已启用模型按可靠性、速度、智能三个实时轴打分可靠性用近7 天、2 天半衰期的衰减加权样本做 Thompson 采样分最高的接单应答与标记命中的模型直接应答响应带上X-Routed-Via: 提供商/模型头供你核对失败处理命中 429 或 5xx 时该密钥进入升级冷却2 分钟→10 分钟→1 小时→24 小时请求自动落到链路下一个配额统计每次调用都计入按提供商、模型、密钥维度的 RPM/RPD/TPM/TPD 账本让你始终停在各家免费上限之内打分逻辑在 server/src/services/router.ts冷却重试循环在 server/src/lib/fallback-loop.ts。日常要盯的三个页面密钥、Models、Analytics密钥页提供商密钥的增删与状态、Fallback Chain 顺序、统一密钥发放都在这Models页路由透视每个模型带可靠性/速度/智能三个实时评分列表顺序就是当前的真实路由顺序整池月度 token 预算也在这里看Analytics页请求量、成功率、token 进出、按提供商拆分延迟给到 p50/p95 和首 token 时间数据默认保留90 天或 10 万条请求先到为准⚠️ 高频问题忘记密码了点登录页Forgot password?重置码打印在服务器日志里15 分钟内有效局域网别的设备想访问默认只绑127.0.0.1用HOST_BIND0.0.0.0启动可暴露仅限可信网络日志在哪Docker 用docker compose logs -f freellmapi桌面版在托盘菜单Open Logs Folder密钥安全吗提供商密钥用AES-256-GCM加密存在本地 SQLite每次请求时才在内存中解密仪表盘不露明文边界什么时候不该用它这套免费池的定位是个人实验与学习免费层没有 SLA没有前沿模型延迟会波动一天内头部模型撞上每日上限后端点的有效智能会往下掉UTC 午夜重置。真要上线的产品发布前把密钥池换成付费 API。接下来可以做的三件事把 Claude Code、Codex CLI、Cline 这类编程智能体指过来一条 setup 命令自动备份并合并现有配置配方在客户端与编程智能体文档请求虚拟模型fusion多个免费模型并行起草再由裁判模型合成一份答案说明见 Fusion 多模型合成想读源码从路由与评分架构文档入手配合 server/src/services/router.ts 看评分怎么算【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑