Strata 免费开源本地推理引擎12GB 游戏显卡跑 125B MoE 大模型完整上手指南【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/StrataStrata 是一款免费开源的本地推理引擎让 125B 参数的 MoE 模型 Qwen3.8-Flash-Next 跑在 12GB 显存的游戏显卡 64GB 内存上写答案 60–95 tok/s自带本地网页聊天界面并在 127.0.0.1 上开出 OpenAI / Anthropic 兼容的 API。这篇文章从实测数据讲起把它为什么快、选哪个模型、怎么 3 步装好、怎么接进自己的应用一次说清楚。12GB 游戏显卡上的实测速度5 档量化、3 组数据官方测试机RTX 507012GB Ryzen 5 7600 64GB 内存。模型规格写答案短对话写答案128K 上下文长提示读取32KQ2_093 tok/s74 tok/s2,170 tok/sIQ2_XS79 tok/s63 tok/s2,090 tok/sIQ3_XXS62 tok/s49 tok/s1,750 tok/sIQ3_S53 tok/s46 tok/s1,620 tok/sCoderIQ1_M55 tok/s43 tok/s2,180 tok/s“写答案”两列分别指短对话和 128K 上下文中回答逐字流出的速度“长提示读取”指处理 32K token 输入的速度。显存翻倍收益明显RTX 309024GB预估 100–140 tok/s。全部测量数据在 docs/DETAILS.md。125B 参数不只是快能力也在线。下面这个等距体素宝塔花园网页就是 Strata 上的 Qwen3.8-Flash-Next 一次性写出来的浏览器里直接能玩12GB 显卡怎么装下 125B 模型专家分摊的逻辑稠密 125B 要几百 GB 显存但 Qwen3.8-Flash-Next 是 MoE 结构内部有 24,576 个“专家”每个词只需要动用其中 10 个。Strata 做的事就是把这 24,576 个专家摊到整机三块硬件上显卡承担每个词都要做的计算并在卡上缓存最常用的一两千个专家边跑边学哪些最常用 内存装下全部专家。某个词要用到卡上没有的专家时CPU 和 GPU 并行处理互不等待SSD存一张大查找表每个词只从里面读几行。再叠加投机解码模型内置的小助手先猜接下来的几个词大模型一次性批量校验猜对的留下——一步产出多个词提速 1.6–1.8 倍且质量不损失。长文档按 8,192 token 一块整块读取这就是 1,000 tok/s 的读取速度来源。完整推导见论文 docs/paper/Strata-Paper.pdf。125B 大模型量化怎么选按内存档位对号入座四档主流量化的内存 显存需求Q2_0 为 37.6 GBIQ2_XS 为 39.2 GBIQ3_XXS 为 47.0 GBIQ3_S 为 54.8 GB。量化越重速度越慢、质量越好。按内存对号64GB 内存四档全装得下日常推荐 IQ2_XS速度与质量平衡48GB选 Q2_0 或 IQ2_XS32GB只剩 Coder——ISTA-DASLab 做的精简版砍掉一半专家、保留写代码最需要的部分首片 29.6GBSWE-bench Verified 达原模型 91%长提示读取2,180 tok/s五档里最快。显卡大小只影响速度不降低内存需求。想要回答更快还有 Swift 1.5 微调版思考 token 少 63%、回答快 1.8 倍质量基本不变。本地推理引擎安装Windows 双击一次Linux 一条命令先看硬件门槛部件要求显卡NVIDIA RTX 20/30/40/50 系列12GB 显存起8GB 可跑但慢内存推荐 64GB32GB 可跑 Coder磁盘约 80GB 空闲强烈建议 SSD系统Windows 10/11 或 Linux唯一要手动装的是 NVIDIA 显卡驱动580 及以上安装三步拿到代码git clone https://gitcode.com/gh_mirrors/strata11/Strata或直接下载项目解压Windows 双击 START-HERE.batLinux 执行./setup.sh回答 4 个问题——模型版本与量化档位、上下文长度、是否启用图片理解、实验性速度选项——全部按回车就是推荐项。之后自动下载约 70GB支持断点续传并自动启动浏览器打开 http://127.0.0.1:8080。两个预期内的事首次启动电脑会卡 1–3 分钟正在把 35–55GB 加载进内存并锁定别关窗口之后每次启动只要 30–90 秒。关掉窗口即停止模型。启动之后浏览器、终端、API 三种用法浏览器默认本地页面三个标签——Chat流式回答、可折叠思考过程、图片理解、Monitor模型状态 GPU/CPU/内存/磁盘实时监控、About设置与 API 地址终端聊天.venv\Scripts\python chat.py支持/image 路径发图、/think low|high调思考深度源码见 chat.pyAPI自己的应用按 “OpenAI 兼容” provider 接入base URL 填 http://127.0.0.1:8080/v1API key 与模型名任意用 Anthropic API 的应用填 http://127.0.0.1:8080/v1/messages服务端实现在 serve/server.py局域网/手机START-HERE.bat --setup --host 0.0.0.0 --api-key secret同网段其他设备即可调用。两个使用细节思考深度有 off / low / medium / high 四档off 最快、high 留给难题每个会话的首条消息会完整读取约每分钟 30,000 token之后的追问秒级启动。再快一截多卡分层与自动调参 双卡/三卡START-HERE.bat 会自动列出显卡并询问是否按层做流水线并行实测 RTX 5080 RTX 3090 组合长提示读取快 18–20%细节见 docs/MULTI_GPU.md自动调参START-HERE.bat --calibrate花 5–10 分钟测出并保留最快的引擎配置官方测试让 Coder 提速 7%️ AMD 显卡实验性Linux 下./setup.sh --backend hip支持 RX 7900 XT/XTX见 docs/AMD_HIP.md。调参前后的速度差距可以直接在 Monitor 面板里看排障启动后 6 种现象的处理方式现象怎么办首次启动电脑卡死正常正在加载进内存等 1–3 分钟别关窗口下载/安装中断再运行 START-HERE.bat自动续传很慢且磁盘灯狂闪空闲内存不足关其他程序或换 Q2_0 / IQ2_XS端口 8080 被占用Strata 已在运行找到它的窗口即可“提示超出上下文长度”开新对话或用 SETUP.bat 调大上下文“引擎意外停止”多为内存不足重发消息即可引擎会自动重启完整排障表见 docs/DETAILS.md 的 troubleshooting 部分历代机器实测与预估速度数据都在 bench/results/。【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考