8GB 显存跑 125B MoE 本地大模型Strata 在 Windows 上的安装与接入【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/StrataStrata 让普通 Windows 游戏电脑跑起 125B MoE 本地大模型双击 START-HERE.bat引擎安装、模型下载、本地 API 服务全自动完成浏览器打开 127.0.0.1:8080 即可对话。️ 8GB 显存最低配置你的电脑能不能跑 125B MoE消费级显卡能装下 1250 亿参数靠的是 Strata 引擎把工作拆开GPU 负责每步计算剩余显存做成专家缓存装最常用的专家内存固定存放全部 24,576 个专家CPU 与 GPU 同时计算28.8 GB 的 n-gram 查找表放在 SSD 上每个 token 只读其中几行。MTP 草稿层先起草 3 个 token、一轮校验平均每次校验产出 2.4-3.2 个 token出字速度因此明显更高。最低配置显卡NVIDIA RTX 20/30/40/50 系列8GB 显存起步内存32 GB只够装专家数减半的 Coder硬盘约 80 GB 空闲空间SSD 强烈推荐驱动NVIDIA 580 或更新版本。推荐配置显卡RTX 30/40/50 系列12-24 GB 显存显存每多 1 GB 约多缓存 700 个专家内存64 GB硬盘SSD。模型尺寸按内存选64 GB 选 IQ3_S质量最高48 GB 选 IQ2_XSQ2_0 则最快32 GB 选 CoderIQ1_M面向代码。各尺寸下载体积与内存占用对比见 docs/MODELS.md。从 git clone 到出字START-HERE.bat 首次安装全程克隆 Strata 源码命令行执行git clone https://gitcode.com/gh_mirrors/strata11/Strata下载压缩包解压也可以。目录里能看到 START-HERE.bat、setup.py、chat.py这一步就算完成。双击入口脚本跑首次安装双击 START-HERE.bat。首次运行装完一切并启动模型之后每次再运行直接启动已下载的内容不会重复下载。脚本自动完成检查显卡、驱动、内存、CPU 与磁盘空间没有 Python 3.10 时为当前用户账户安装 Python 3.12无需管理员权限并在项目内建 .venv 虚拟环境不碰系统 Python下载预编译的 Strata 推理引擎无需编译从 Hugging Face 下载约 70 GB 模型文件支持断点续传另含约 5 GB 的 MTP 草稿层。最后它生成 run- .bat 并启动服务。判断成功的标准浏览器自动打开http://127.0.0.1:8080聊天页加载出来Monitor 页面能看到 GPU 与内存的实时负载。注意首次启动要把几十 GB 数据载入内存耗时几分钟期间整台电脑可能明显变慢属于正常现象。首次运行的 4 个交互选项与默认建议脚本会问 4 个问题每个问题按 Enter 即接受推荐项模型家族原版 Qwen3.8-Flash-Next另有 Swift 1.5 微调版尺寸脚本按你的内存给推荐值48 GB 对应 IQ2_XS64 GB 对应 IQ3_S上下文长度选标注 recommended for your GPU 的那档32K/64K/128K是否读图片首次建议关以后需要模型看图时再开图像编码会额外占用显存。实验性的速度投影speed projection默认关闭新手不建议开。想跳过问答、直接按推荐值装完可在命令里追加--yes。跑起来之后浏览器、终端与 OpenAI 兼容接口接入浏览器直接打开http://127.0.0.1:8080聊天页与 Monitor 监控页都在里面终端聊天项目目录里运行.venv\Scripts\python chat.py接入你自己的应用OpenAI 兼容 base URL 填http://127.0.0.1:8080/v1任意 API key 可用同一服务也提供 Anthropic 风格接口局域网/手机访问运行START-HERE.bat --setup --host 0.0.0.0 --api-key 你的密钥同网络其他设备即可调用。想加第二个模型或改上下文双击 SETUP.bat等价于START-HERE.bat --setup已下载内容不会重复下载。有多张 NVIDIA 显卡时启动会询问是否多卡共享一个模型也可用--gpus 0,2手动指定细节见 docs/MULTI_GPU.md。速度量级RTX 5070 12 GB 64 GB 内存的实测值见 docs/DETAILS.mdQ2_0 出字 87.3 tokens/s1K 上下文到 60.3 tokens/s262K 上下文IQ2_XS 为 79.6-52.8 tokens/s4K 提示词读取约 1,256 tokens/s。 本地大模型装出问题先看这里Q首次启动很久鼠标转圈A正常正在把几十 GB 专家数据载入内存首次最慢。超过 10 分钟就关闭浏览器等占内存的程序后重跑。Q下载中断了A再次双击 START-HERE.bat已完成的步骤会复用自动续传。Q提示 NVIDIA 驱动太旧ACUDA 13 引擎要求驱动 580 以上。更新驱动、重启电脑再运行脚本。Q8080 端口被占用A通常表示 Strata 已经在运行找到对应窗口即可。确要并行两个实例时用--port 8081。Q很慢硬盘灯一直闪A内存装不下专家在从 SSD 读。关闭其他程序或换更小尺寸Q2_0/IQ2_XS、降低上下文。仍解决不了查 docs/TROUBLESHOOTING.md 和项目文件夹里的启动日志。一台 8GB 显存的游戏 PC 配上 64 GB 内存就能拥有出字约 50-90 tokens/s 的 125B MoE 本地大模型免费、开源、完全离线数据不出你这台机器。【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考