【免费下载链接】vLLM-2080Ti-DefinitiveThe definitive vLLM runtime for dual RTX 2080 Ti 22GB NVLink, delivering Qwen 27B local inference with maximum 200 tok/s single-request decode with support of FP8 weight ( Join Discord :https://discord.gg/VFqVVySdMS )项目地址https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive点击查看免费下载vLLM-2080Ti-Definitive 是面向双 RTX 2080 Ti22GB NVLink的专用 vLLM 推理运行时用 44GB 显存的 Turing 双卡就能以 200 tok/s 的速度在本地跑 Qwen 27B 大模型。本文作为系列总结完整梳理 0.2.x 从迁移快照到当前v0.2.2-post2基线的版本演进路线图并汇总 Discord 交流群与 2080Ti-LLM-Toolbox 等社区资源帮你快速选对版本、跟上新版。 0.2.x 是一次换代升级CUDA 13.0 新基线0.2.x 不是常规小版本而是整个运行时栈的换代。旧版0.1.x基于 CUDA 12.8 / PyTorch 2.11 的旧工具链目前已停止主动维护0.2.x 则整体迁移到 CUDA 13.0 / PyTorch 2.13 / Python 3.12并对齐了上游 vLLM 的v0.29.1rc0-33快照发布时还引入了正式运行时标识vllm-def-cu130。相关版本元数据见 PROJECT_RELEASE.env当前版本号记录在 VERSION。维度0.1.xlegacy 线0.2.x当前线CUDA / PyTorch12.8 / 2.1113.0 / 2.13Python旧工具链3.12目标主机旧 kernel、GCC 12/13/14Ubuntu 26.04、kernel 7、GCC 15上游基线较早上游版本v0.29.1rc0-33commitb23433088b维护状态不再主动维护活跃开发中 0.2.x 版本演进时间线从迁移快照到 v0.2.2-post2完整版本记录见 CHANGELOG.md按迁移适配 → 并发验证 → 正确性加固三个阶段可以快速看懂版本日期里程碑v0.2.1-pre—CUDA 13.0 / PyTorch 2.13 / SM75 迁移初始快照v0.2.1-pre22026-08-21首个验证预览Qwen3.8 FP8/NVFP4 profiles、TP/PP launcher 选择、更严格的预检v0.2.1-pre32026-08-27双 2080 Ti 真并发验证候选packed-varlen FlashQLA、prefill 批对齐、TurboQuant 包装缓存v0.2.1-pre42026-09-14对齐上游 nightly本地修复改为采用上游替换方案v0.2.1-RC12026-09-18发布候选DFlash2 路线、PCIe 自定义 all-reduce 扩展到 2–16 GPU、profiles 扁平化布局v0.2.12026-09-19CUDA 13 / SM75 系列首个稳定版v0.2.22026-09-25专注正确性与可复现前缀缓存 投机解码修复、MTP/GDN/TurboQuant 修正CHANGELOG.md#L43v0.2.2-post12026-09-26DFlash 与混合 Mamba 正确性修复新增四条已验证的 2xT10 INT4 MTP3 路线v0.2.2-post22026-09-26强化 DFlash2 前缀缓存重放与目标状态处理为当前基线三个阶段的主线很清晰迁移适配pre → pre2完成 CUDA 13.0 迁移补齐 Qwen3.8 FP8/NVFP4 启动路线与 SM75 兼容内核路径并发验证pre3 → RC1把双卡真并发从口号变成经过实测的路线profiles 目录也在这时改为扁平化硬件/模型/权重布局正确性加固v0.2.1 → v0.2.2-post2重点打磨前缀缓存命中、DFlash2 投机重放、混合 Mamba 状态一致性并持续补齐回归测试覆盖。⚡ 0.2.x 核心能力让双卡跑满 200 tok/s0.2.x 把硬件潜力转化为可用服务栈的关键组件包括Marlin、FlashInfer/FlashQLA、TurboQuant/INT8 KV、MTP/DFlash2 投机解码和 CUDA Graph。官方性能亮点如下均为单请求测试DFlash2 默认 K7、合成文本高命中场景硬件权重路线上下文 / KV4K 输入解码32K 输入解码2× RTX 2080 TiQwen3.8 27B NVFP4256K / FP8 KV220.84 tok/s209.35 tok/s4× Tesla T10Qwen3.8 27B FP8256K / FP16 KV191.89 tok/s189.38 tok/s真实任务吞吐受 draft 接受率影响可能低于上述数值。已验证的模型路线见 README.zh-CN.md 与 profiles/2x2080Ti/README.zh-CN.md覆盖 FP8 高精度单并发、NVFP4 长上下文并发、INT4W4A16以及 Qwen3.x 35B 等场景。此外0.2.x 的 launcher 还内置了实验性的 SSD 前缀缓存OffloadingConnector可将已完成的前缀 KV 块经 CPU 暂存层写入磁盘服务重启后无需重新 prefill 相同前缀使用细节见 docs/non-interactive-launch.zh-CN.md。 0.2.x 一键更新与启动build.sh / update.sh / launcher.sh日常升级非常简单update.sh 会保留本地虚拟环境、依赖缓存、日志、结果以及profiles/local比较本地VERSION与最新 Release 后下载对应源码归档并可在完成后询问是否立即执行 build.sh。./update.sh # 将已有仓库更新到最新 Release ./launcher.sh # 交互式主菜单选权重、套 Profile、设 GPU/TP/PP、启停服务自动化部署可走非交互模式例如MODEL_DIR/path/to/checkpoint \ PROFILE2x2080Ti/qwen27b/w8a16/mtp4-fp8kv-1x262K-text-only.env \ MODEfast GPU_DEVICES1,5 TP_SIZE2 \ NON_INTERACTIVE1 ./launcher.sh启动前建议用./launcher.sh --print-config预览最终生效的路线参数。Profile 按profiles/硬件/模型/权重/路线.env扁平组织字段与命名规范见 profiles/README.zh-CN.md。启动模式分四档normal稳定日常、fast已验证路线的高性能默认档、aggressive性能最高、质量风险也高、safe排障回退。 社区资源汇总Discord 交流群与 2080Ti-LLM-Toolbox 工具箱Discord 官方交流群分享使用体验、提出功能请求、交流部署与运行问题的主阵地加入链接见 README.zh-CN.md 顶部。2080Ti-LLM-Toolbox与本项目同维护者的配套工具箱沉淀双 2080 Ti 模型路线、benchmark 汇总、模型笔记和运行建议本仓库则聚焦补丁后的 vLLM 运行时本体两者配合使用体验更完整。上游生态0.2.x 的加速栈建立在 vLLM、FlashInfer、QwenLM/FlashQLA及其 SM70/SM75 适配版、TurboQuant、Marlin、CUTLASS、Triton 等上游项目之上上游更新合入后仍会在本 fork 的 SM75 范围内重新验证。维护与致谢fork 的发布与验证工作由维护者 weicj 牵头并持续吸纳社区贡献CHANGELOG.md#L134。 版本验证与性能分析跟着官方口径走Profile 库本质是一张验证矩阵只有外部审计完成启动、4K/128、32K/512、并发与图文正确性验证后路线才会被 promote 到正式 profileprofiles/2x2080Ti/README.zh-CN.md 中附有每条路线的实测数据与测试环境。如果你要自己定位性能瓶颈仓库内置了 nsys 分析工具链tools/profiler/nsys_profile_tools/ 可将.nsys-repGPU trace 归类为 gemm、attn 等堆叠图与 CSV 明细帮助快速找出最吃 GPU 周期的内核类别更多压测脚本分布在 benchmarks/ 目录。✅ 新手版本选择建议0.1.x 还是 0.2.x新装机、能上 CUDA 13.0直接选 0.2.x 当前基线v0.2.2-post2性能与正确性打磨最充分仍在 CUDA 12.8 / PyTorch 2.11 / 旧 kernel可临时参考已停止维护的v0.1.x兼容线但建议尽快规划迁移到 0.2.x注意配套一致性PyTorch CUDA 构建、toolkit、FlashInfer/FlashQLA 构建与所选 profile 必须同版本配套不能跨线混用查看本地版本读VERSION文件即可升级用./update.sh一步到位。写在最后从 pre 预览的迁移快照到 RC 的真并发验证再到 v0.2.2-post2 的前缀缓存重放加固0.2.x 用四个多月走完了能跑 → 敢用 → 稳定的完整路线。硬件上双 2080 Ti NVLink 的 44GB 显存搭配 SM75 专用内核如今已经是 27B 级模型本地推理的可靠选择。下一步可以用update.sh升级到最新基线、按硬件目录挑选已验证 profile、加入 Discord 反馈你的实测数据或到 2080Ti-LLM-Toolbox 里对照 benchmark 汇总继续压榨性能。赞分享【免费下载链接】vLLM-2080Ti-DefinitiveThe definitive vLLM runtime for dual RTX 2080 Ti 22GB NVLink, delivering Qwen 27B local inference with maximum 200 tok/s single-request decode with support of FP8 weight ( Join Discord :https://discord.gg/VFqVVySdMS )项目地址https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive点击查看免费下载相关推荐Thinking Sphinx核心功能解析高效索引、实时更新与高级搜索技巧Thinking Sphinx核心功能解析高效索引、实时更新与高级搜索技巧 Thinking Sphinx是一款为ActiveRecord/Rails应用打造craftjs/layers 版本演进与源码剖析Craft.js 图层面板的 0.2.x 升级指南craftjs/layers 版本演进与源码剖析Craft.js 图层面板的 0.2.x 升级指南 craftjs/layers 是 Craft.js 生前端终极Streamlink Twitch GUI路线图Helix API迁移、功能演进与社区贡献完全指南终极Streamlink Twitch GUI路线图Helix API迁移、功能演进与社区贡献完全指南 Streamlink Twitch GUI是一款跨平台桌面应用音视频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考