【免费下载链接】vLLM-2080Ti-DefinitiveThe definitive vLLM runtime for dual RTX 2080 Ti 22GB NVLink, delivering Qwen 27B local inference with maximum 200 tok/s single-request decode with support of FP8 weight ( Join Discord :https://discord.gg/VFqVVySdMS )项目地址https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive点击查看免费下载vLLM-2080Ti-Definitive 是一个面向 SM75Turing 架构GPU 的 vLLM 推理运行时除了主打的双 RTX 2080 Ti NVLink 拓扑外还官方验证了2x / 4x Tesla T10 纯 PCIe部署路线两张 16 GB T10 即可跑起 Qwen 27B INT4四张 T10 则能加载 FP8/NVFP4 权重单请求解码最高可达234 tok/s。本文带你完成从环境检查到服务启动的完整 Tesla T10 本地推理部署。为什么 T10 没有 NVLink 也能跑 27B很多人默认跑 27B 必须 NVLink。这个项目的思路是把显存效率和吞吐压力同时压下来让普通 PCIe 拓扑也能成立权重量化2xT1032 GB 总显存使用 INT4W4A16权重4xT1064 GB使用 FP8 或 NVFP4 权重KV Cache 压缩支持 FP8、TurboQuantturboquant_k8v4、turboquant_4bit_nc等低精度 KV220K 上下文也能装下投机解码加速MTP / DFlash2 草稿模型大幅提升单请求解码速度弥补 PCIe 互联带宽差距SM75 专属内核Marlin、FlashInfer/FlashQLA、CUDA Graph 等针对 Turing 调优的推理栈。测试拓扑也有讲究2xT10 使用物理 GPU 0 和 2同一 NUMA 节点、卡间为 PCIe PIX 直连TP24xT10 使用 GPU 0、2、3、4同 NUMA、PCIe PIX 链路TP4。详细拓扑说明见 2xT10 Profile 说明 和 4xT10 Profile 说明。T10 硬件与系统环境要求项目2x Tesla T104x Tesla T10GPU 显存2 × 16,384 MiBTP24 × 16,384 MiBTP4互联要求同一 NUMA 节点PCIe PIX同一 NUMA 节点PCIe PIX推荐权重Qwen3.8-27B-INT4W4A16Qwen3.8-27B-FP8 / NVFP4上下文上限262K单请求262K单请求/ 220K4 并发软件栈0.2.x线组件版本Ubuntu26.04 或更新Linux Kernel7 以上GCC/G15CUDA13.0PyTorch2.13.0cu130Python3.12 CPU 不需要高端型号但单核性能和平台延迟会影响解码吞吐老平台可能出现GPU 没变、速度却降的情况。更多硬件问答见 README.md。一键构建三步完成安装git clone https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive cd vLLM-2080Ti-Definitive ./build.sh已有旧检出时用 update.sh 更新到最新发布会保留本地环境、依赖缓存、日志和profiles/local./update.sh选对 27B Profile按卡数对号入座Profile 是.env路由参数预设目录按硬件/模型/权重格式平铺命名规则为解码类型-KV精度并发上下文-消息类型.env。完整规则见 Profile 指南简体中文。2xT10 可用 Profile位于 profiles/2xT10/qwen27b/w4a16/Profile上下文KV 精度投机解码参考性能4K/128 prefill / decode tok/smtp3-fp8kv-1x262K-text-only.env262KFP8MTP/31122.00 / 87.88mtp3-tqk8v4-2x155K-text-only.env2×155KTQK8V4MTP/31138.22 / 87.42mtp3-tq4nc-2x220K-text-only.env2×220KTQ4NCMTP/31134.92 / 83.54mtp3-tqk8v4-1x196K-text-image.env196KTQK8V4MTP/3图文1138.74 / 87.464xT10 可用 Profile位于 profiles/4xT10/qwen27b/FP8 权重用w8a16/NVFP4 权重用w4a16/Profile上下文KV 精度投机解码参考性能4K/128 prefill / decode tok/sFP8dflash2-fp16kv-1x262K-text-only.env262KFP16DFlash2/71433.91 / 191.89FP8dflash2-fp8kv-2x220K-text-only.env2×220KFP8DFlash2/71395.16 / 200.56NVFP4dflash2-fp16kv-1x262K-text-only.env262KFP16DFlash2/71435.68 / 220.99NVFP4dflash2-fp8kv-2x262K-text-only.env2×262KFP8DFlash2/71334.35 / 213.94NVFP4dflash2-tqk8v4-4x220K-text-only.env4×220KTQK8V4DFlash2/71374.96 / 234.92 4xT10 的 DFlash2 路线需要额外的草稿权重incoai/Qwen3.8-27B-DFlash2通过SPECULATIVE_MODEL/--speculative-model指定。启动服务交互式与一键命令交互式直接运行 launcher.sh进入主菜单依次选择权重目录、Profile、GPU/TP 拓扑和端口非交互式推荐自动化部署# 2xT10INT4 权重 TP2 ./launcher.sh \ --model-dir /mnt/models/Qwen3.8-27B-INT4 \ --profile 2xT10/qwen27b/w4a16/mtp3-fp8kv-1x262K-text-only.env \ --gpu-devices 0,2 --tp-size 2 \ --mode fast \ --print-config# 4xT10FP8 权重 DFlash2 草稿 TP4 ./launcher.sh \ --model-dir /mnt/models/Qwen3.8-27B-FP8 \ --speculative-model /mnt/models/Qwen3.8-27B-DFlash2 \ --profile 4xT10/qwen27b/w8a16/dflash2-fp16kv-1x262K-text-only.env \ --gpu-devices 0,2,3,4 --tp-size 4 \ --mode fast \ --print-config--print-config用于先预览最终生效的路由参数去掉该参数即正式启动。--mode可选fast默认、normal、aggressive、safe。更多参数见 非交互启动指南。T10 平台 27B 推理参考性能测试口径说明Prefix Cache 仅在测试期间关闭、单请求纯文本、预热不计入、4K/128 取三次中位数。上面的数字来自高命中率合成文本实际任务吞吐取决于草稿命中率可能低于该数值。并发场景实测4xT10、FP8 权重、DFlash2 2×220K 路线两个 32K/512 请求同时进行时每请求解码吞吐约 62.9 / 65.7 tok/s服务保持健康。常见部署坑与排查问题原因与对策启动 OOM并发型 Profile如4x220K已用GPU_UTIL0.93预留缓冲但 4 路同时逼近 220K 的超长请求仍可能触发 DFlash 临时缓冲 OOM并发 Profile 不要同时接收超长请求吞吐明显偏低检查 GPU 是否同 NUMA、卡间是否为 PCIe PIX散热降频会伪装成软件性能回退长 prefill 时重点观察温度参数冲突报错Profile 只保存路由参数GPU、端口、Prefix Cache、模型路径等由 launcher 管理写入 Profile 会被校验器拒绝见 validate_profiles.sh需要重启后复用前缀可实验性启用 SSD 前缀缓存--set KV_DISK_CACHE_DIR/mnt/nvme/vllm-kv-cache --set KV_DISK_CPU_BYTES4294967296要求检查点在本地目录详见 非交互启动指南小结2 张 T1032 GBINT4 权重 MTP/3适合 262K 单请求与 2 并发长上下文解码约 83–88 tok/s4 张 T1064 GBFP8/NVFP4 权重 DFlash2/7单请求解码 190–235 tok/s还支持图文消息与 2–4 并发核心流程只有四步git clone→./build.sh→ 选 Profile →./launcher.sh启动部署前先跑--print-config核对路由再对照 2xT10 / 4xT10 的参考性能验收。赞分享【免费下载链接】vLLM-2080Ti-DefinitiveThe definitive vLLM runtime for dual RTX 2080 Ti 22GB NVLink, delivering Qwen 27B local inference with maximum 200 tok/s single-request decode with support of FP8 weight ( Join Discord :https://discord.gg/VFqVVySdMS )项目地址https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive点击查看免费下载相关推荐没有GPU也能跑MonkeyOCRv2-Parsing纯CPU推理部署完整指南没有GPU也能跑MonkeyOCRv2 Parsing纯CPU推理部署完整指南 还在为文档解析离不开显卡而发愁吗MonkeyOCRv2 是面向文档智能Do没有Kafka也能跑Debezium Server 直连 Redis Streams 与 Kinesis 完整指南没有Kafka也能跑Debezium Server 直连 Redis Streams 与 Kinesis 完整指南 还在为搭建 Debezium 而纠结是否要后端变更数据捕获数据集成流处理没有网也照样跑Needle 2 气隙设备离线部署全流程实操没有网也照样跑Needle 2 气隙设备离线部署全流程实操 在手机、手表、智能家居或机器人上跑一个能自己调工具的端侧大模型看起来已经很成熟了 pip人工智能基础模型工具调用本地部署微调LoRA模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考