人工智能大模型模型量化本地部署多模态【免费下载链接】Dirk-Qwen3.8-27B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF点击查看免费下载Dirk-Qwen3.8-27B-GGUF是 Qwen3.8-27B 多模态大模型的本地推理量化版GGUF 格式配合 llama.cpp 开箱即用内置 Sharp 对话模板与 MTP 投机解码头。官方基准数据相当亮眼SWE-bench-Live 上解题中位时间仅为原版模板的 37%约 2.7 倍提速MMLU-Pro 精度以 85.3% 登顶五模型对比榜。本文带你逐条读懂官方基准测试数据并附上不同显存档位的量化版本选型表 为什么 Dirk 值得关注不只是又一个 GGUF 量化包Dirk 与原版量化唯一的区别是对话模板——权重完全相同只是提问方式更讲究基座Qwen/Qwen3.8-27B稠密 27B 视觉语言模型视觉能力完整保留与 mmproj-F16.gguf 配套量化3 bpw 及以上采用 Unsloth 新一代 Dynamic 3.0UD量化更低比特采用 IST-DASLab 的 GSQ-RCO 量化全部保留 MTPnextn头支持多 token 预测投机解码模板Sharp 对话模板——更简洁的措辞 关闭强制 xhigh 满负荷思考的默认行为回答少废话、不跑题一句话概括同样的权重被问得更好了Same weights, asked better。SWE-bench-Live 基准解读解题速度 2.7 倍解决数比肩顶级模型官方测试使用 25 个已确认真实存在的 SWE 任务SWE-bench-Livejudge-free 无裁判评估对比对象包括原版模板 Qwen3.8-27B、云端旗舰 Opus 5 (high) / Sonnet 5 (medium)以及同模板的 TielCoder。从官方 SWE-bench-Live 基准图表可以读出三个关键结论对比项原版模板Sharp 模板Dirk解决任务数共 25 题1615中位解题时间双方都能解出的任务带内100%约 37%2.7 倍提速对照 Opus 5 (high)—15 : 14 胜出提速 2.7 倍在双方都能解出的任务区间Dirk 的中位解题时间只是原版模板的约 37%且这是同一份权重文件解题质量不降Dirk 解出 15/25比原版模板少 1 题但领先 Opus 5 (high) 的 14 题速度冠军另有其人TielCoder35B-A3B MoE 同模板版本以同档速度拿下高解题率说明模板收益并非模型特异MMLU-Pro 基准解读85.3% 精度登顶官方 MMLU-Pro 榜单同时考察两个维度答对题的精度与每题答对所需的秒数覆盖五个模型Qwen3.6-27b、Dagger、Qwen3.8-27b (medium)、Dirk (medium)、Nail (35B-A3B MoE)。Dirk (medium) 精度登顶85.3%在默认中档思考设置下达成无需额外调参Nail 每题答对最快43 秒MoE 架构在速度维度占优结论追求高难度任务的高精度选 Dirk追求日常任务的速度选 MoE 档位的伙伴模型模板效果实证话说少了分数还高了Sharp 模板在 Dirk 之前已用同一权重的 Dagger 基座验证过仅替换模板权重不变指标原版模板Sharp 模板变化Claw-Eval 答案分量得分59.366.77.4Claw-Eval 答案 token 数53932217−59%MMLU-Pro 每题答对 token 数16011248−22%同样甚至更好的答案用了一半出头的字数——这正是 Dirk 能提速 2.7 倍还不掉精度的底层原因。思考力度怎么调一个参数的事原版 Qwen3.8-27B 对每次调用强制reasoning_effortxhigh永远满负荷思考Dirk 取消了这一默认原生运行在medium。按需调节想让它想得更深chat_template_kwargs: {reasoning_effort: xhigh}可选档位low/medium/xhighhigh是xhigh的别名不是中间档完全关闭思考enable_thinking: false想要更啰嗦的回答terse: false可取消简洁化注意该参数必须放进chat_template_kwargsOpenAI 风格的顶层reasoning_effort字段会被 llama.cpp 丢弃。本地运行 Dirk 快速启动步骤用 llama.cpp 一行命令启动-hf会自动下载模型与视觉投影文件# 纯文本24 GB 显存档位默认选择 llama-server -hf peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF:Q4_K_XL -ngl 99 # 视觉多模态同一标签mmproj 自动随行下载 llama-mtmd-cli -hf peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF:Q4_K_XL -ngl 99 --image photo.jpg两个容易踩的坑:quant标签必写——本仓库没有Q4_K_M不带标签会回落到错误的文件用编码 Agent 驱动llama-server时加--reasoning-format deepseek思考块会进入reasoning_content字段而不是混入正文流新版本 llama.cpp 已默认如此显存档位量化版本选择表全部 14 个量化文件都内置 Sharp 模板与 MTP 头视觉投影共用一份 mmproj-F16.gguf。按显存对号入座目标显存推荐文件大小12 GBDirk-Qwen3.8-27B-GSQ-RCO-IQ2_S.gguf9.6 GB16 GBDirk-Qwen3.8-27B-UD-IQ4_XS.gguf14.3 GB24 GBDirk-Qwen3.8-27B-UD-Q5_K_XL.gguf20.9 GB48 GBDirk-Qwen3.8-27B-UD-Q8_K_L.gguf可跑 256k 上下文28.0 GB 官方起步推荐24 GB 用户可直接从 Dirk-Qwen3.8-27B-UD-Q4_K_XL.gguf17.6 GB开始——尺寸/质量平衡最佳预算充裕上 20.9 GB 的 Q5_K_XL 更从容。总结这组数据说明了什么 2.7 倍提速不是玄学同一权重换模板解题中位时间砍到 37%token 消耗降 22%–59%85.3% MMLU-Pro 登顶是在默认medium思考档位下取得的开箱即达量化阶梯完整覆盖 8.8 GB2-bit到 31.5 GB8-bit12 GB 到 48 GB 显卡都有官方点名的对应档位定位清晰任务真正有难度、要最强本地答案时选 Dirk大批量例行快答交给系列里的 MoE 伙伴模型更多细节量化方法对比、双量化器说明、完整文件清单见官方说明 README.md。赞分享人工智能大模型模型量化本地部署多模态【免费下载链接】Dirk-Qwen3.8-27B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF点击查看免费下载相关推荐Qwen3.8-Flash-Next基准性能全解读6B激活参数如何力压Claude与DeepSeek登顶SWE-bench ProQwen3.8 Flash Next基准性能全解读6B激活参数如何力压Claude与DeepSeek登顶SWE bench Pro 本文完整解读 Qwen3.Qwen3.8-Flash-Next-FP8基准测试深度解读DeepSWE 58.7、SWE-bench Pro 62.5背后的能力版图Qwen3.8 Flash Next FP8基准测试深度解读DeepSWE 58.7、SWE bench Pro 62.5背后的能力版图 Qwen3.8 Fl小模型真能打吗Ornith-1.0-35B-GGUF硬核实测Terminal-Bench与SWE-bench基准数据全解读小模型真能打吗Ornith 1.0 35B GGUF硬核实测Terminal Bench与SWE bench基准数据全解读 Ornith 1.0 35B G上一篇如何一键备份QQ空间所有历史说说GetQzonehistory为您提供一站式智能解决方案下一篇RimSort终极开源跨平台模组管理器让《环世界》模组管理变得简单快速创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考