人工智能大模型模型量化本地部署模型评测Qwen【免费下载链接】Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF点击查看免费下载Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF 是一个把 Qwen3.6-35B-A3BMoE 架构经 Quarkuint4_wo_32量化后直接导出为 GGUF Q4_1 格式的模型仓库可在 llama.cpp 上直接推理并提供完整的 GSM8K nothink 评测协议脚本。本文拆解它的 GSM8K 评测协议带你从70.66% 的错觉一路看懂91.81% 的真实水平——分数没变的是模型变的是评测协议。为什么分数能从 70.66% 跳到 91.81%先说结论模型权重没有变变的是评测方式。旧脚本用的是最朴素的补全prompt 只写Answer:max_tokens512评分时取生成文本里的最后一个数字。而 Qwen3.6 默认会先输出一段思考内容这段思考会把答案数字冲掉再加上 512 个 token 的预算和思考开销旧协议测出的成绩只有70.66%931/1319——这是一个被思考输出和评分方式拖累的分数不能代表模型真实水平详见 README.md。新协议gsm8k_nothink与 hongweimeng / lm-eval 完全对齐把抑制思考和评分方式两个坑都填上了成绩回到91.81%。gsm8k_nothink 协议三大核心配置完整定义在 scripts/gsm8k_nothink.yaml核心就三处1️⃣ Prompt 模板用空 think 标签压制思考前缀Question: {{question}} Answer: think /thinkdoc_to_text里塞了一个空的 think 块见 gsm8k_nothink.yaml 第8行相当于提前告诉模型思考环节已经结束让它直接开始作答省掉了大段思考 token。这是分数跳涨最关键的一招。2️⃣ 停止词 生成参数256 token 足够停止词Question:、/s、赞分享人工智能大模型模型量化本地部署模型评测Qwen【免费下载链接】Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF点击查看免费下载相关推荐Icarus Verilog BLIF 代码生成目标-tblif完全指南从结构化 Verilog 到 ABC 可读的综合网表Icarus Verilog BLIF 代码生成目标 tblif完全指南从结构化 Verilog 到 ABC 可读的综合网表 Icarus Verilog人工智能大模型模型量化本地部署模型评测Qwen35B MoE模型如何压进21GBQwen3.6-35B-A3B-Quark-UINT4-G32-GGUF量化项目概览近乎无损推理GSM8K达91.8%35B MoE模型如何压进21GBQwen3.6 35B A3B Quark UINT4 G32 GGUF量化项目概览近乎无损推理GSM8K达91.8%人工智能大模型模型量化本地部署模型评测Qwen将 GBrain 接入 Claude Code插件安装、本地 stdio 与远程 MCP 连接全指南将 GBrain 接入 Claude Code插件安装、本地 stdio 与远程 MCP 连接全指南 GBrainGarrys Opinionated O人工智能大模型模型量化本地部署模型评测Qwen上一篇文件批量查找替换神器FNR 完全使用指南下一篇为 Entire CLI 新增 AI Agent 的 E2E 测试 Runner完整实现指南write-tests 流程解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考