【免费下载链接】Devstral-Small-2-24B-Instruct-2512-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF点击查看免费下载本仓库提供 Devstral-Small-2-24B-Instruct-2512-GGUF——Mistral AI 编程 Agent 大模型的 GGUF 量化版由 Unsloth 制作。打开 config.json就能看到 Mistral3 多模态架构、YaRN 长上下文扩展与 Pixtral 视觉塔的完整参数档案。本文带你逐段读懂这份模型身份证。 Devstral Small 2 24B 是什么模型Devstral 是 Mistral AI 专为软件工程 Agent 任务设计的开源模型擅长使用工具探索代码库、跨文件编辑、驱动编码 Agent。关键亮点24B 参数单张 RTX 4090 或 32GB 内存的 Mac 即可本地运行SWE-bench Verified 得分 68.0%多语言版本 55.7%在 20B 级模型中极具竞争力256K 上下文窗口适合分析大型代码库新增视觉能力本代相比 1.1 版最重要的升级本仓库收录了25 个 GGUF 量化版本IQ1 ~ BF16外加 3 个mmproj-*.gguf视觉投影文件和 1 个imatrix_unsloth.gguf_file重要性矩阵文件。详见 README.md。 config.json 总览多模态模型的架构身份证config.json 只有不到 80 行却包含了模型的全部体检报告architectures: [Mistral3ForConditionalGeneration], model_type: mistral3, torch_dtype: bfloat16, transformers_version: 5.0.0rc1, unsloth_fixed: true逐条拆解字段含义对用户的意义Mistral3ForConditionalGeneration条件生成架构即文本图像多模态模型这个模型能看图不只是纯文本 LLMmodel_type: mistral3顶层模型类型加载框架据此选择推理路径torch_dtype: bfloat16计算精度原始权重以 FP8 存储推理时自动反量化为 BF16unsloth_fixed: trueUnsloth 修复标记说明 GGUF 由 Unsloth 流程生成量化质量更稳整个配置分成三大块文本塔text_config、视觉塔vision_config和连接两者的投影层参数。下面逐个揭秘。 Mistral3 文本塔24B 参数是怎么组成的config.json 中text_config的model_type是ministral3核心参数如下参数数值通俗解读num_hidden_layers40Transformer 层数hidden_size5120每层的隐藏维度宽度num_attention_heads32查询头数量num_key_value_heads8键值头数量仅 32 的 1/4head_dim128每个头的维度intermediate_size32768FFN 中间层宽度vocab_size131072128K 词表覆盖多语言其中num_key_value_heads: 8意味着模型采用了GQA分组查询注意力32 个查询头共享 8 个 KV 头KV 缓存内存占用直接降到 1/4——这正是 24B 模型能塞进 24GB 显卡、还能开长上下文的关键之一。sliding_window: null则表示没有滑动窗口注意力全程全量注意力配合 YaRN 支持超长上下文。⏱️ YaRN 长上下文揭秘8K 如何扩展到 256K这是 config.json 中最硬核的一段rope_parameters: { rope_type: yarn, factor: 48.0, original_max_position_embeddings: 8192, max_position_embeddings: 393216, rope_theta: 100000000.0, beta_fast: 32.0, beta_slow: 1.0, llama_4_scaling_beta: 0.1 }它的工作原理可以拆成三步理解基础长度 8192模型预训练时的原始上下文只有 8K tokenYaRN 插值 48 倍factor: 48.0通过 RoPE 位置编码的插值扩展YaRN 方法把位置容量扩到8192 × 48 393216官方对外提供256K 上下文beta_fast / beta_slow则定义了高频与低频位置分量分别采用不同的缩放强度避免长文本中位置漂移Llama 4 式 softmax 温度缩放llama_4_scaling_beta: 0.1引入注意力温度调节防止上下文越长、注意力分布越尖锐导致的精度劣化。对新手的意义你本地跑 GGUF 时设置--ctx-size 32768甚至更大都是原生支持的不是硬撑出来的长对话和整个仓库级代码分析都更可靠。️ Pixtral 视觉塔图像如何被模型读懂config.json 的vision_config显示视觉塔来自PixtralMistral 自家的 ViT 视觉编码器参数数值解读model_typepixtral视觉编码器家族num_hidden_layers24ViT 深度hidden_size/head_dim1024 / 64视觉塔宽度image_size1540图像统一处理为 1540×1540patch_size14每 14×14 像素切为一个 patchspatial_merge_size2相邻 2×2 的视觉 token 合并为 1 个一张图的旅行路线1540×1540 的图像先切成110×110 12,100 个 patch经 24 层 ViT 编码后再按spatial_merge_size: 2做 2×2 空间合并最终变成约 3025 个视觉 token通过multi_modal_projector投影进 5120 维的文本空间与文字 token 一起送入 Mistral3 文本塔。两个细节值得注意image_token_index: 10和pad_token_id: 11词表中专门预留了图像占位符框架用它标记这里塞入图像vision_feature_layer: -1取视觉塔最后一层的特征信息量最完整。在 GGUF 生态中视觉塔投影层被单独拆出为 mmproj-F16.gguf另有 BF16/F32 版本。用 llama.cpp 等工具启用看图能力时需要同时传入主模型和 mmproj 文件llama-cli -m Devstral-Small-2-24B-Instruct-2512-Q4_K_M.gguf \ --mmproj mmproj-F16.gguf FP8 与 GGUF 量化文件怎么选config.json 的quantization_config揭示了原始权重的存储方式quant_method: fp8, dequantize: false, modules_to_not_convert: [model.vision_tower, model.multi_modal_projector, lm_head]即原始权重以 FP8 压缩存储约省一半显存且视觉塔、投影层、输出头保持高精度不量化——视觉质量优先。运行时会自动反量化为 BF16 计算。而本仓库的 GGUF 文件是在此基础上进一步量化的本地部署版选档参考大小为约数档位文件示例约大小适合场景全精度BF16~48 GB大显存/多卡质量基准8bitQ8_0 / UD-Q8_K_XL~24-26 GB近无损32GB 内存 Mac 友好6bitQ6_K~18 GB质量优先4bit 甜点Q4_K_M / UD-Q4_K_XL~14-15 GB24GB 显卡首选3bitQ3_K_M~12 GB16GB 显卡2bit 入门Q2_K_L / UD-IQ2_XXS~8-10 GB显存极限压缩 带UD-前缀的是 Unsloth Dynamic 动态量化对不同层采用不同精度同等体积下精度通常优于传统 K-quant。仓库根目录的 imatrix_unsloth.gguf_file 正是量化时用的重要性矩阵它让量化重点保护关键层。 快速上手获取文件并本地运行第 1 步克隆仓库git clone https://gitcode.com/hf_mirrors/unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF第 2 步按显存选文件——24GB 显卡选Q4_K_M或UD-Q4_K_XL16GB 选Q3_K_M想无损体验且显存 ≥32GB 选Q8_0。第 3 步运行并启用视觉——主模型 --mmproj mmproj-F16.gguf两个文件缺一不可。⚠️ 小提示README.md 提到 llama.cpp / ollama / LM Studio 对 Devstral 2 的支持仍在完善中若发现工具调用tool call解析不理想可先参考官方 vLLM 方案或稍后再试。✅ 总结一分钟回顾配置区域关键发现你的收益顶层Mistral3ForConditionalGeneration原生看图的多模态模型文本塔40 层 × 5120 维GQA 8 KV 头省 KV 缓存24GB 显存可跑YaRN8K × 48 倍插值 softmax 温度缩放稳定的 256K 长上下文Pixtral1540 图像 → 约 3025 视觉 token截图/图表/架构图都能理解量化FP8 原始 25 档 GGUF imatrix从 8GB 到 48GB 任意档选读懂了 config.json你就握住了这个模型的说明书选对量化档位、带上 mmproj 文件一台 4090 就能本地跑起会看图的编程 Agent。赞分享【免费下载链接】Devstral-Small-2-24B-Instruct-2512-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF点击查看免费下载相关推荐让AI看懂你的代码截图Devstral-Small-2-24B-Instruct-2512-GGUF视觉能力mmproj实战教程让AI看懂你的代码截图Devstral Small 2 24B Instruct 2512 GGUF视觉能力mmproj实战教程 Devstral Smaimatrix是什么揭秘Devstral-Small-2-24B-Instruct-2512-GGUF高精度量化背后的Unsloth Dynamic 2.0原理imatrix是什么揭秘Devstral Small 2 24B Instruct 2512 GGUF高精度量化背后的Unsloth Dynamic 2.0原小模型大能量Devstral-Small-2-24B-Instruct-2512-GGUF拿下SWE-bench 68%成绩深度解读小模型大能量Devstral Small 2 24B Instruct 2512 GGUF拿下SWE bench 68%成绩深度解读 Devstral Sma创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考