【免费下载链接】Tess-4-27B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Tess-4-27B-8bit点击查看免费下载Tess-4-27B-8bit 是一个已完成 MLX 格式转换的 270 亿参数多模态视觉语言模型VLM由mlx-community社区使用 mlx-vlm 0.6.4 工具将原始模型转换为 8bit 量化版本让 Mac 用户无需 GPU 服务器也能通过mlx_vlm.generate一条命令跑起长上下文、支持工具调用的多模态推理。本文面向新手用尽量少的代码讲清楚三件事转换原理原始权重如何变成 MLX 8bit 格式scales、biases是什么️目录结构仓库里每个文件负责什么权重是怎么分片的生态路线MLX 生态里 mlx-vlm、mlx-lm 各自的角色以及社区如何持续维护这类转换版模型一、为什么需要转换到MLX格式大模型权重发布后往往要针对不同硬件框架做格式适配。MLX 是面向 Apple SiliconM 系列芯片的统一内存加速框架其核心优势是权重直接放在统一内存里计算省去 CPU↔GPU 的数据拷贝在 Mac 上推理时能效比极高。但 MLX 原生并不认识Hugging Face 上发布的safetensors张量布局与量化描述因此需要一次转换阶段形态关键动作原始权重高精度浮点bfloat16safetensors模型方发布体积大量化8bit 分组量化每 64 个权重共享一组缩放/偏移参数MLX 格式6 个分片 safetensors 配置/索引供 mlx-vlm 直接加载本仓库正是第三阶段的产物由migtissera/Tess-4-27B转换而来许可证为 Apache-2.0见 README.md 头部的元信息。二、转换原理8bit 分组量化到底改了什么打开 config.json 可以看到量化配置quantization: { group_size: 64, bits: 8, mode: affine }bits: 8—— 权重从 bfloat16每参数 2 字节压缩为 8bit约 1 字节模型体积接近减半group_size: 64—— 每 64 个连续权重为一组组内共享校准参数mode: affine—— 仿射量化即每额外存一组scale缩放与bias偏移来还原数值范围。在 model.safetensors.index.json 的权重映射里能直观看到成对出现的张量language_model.model.layers.0.mlp.up_proj.weight language_model.model.layers.0.mlp.up_proj.scales language_model.model.layers.0.mlp.up_proj.biases.weight是量化后的 8bit 权重.scales/.biases就是 affine 量化所需的组级参数。而 LayerNorm、Mamba/线性注意力中的状态参数等小模块则保持原精度——只有大矩阵被量化精度损失被控制在敏感层之外这是 8bit 版本质量接近原始模型的关键。整个模型共2180 个张量、总大小约 29.5GB索引文件metadata.total_size字段可查说明转换时完整保留了语言模型与视觉塔的全部参数。三、仓库文件结构每个文件负责什么文件作用新手看点README.md使用说明与模型出处唯一的快速上手入口config.json模型架构 量化配置确认bits: 8、group_size: 64model.safetensors.index.json张量→分片文件的映射索引加载器靠它找到每个权重model-00001-of-00006.safetensors ~ model-00006-of-00006.safetensors6 个权重分片大模型必须分片存储chat_template.jinja对话/工具调用提示词模板支持 thinking 与 tool_callstokenizer.json、tokenizer_config.json、vocab.json词表与分词器词表大小 248320processor_config.json、preprocessor_config.json、video_preprocessor_config.json图像/视频预处理参数决定输入图片如何切片分片分布2180 个张量被分配到 6 个文件中分片1 含视觉塔与 0~9 层约 560 个张量分片6 主要是lm_head等收尾层仅 98 个单文件控制在合理体积内方便断点续传与流式加载。3.1 这是一个什么样的模型架构Qwen3_5ForConditionalGenerationconfig.json 的architectures字段文本底座hidden_size: 5120、64 层最大上下文262144token混合注意力64 层中每 4 层一组3 层 linear_attention 1 层 full_attention见layer_types数组线性注意力让长文本推理更省显存视觉塔27 层 ViTpatch_size: 16、spatial_merge_size: 2图像先切成 16×16 小方块再两两合并喂给语言模型多模态输入支持图片与视频processor_config.json 中同时定义了 image/video 两套处理器视频按 2fps 抽帧、最多 768 帧。3.2 对话模板工具调用与思考模式开箱即用chat_template.jinja 并非简单的用户/助手拼接它内置了完整能力系统区注入 赞分享【免费下载链接】Tess-4-27B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Tess-4-27B-8bit点击查看免费下载相关推荐从bf16到MLX 8Bitgrug-27b-Text-mlx-8Bit量化转换全流程原理与云端部署指南从bf16到MLX 8Bitgrug 27b Text mlx 8Bit量化转换全流程原理与云端部署指南 grug 27b Text mlx 8Bit 是一个LongCat-Flash-Lite-Sparse-8bit生态全景mlx-vlm适配、6-bit/4-bit变体路线与社区支持指南LongCat Flash Lite Sparse 8bit生态全景mlx vlm适配、6 bit/4 bit变体路线与社区支持指南 LongCat FlasMIT 授权与社区生态Ming-Image MLX 系列8bit 与 bf16全景及路线图MIT 授权与社区生态Ming Image MLX 系列8bit 与 bf16全景及路线图 Ming Image MLX 8bitmlx communi上一篇ControlNet终极指南1.1版本蒸馏训练与评估全流程详解下一篇腾讯混元4B开源256K超长上下文混合推理重塑轻量级大模型标准创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考