【免费下载链接】LongCat-Flash-Lite-Sparse-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LongCat-Flash-Lite-Sparse-8bit点击查看免费下载LongCat-Flash-Lite-Sparse-8bit 是美团 69B-A3B MoE 模型 LongCat-Flash-Lite-Sparse 的 MLX 8-bit 量化检查点专为 Mac 本地推理打造。本文把 4-bit / 6-bit / 8-bit 三档的内存需求、实测速度差异讲清楚帮你按 Mac 的统一内存一次性选对量化版本。 69B-A3B这个大模型为什么能在 Mac 上跑LongCat-Flash-Lite-Sparse 是稀疏 MoE混合专家架构总参数 69B每个 token 只激活约 3B即 69B-A3B再加三项关键设计让Mac 本地推理 69B成为现实LongCat Sparse Attention (LSA)在 MLA 之上叠加 DeepSeek 风格的 lightning indexer支持流式场景与跨层索引复用长上下文又快又稳零计算恒等专家256 个路由专家 128 个恒等专家top-12 路由负载更均衡N-gramoe输入嵌入约占全部参数的 46%直接融合进 token 嵌入架构参数可在 config.json 中查看moe_topk为 12max_position_embeddings高达 983,040原生支持超长上下文。 Mac内存需求对照4-bit vs 6-bit vs 8-bit 一图看懂三档量化正好对应三档 Mac 统一内存量化档位权重大小峰值内存512→32k 上下文适配 Mac特点4-bit~36 GB~39–45 GB64 GB⚡ 速度最快、最省内存6-bit~54 GB~56–63 GB96 GB均衡之选8-bit~68 GB~74–80 GB128 GB近乎无损质量最佳本仓库 8-bit 版采用affine 量化bits: 8、group_size: 64见 config.json共 20 个权重分片合计约 68 GB索引见 model.safetensors.index.json。 提示macOS 需给系统与 KV cache 留余量模型体积 开销占满统一内存会卡顿甚至 OOM建议至少预留 15–20 GB 空间。⚡ 三档量化实测速度上下文长度 vs 每秒 token 数官方基准数据M5 Max 128 GB、batch 1、贪心解码出自 README.md上下文长度4-bit6-bit8-bit512112 tok/s87 tok/s80 tok/s204885 tok/s72 tok/s65 tok/s819283 tok/s71 tok/s65 tok/s3276873 tok/s64 tok/s60 tok/s两个关键结论精度越低越快batch-1 解码受显存带宽约束4-bit 比 8-bit 快约 30%LSA 抗上下文膨胀从 512 到 32k三档速度都只小幅下滑比传统稠密注意力稳定得多 量化选型决策指南三步选对版本第一步看 Mac 统一内存定上限64 GB→ 只能选 4-bit6-bit 峰值 ~56 GB 已无余量96 GB→ 6-bit峰值 ~63 GB空间宽裕若跑长上下文可退到 4-bit128 GB→ 8-bit峰值 ~80 GB或追求速度选 6-bit第二步看使用场景定取向日常对话、摘要、写作 →6-bit速度与质量均衡批量处理长文档、追求吞吐 →4-bit延迟最低代码生成、专业写作、长上下文推理 →8-bit质量优先第三步理解质量折损由于每个 token 只激活约 3B 参数量化误差几乎没有藏身空间——8-bit 相对 4-bit 的质量提升是实打实的反之对延迟敏感的任务用 4-bit速度收益也同样实在。 Mac 上快速跑起来mlx-vlm 三步启动该模型通过mlx-vlm加载需使用支持longcat_flash_sparse的版本pip install mlx-vlm # 需支持 longcat_flash_sparse 的版本from mlx_vlm import load, generate model, processor load(AlazarM/LongCat-Flash-Lite-Sparse-8bit, trust_remote_codeTrue) tok processor.tokenizer text tok.apply_chat_template( [{role: user, content: What is the capital of France?}], tokenizeFalse, add_generation_promptTrue, ) print(generate(model, processor, text, max_tokens64, temperature0.0)) # - The capital of France is Paris.采样参数建议沿用官方默认generation_config.jsontemperature0.7、top_p0.95、top_k4。 仓库关键文件说明README.md — 模型介绍、n-gram 融合修复说明与基准数据config.json — 架构与量化参数MoE、LSA、deepseek_yarn RoPEgeneration_config.json — 默认生成参数chat_template.jinja — 对话模板支持 thinking 与工具调用tokenizer_config.json、tokenization_llama.py — 分词器配置词表 131,072最大长度 131,072model-00001-of-00020.safetensors ~ model-00020-of-00020.safetensors — 20 个权重分片model.safetensors.index.json — 权重索引✅ 一句话总结你的情况推荐量化64 GB Mac4-bit96 GB Mac6-bit128 GB Mac追求速度6-bit / 4-bit128 GB Mac追求质量8-bit选型口诀内存定上限精度定质量速度与内存此消彼长。如果你的 Mac 是 128 GB 且任务较正式直接上 8-bit——它是三档中最接近原版模型的量化选择。赞分享【免费下载链接】LongCat-Flash-Lite-Sparse-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LongCat-Flash-Lite-Sparse-8bit点击查看免费下载相关推荐Delta 模拟器金手指教程从开启作弊到排错一篇讲透金手指用法Delta 模拟器金手指教程从开启作弊到排错一篇讲透金手指用法 Delta 是一款面向未越狱 iOS 设备的多合一复古游戏模拟器覆盖 NES、SNES、GSplash模型怎么选GGUF、MLX 4-bit与NVFP4量化格式完整选型指南24GB内存Mac必读Splash模型怎么选GGUF、MLX 4 bit与NVFP4量化格式完整选型指南24GB内存Mac必读 Splash 是一款专为 Apple silic4-bit、8-bit 还是 16-bit 怎么选Jev-Style-0.8B-Decision-v3-mlx-16bit 的 MLX 量化变体与硬件匹配指南4 bit、8 bit 还是 16 bit 怎么选Jev Style 0.8B Decision v3 mlx 16bit 的 MLX 量化变体与硬件匹配指南人工智能本地部署大模型NLP模型安全创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考