【免费下载链接】HyLo-Llama-8MLA8GDN-8K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-8K-SFT点击查看免费下载HyLo-Llama-8MLA8GDN-8K-SFT是 AMD 推出的一个混合架构长上下文大语言模型它把 Llama-3.2-1B 改造为 8 层 MLA 8 层 Gated DeltaNet 的混合层KV cache 压缩到原模型的7.8%并在8K token上下文中完成蒸馏微调。本文完整解读它的 RULER 评测数据——8K 时 60.3 分16K 骤降至 0.5 分——并分析这个断崖背后的原因与实际使用边界。为什么 16K 之后断崖下跌先看模型是怎么造的 这个模型不是从头训练的而是通过Upcycling升级改造把现成 Transformer 转成混合架构MLA 层Multi-head Latent Attention保留注意力机制但缓存的是低秩潜变量而非完整 KV大幅压缩显存Gated DeltaNet 层线性注意力块用固定大小的循环状态代替 KV cache完全不产生 KV cache。两层交替排布MLA 在偶数层 0/2/4…14GDN 在奇数层完整层分布定义在 hybrid_config.json 的mla_layers字段中。混合层的这种布局正是它KV cache 只有 7.8%的来源。⚠️ 注意config.json 里的max_position_embeddings是131,072这是从基座模型继承来的参考值并不是真实支持的上下文长度。官方 README 明确要求推理时显式设置--max-model-len 8192。位置编码使用 YaRNfactor 4.0把原始 2,048 的窗口拉伸到 8,192模型在8,192 token 上下文下训练和评测超过这个长度就不在保障范围内——这就是断崖的根源。RULER 长上下文评测全解读8K 是及格线16K 起是悬崖 RULER 是衡量长上下文检索能力的基准全部 13 项任务以下是该模型在 8K / 16K / 32K / 64K 四个长度下的得分上下文长度RULER 得分状态解读8K60.3✅ 训练长度内正常水平16K0.5❌ 已完全失效32K0.1❌ 已完全失效64K0.1❌ 已完全失效关键结论8K 的 60.3 分说明模型在其设计范围内工作良好——8,192 token 内的多跳检索、信息聚合任务都能正常完成超过训练长度后不是缓慢衰减而是直接崩溃——16K 只剩 0.5 分基本等于随机猜测。这是因为混合层的循环状态与 MLA 低秩缓存都只在 8K 尺度下经过对齐训练超长输入会让位置外推彻底失真官方定位16K 以后的数据只是为了完整性列出不属于受支持的运行点。如果你确实需要 16K 上下文应使用同系列的 64K 版本同一训练配方、不同上下文长度而不是硬推这个 8K 检查点。短上下文能力盘点常识推理平均 53.4 分 在 8K 范围内使用时模型的常识推理表现0-shot 准确率如下任务得分任务得分PIQA物理直觉72.0WinoGrande60.1HellaSwag59.3ARC-Easy67.2平均53.4ARC-Challenge39.3RACE阅读理解38.4OpenBookQA37.6数学方面 GSM8K 得分54.6。整体看这是一个偏物理直觉 简单推理的小模型画像PIQA、HellaSwag 表现不错但需要多步推理的 OpenBookQA 和 RACE 明显偏弱——这是 1.61B 参数规模的自然上限与改造为混合架构关系不大。能力边界与使用注意事项 ⚠️结合 README.md 的Intended use and limitations章节整理出以下边界清单维度边界说明上下文仅限8,192 token 以内超出即失效精度权重以 float32 存储建议以bfloat16加载评测分数即在此精度下测得模板必须使用仓库自带的 chat templatetokenizer_config.json与基座模型的模板不同评测覆盖仅覆盖上文列出的基准没有多语言、代码、安全性、长文指令遵循的评测性质研究用途产物research artifact未做安全对齐不可直接面向最终用户许可元数据标注 apache-2.0但捆绑的 LICENSE 是 AMD 的仅研究用途 RAIL-MS 许可且部分训练数据为非商用——请按研究用途对待另外两点实用提醒该模型的混合层类型不在transformers官方支持范围内AutoModelForCausalLM无法直接构建需配合 AMD 的 hybrid-model 代码使用HybridModelWrapper它的能力上限继承自基座 Llama-3.2-1B 和教师模型 Llama-3.1-8B-Instruct输出仍可能包含事实错误或偏见面向用户前需自行加防护。总结它适合谁、不适合谁 ✅一句话总结HyLo-Llama-8MLA8GDN-8K-SFT 的核心价值不是能力更强而是用 7.8% 的 KV cache 换来了 8K 长上下文——适合研究混合架构、验证 KV 压缩路线、以及显存受限场景下的短文档问答。场景是否推荐8K 以内文档摘要、检索问答✅ 推荐RULER 60.3 分保障显存紧张的长序列部署研究✅ 推荐KV cache 大幅缩减16K 长文档处理❌ 不推荐请用同系列 64K 版本生产环境直接上线❌ 不推荐研究用途、未对齐RULER 曲线从 60.3 到 0.5 的断崖正是这个模型最诚实的自我说明书它的能力半径就是 8K半径之外请勿使用。赞分享【免费下载链接】HyLo-Llama-8MLA8GDN-8K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-8K-SFT点击查看免费下载相关推荐HyLo-Llama-8MLA8GDN-64K-SFT基准测试全解析RULER、常识推理与数学能力实测HyLo Llama 8MLA8GDN 64K SFT基准测试全解析RULER、常识推理与数学能力实测 HyLo Llama 8MLA8GDN 64K SFTHyLo-Llama-6MLA22GDN-8K-SFT性能有多强RULER 71.2与GSM8K 68.1评测结果完整解读HyLo Llama 6MLA22GDN 8K SFT性能有多强RULER 71.2与GSM8K 68.1评测结果完整解读 HyLo Llama 6MLA22基准测试深度分析RULER 74.2与GSM8K 75.8HyLo-Qwen-14MLA14M2-8K-SFT能力与局限全解读基准测试深度分析RULER 74.2与GSM8K 75.8HyLo Qwen 14MLA14M2 8K SFT能力与局限全解读 HyLo Qwen 14ML上一篇GhostTrackIP归属追踪与号码解析实战——5分钟上手终端OSINT查询指南下一篇RocketRide Server 自动化发布流水线全解从 nightly 预发布到五包同步稳定发布创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考