【免费下载链接】HyLo-Llama-8MLA8GDN-64K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-64K-SFT点击查看免费下载HyLo-Llama-8MLA8GDN-64K-SFT是 AMD 推出的混合 LLMHybrid LLM模型它把 Llama-3.2-1B-Instruct 升级改造upcycling为 8 层 MLA 8 层 Gated DeltaNet 的混合结构KV Cache 压缩到原模型的 7.8%并在 64K65,536 tokens长上下文下完成监督微调。本文面向新手用一张命名解码表和一份决策清单教你从 HyLo 家族的 14 个模型中快速选对适合自己的那一个。一分钟搞懂什么是混合 LLM传统 Transformer 的 KV Cache 会随输入变长而线性膨胀长文本场景下显存开销很大。HyLo 的思路不同不从头预训练而是把一个现成的预训练 Transformer 改造成混合架构然后做长上下文训练。改造后每层只属于两种类型之一MLAMulti-head Latent Attention层保留注意力机制但只缓存低秩潜变量不再缓存完整的 Key/Value线性块层Gated DeltaNet 或 Mamba-2维持固定大小的循环状态完全不产生 KV Cache。两者搭配就能在基本保住短上下文精度的同时把 KV Cache 砍到原来的几个百分点——这正是混合 LLM省显存、支持长上下文的原理。如何看懂 HyLo 模型命名规则选模型前先学会读名字10 秒就能看懂 HyLo 家族任意一个模型的定位。以本模型为例HyLo - Llama - 8MLA8GDN - 64K - SFT ① ② ③ ④ ⑤段位含义本模型的取值①HyLo 系列升级改造而非预训练HyLo②底座backboneLlama-3.2-1B-Instruct③层数配比X 层 MLA Y 层线性块8 层 MLA 8 层 Gated DeltaNetGDN④训练上下文长度64K⑤监督微调SFT产物SFT另外注意线性块后缀GDN表示 Gated DeltaNetM2表示 Mamba-2两者机制不同见下文家族表选型时也要区分。HyLo 家族完整阵容一览HyLo 家族共有 14 个公开 checkpoint全部基于同一套MLA 线性块配方。整理自 README.md模型底座线性块训练上下文KV Cache 占比HyLo-Llama-4MLA12GDN-8K-SFTLlama-3.2-1BGated DeltaNet8K3.9%HyLo-Llama-4MLA12GDN-64K-SFTLlama-3.2-1BGated DeltaNet64K3.9%HyLo-Llama-8MLA8GDN-8K-SFTLlama-3.2-1BGated DeltaNet8K7.8%HyLo-Llama-8MLA8GDN-64K-SFT本仓库Llama-3.2-1BGated DeltaNet64K7.8%HyLo-Llama-6MLA22GDN-8K-SFTLlama-3.2-3BGated DeltaNet8K2.0%HyLo-Llama-6MLA22GDN-64K-SFTLlama-3.2-3BGated DeltaNet64K2.0%HyLo-Llama-14MLA14GDN-8K-SFTLlama-3.2-3BGated DeltaNet8K4.7%HyLo-Llama-14MLA14GDN-64K-SFTLlama-3.2-3BGated DeltaNet64K4.7%HyLo-Qwen-7MLA21GDN-8K-SFTQwen3-1.7BGated DeltaNet8K3.9%HyLo-Qwen-7MLA21GDN-64K-SFTQwen3-1.7BGated DeltaNet64K3.9%HyLo-Qwen-14MLA14GDN-8K-SFTQwen3-1.7BGated DeltaNet8K7.8%HyLo-Qwen-14MLA14GDN-64K-SFTQwen3-1.7BGated DeltaNet64K7.8%HyLo-Qwen-14MLA14M2-8K-SFTQwen3-1.7BMamba-28K7.8%HyLo-Qwen-14MLA14M2-64K-SFTQwen3-1.7BMamba-264K7.8%可以看到命名和选型维度非常规整底座 × 层数配比 × 上下文长度三个变量自由组合。8K 还是 64K上下文长度怎么选⚖️这是选型的第一道分叉直接问自己一个问题你的输入通常有多长日常对话、短文档问答 8K tokens选8K 版本即可够用且推理配置更简单长文档摘要、多文档 RAG、合同/论文级输入16K–64K选64K 版本比如本仓库的 HyLo-Llama-8MLA8GDN-64K-SFT。需要提醒的是长上下文能力是买来的。以本模型的 RULER 基准成绩为例分数随长度递减上下文8K16K32K64KRULER 得分61.553.748.141.6也就是说64K 版本在 8K 短任务上依然有 61.5 分的基础但在 64K 极限长度下精度会下降。若你从不处理长文本没必要为 64K 买单反之8K 版本在超出训练长度后不保证质量。⚠️ 本模型的max_position_embeddings在配置里写的是 131,072但那是继承自底座的字段不是支持的上下文。实际训练与评测只覆盖65,536 tokens部署时请显式设置最大长度如--max-model-len 65536。层数配比怎么选为什么是 8MLA8GDNMLA 层是质量锚点保留真实注意力但缓存更小线性块层是省 Cache 担当零 KV Cache。配比直接决定两个东西KV Cache 占比GDN 占比越高越省。本家族最低可到 2.0%6MLA22GDN 的 3B 版本最高 7.8%如本模型的 8MLA8GDN精度上限MLA 层越多注意力能力保留越完整。HyLo 并不是简单地隔层交替而是按底层模型对全注意力丢失的敏感度来放置 MLA 层。本模型 16 层的实际排布可在 hybrid_config.json 中核对MLA 层[0, 2, 4, 6, 8, 10, 12, 14]Gated DeltaNet 层[1, 3, 5, 7, 9, 11, 13, 15]一句话记忆8MLA8GDN 是均衡档——比 4MLA12GDN 更保精度比 14MLA14GDN 更省显存。HyLo-Llama-8MLA8GDN-64K-SFT 关键参数速览 项目数值底座Llama-3.2-1B-Instruct蒸馏教师Llama-3.1-8B-Instruct总层数168 MLA 8 Gated DeltaNet参数量1.61BKV Cache底座模型的 7.8%训练上下文65,536 tokensYaRN 外推factor 32.0权重精度float32 存储建议以 bfloat16 加载综合推理均值7 项常识基准51.8GSM8K 数学39.4架构细节MLA 潜秩、GDN 头数等都记录在 hybrid_config.json 中config.json 保留的是底座的原始配置仅作参考。三步跑起来混合 LLM 快速部署 混合层类型MLA / Gated DeltaNet不在标准transformers中AutoModelForCausalLM无法直接加载需要三步获取模型权重git clone https://gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-64K-SFT安装 AMD 的 hybrid-models 代码README 中的HyLo目录按其HyLo/README.md完成环境安装用HybridModelWrapper加载注意以 bfloat16 加载float32 会翻倍显存from hybrid.hybrid_wrapper import HybridModelWrapper model HybridModelWrapper.from_pretrained(amd/HyLo-Llama-8MLA8GDN-64K-SFT, torch_dtypetorch.bfloat16).cuda()另外两个易踩的坑必须使用本仓库自带的 chat templatechat_template.jinja它和底座的模板并不相同是训练时实际使用的格式输入不要超过 65,536 tokens。选型速查清单 ✅不知道选哪个对号入座只跑日常对话、短问答 → 任意8K版本需要 16K 以上长文档理解 →64K版本对中文/多语言敏感 → 选Qwen3-1.7B 底座HyLo-Qwen-* 系列显存极度紧张、批量服务 → 选 GDN 占比高的6MLA22GDNKV Cache 仅 2.0%要兼顾精度与长上下文、底座是 Llama → 就是本文主角HyLo-Llama-8MLA8GDN-64K-SFT想对比 Gated DeltaNet 与 Mamba-2 两种线性块 → HyLo-Qwen-14MLA14GDNvs HyLo-Qwen-14MLA14M2。使用前的三个重要提醒 ⚠️研究产物research artifact未做安全对齐不适用于生产环境直接面向用户前需自行加护栏许可证LICENSE 是 AMD 的 research-onlyRAIL-MS研究专用许可且部分训练数据为非商用许可请按研究用途使用评测范围有限官方仅报告了上述基准未做多语言、代码、安全等长上下文场景评测长距离指令遵循能力需自行验证。仓库文件导航 文件作用README.md模型说明、训练细节、评测数据与 HyLo 家族总表hybrid_config.json真正的混合架构配置MLA 层位置、GDN 参数、YaRN 外推config.json底座 Llama 的原始配置仅供参照chat_template.jinja训练时使用的对话模板推理必须使用tokenizer.json、tokenizer_config.json、special_tokens_map.json分词器与特殊 token 定义model.safetensors模型权重float32LICENSEAMD 研究专用许可选对混合 LLM本质就是在底座 × 层数配比 × 上下文长度三个维度上匹配你的业务日常短文本用 8K 档长文档场景上 64K 档再按显存预算在 MLA/GDN 配比中取平衡。希望这份指南能帮你少走弯路快速用上 HyLo 家族的长上下文红利。赞分享【免费下载链接】HyLo-Llama-8MLA8GDN-64K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-64K-SFT点击查看免费下载相关推荐从1B到3B怎么选HyLo模型家族15款模型横评以HyLo-Llama-6MLA22GDN-64K-SFT为中心从1B到3B怎么选HyLo模型家族15款模型横评以HyLo Llama 6MLA22GDN 64K SFT为中心 HyLo模型家族是AMD推出的混合架构长该选哪个HyLo模型以HyLo-Llama-4MLA12GDN-64K-SFT为中心的15款混合模型选型指南该选哪个HyLo模型以HyLo Llama 4MLA12GDN 64K SFT为中心的15款混合模型选型指南 如果你正在为长文档处理、RAG 知识库或低显存设混合模型怎么选HyLo-Qwen-14MLA14M2-8K-SFT与HyLo家族16个变体的全维度对比混合模型怎么选HyLo Qwen 14MLA14M2 8K SFT与HyLo家族16个变体的全维度对比 混合模型怎么选HyLo Qwen 14MLA14M2上一篇PyPTO Pro Matmul 算子快速入门SIMD基于 load_tile / move / matmul / store_tile 的矩阵乘实现与测试下一篇为什么选择zram-generator探索Linux系统中ZRAM的强大优势创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考