【免费下载链接】Naive-N0.5-Flash项目地址https://ai.gitcode.com/hf_mirrors/NaiveAI/Naive-N0.5-Flash点击查看免费下载Naive-N0.5-Flash 是面向编码与 AI RD 的 309B MoE 大模型激活 15.5B 参数以混合滑动窗口注意力SWA 轻量稀疏注意力DSA实现原生 1M 上下文。本文完整还原其 3.25T Token 多阶段训练全程50B 索引器热身、3T 稀疏注意力精调、200B 学习率衰减帮助新手理解长上下文大模型的训练逻辑。 3.25T Token 训练全景三阶段分工一览架构改造完成后Naive-N0.5-Flash 在原生 1M Token 上下文设定下完成了 3 个阶段的持续训练见 README.md 的 Training Overview训练阶段Token 规模核心任务① 索引器热身Indexer Warmup50B训练轻量索引器先学会给全部历史 token 打分② 稀疏注意力训练Sparse Attention Training3T让模型整体适配 SWA DSA 混合稀疏注意力结构③ 学习率衰减Learning Rate Decay200B低学习率收敛精调强化编码与 AI 研发能力合计3.25T全程保持原生 1M 上下文 一句话理解先教会索引器挑重点再让模型习惯只读重点最后低温慢炖收敛能力。 架构背景为什么要把全局注意力换成稀疏注意力Naive-N0.5-Flash 基于开源基座 MiMo-V2.5 改造。原架构中少量全局注意力层在百万级上下文下是解码性能的主要瓶颈因此被替换为DeepSeek 稀疏注意力DSASWA 层39 层只看最近 128 个 token 的滑动窗口单 token 解码成本不随上下文长度增长DSA 层9 层由 16 头轻量索引器Indexer给全部历史 token 打分主干注意力只对Top 2,048个 token 计算48 层全部为局部或稀疏注意力没有任何全注意力层。网络按6 层模块组织标准模块为 5 层 SWA 1 层 DSA第一模块首层也替换为 DSA形成约 5:1 的 SWA–DSA 布局。这些参数可在 config.json 的hybrid_layer_pattern、config.json 的index_top_k: 2048、index_n_heads: 16中逐一核对。 阶段一50B Token 索引器热身——先学会挑 tokenDSA 的关键在于索引器它用极小的计算量扫一遍全部历史 KV输出每个 token 的重要度分数主干随后只处理分数最高的 2,048 个位置。索引器实现modeling_naive_n05_flash.py仅含 1 个 KV 头的 Key 投影与 16 个 Query 头并支持fp8_e4m3低精度激活进一步省算力Top-K 选择逻辑modeling_naive_n05_flash.py按索引分数稳定排序后取前 2,048 个位置参与主干注意力配置校验强制 DSA 启用且index_top_k为正数configuration_naive_n05_flash.py。热身阶段50B Token的作用索引器是新增模块初始时并不会挑重点。先用 500 亿 Token 让它学会稳定、准确的打分避免后续大规模训练中挑错 token导致信息丢失。这是整个 3.25T Token 训练里规模最大最小、却最关键的一步。⚡ 阶段二3T Token 稀疏注意力精调——适配原生 1M 上下文热身之后进入占绝对主体的 3T Token 阶段目标是让模型整体适应新的注意力结构重新学习信息分工——高频局部信息交给 SWA跨窗口关键信息交给 DSA全量 KV 缓存仍然保留但注意力计算与访存大幅下降解码显著提速训练全程在原生 1M Token 上下文下进行直接练出百万级长程信息保持能力而非后期外推。 阶段三200B Token 学习率衰减——收敛出强编码能力最后的 200B Token 用于学习率衰减逐步降低学习率让模型在新稀疏注意力架构上稳定收敛同时显著提升了编码与 AI RD自动科研、系统优化能力。官方评测中 Naive-N0.5-Flash 在 SWE-Bench Pro、Terminal-Bench、MLE-bench 等任务上表现突出结果见 README.md。 训练成果推理速度与部署要点速度标准模式单用户约 50 tokens/sUltrafast 模式最高 2,000 tokens/s由 NaiveRT 推理系统mega-kernel 融合 PDL 投机解码实现硬件支持 FP8 混合精度推理权重约 315 GB需要支持 FP8 的 NVIDIA GPU参数推荐temperature1.0、top_p0.95见 generation_config.json 与 README.md。最小部署方式需transformers5.17.0pip install transformers[torch,kernels]5.17.0from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer AutoTokenizer.from_pretrained(NaiveAI/Naive-N0.5-Flash-FP8, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained(NaiveAI/Naive-N0.5-Flash-FP8, trust_remote_codeTrue, dtypeauto, device_mapauto) 仓库核心文件导航文件说明config.json架构超参数48 层、SWA/DSA 分布、Top-2048 等configuration_naive_n05_flash.py配置类NaiveN05FlashConfig与结构校验逻辑modeling_naive_n05_flash.py模型实现DSA 索引器、混合注意力、MoE 路由README.md官方介绍、架构表与评测结果chat_template.jinja、tokenizer.json对话模板与分词器152,576 词表model-00001-of-00049.safetensors 等 49 个分片BF16 完整权重LICENSEMIT 开源协议❓ 新手常见疑问为什么不用纯稀疏还要留 SWASWA 处理高频局部信息且成本恒定DSA 处理跨窗口关键信息约 5:1 的混合比例兼顾质量与速度。索引器要扫全历史那还省在哪省的是主干注意力的计算量与访存全 KV 保留但 QK 计算只发生在 Top 2,048 个 token 上注意力开销不再随上下文线性膨胀。3.25T Token 是怎么凑出来的50B索引器热身 3T稀疏注意力训练 200B学习率衰减 3.25T与 README.md 描述完全一致。赞分享【免费下载链接】Naive-N0.5-Flash项目地址https://ai.gitcode.com/hf_mirrors/NaiveAI/Naive-N0.5-Flash点击查看免费下载相关推荐SGLang SubBlock 稀疏注意力为 MiniMax-H3 视频 DiT 提供免训练块稀疏加速SGLang SubBlock 稀疏注意力为 MiniMax H3 视频 DiT 提供免训练块稀疏加速 SubBlock子块稀疏注意力是 SGLang 多模型推理服务推理引擎人工智能大模型本地部署多模态developer-roadmap代码进阶指南编写高质量可维护代码的20个技巧developer roadmap代码进阶指南编写高质量可维护代码的20个技巧 在软件开发中编写高质量可维护的代码是每个开发者追求的目标。developer后端文档教程知识库PaddleNLP BigBird 模型实战指南从块稀疏注意力原理到预训练权重使用PaddleNLP BigBird 模型实战指南从块稀疏注意力原理到预训练权重使用 本篇技术指南围绕 PaddleNLP 中 BigBird 模型的支持情况展人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLP上一篇Path of Building 教程离线规划暗黑破坏神式BD的 3 个步骤下一篇ShuffleNet-Series完全解析从V1到V2的移动端高效CNN架构演进创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考