# RBS‑Attention 论文阅读总结 论文信息：arXiv:2609.20971，RBS‑Attention: Radius‑Bounded Sparse Prefill for Long‑Context Large Language Models## 一、文章主要内容针对长上下文大模型推理中**Prefill（预填充）阶段开销巨大**的问题，本文提出无需训练的稀疏预填充方法 **RBS‑Attention**。长上下文LLM推理分为Prefill阶段（处理全部输入Prompt）和Decode生成阶段。传统稠密自注意力在Prefill阶段复杂度是输入长度平方；现有基于块质心的稀疏块选择可以降低计算，但会出现**均值稀释（mean dilution）**问题：一个块内大部分token无关、少量token高度相关时，块的质心平均分数会被大量无关token拉低，导致重要块被错误剪枝丢弃，造成召回失败、精度下降。RBS‑Attention设计**双分支选择机制**：1. **基础分支（centroid base branch）**：基于块质心，捕捉块的平均相关性；2. **救援分支（rescue branch）**：利用key块最大半径，结合Prompt、层、注意力头的分布，识别存在被低估风险的块，专门缓解均值稀释问题。两个分支独立设置阈值，合并掩码，兼容标准块稀疏FlashAttention执行逻辑，**不需要微调/重新训练模型**。### 实验结果（H100 GPU）- 在 Qwen3‑30B‑A3B‑Instruct‑2507‑FP8，128K上下文下：独立prefill‑attention加速 **20.65×**；vLLM