文章总结主要内容本文提出了一种名为**嵌套激活感知分解（NSVD）**的新型后训练压缩框架，旨在解决大型语言模型（LLM）在低秩分解中面临的两个关键挑战：激活分布的变异性：不同数据集和模型的激活分布差异导致传统SVD方法性能下降。未见激活的适应性：现有方法在处理新数据集或任务时容易出现"过拟合"。NSVD通过以下创新设计提升压缩精度：截断感知数据白化：通过调整权重矩阵与激活分布的关系，确保奇异值截断时的最小损失。双向分解结构：在保持原始权重矩阵信息的同时，吸收激活异常值。实验结果表明，NSVD在8个数据集和6个模型（涵盖LLaMA、OPT、Mistral三大家族）上均优于现有SVD方法（如ASVD、SVD-LLM），尤其在30%-50%压缩率或多语言/多任务场景下优势显著。创新点嵌套分解框架：通过两步分解（激活感知分解+原始矩阵分解）平衡不同数据集的激活差异。截断感知白化：直接关联奇异值与压缩损失，避免传统方法的误差累积。多场景鲁棒性：在多语言（中文、日文）和多任务场景下表现出更强的适应性。计算效率