2026/8/14 17:21:58 【MLSys 2024】AWQ:激活感知权重量化——把大模型装进边缘设备|从端侧大模型部署视角
摘要
本文解读 MLSys 2024 论文《AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration》。该论文提出激活感知权重量化(AWQ),通过融合激活统计、逐通道等价缩放与单超参网格搜索,在不做任…