文章主要内容总结本文聚焦于大型语言模型（LLMs）作为生成式奖励模型（即“LLM-as-a-Judge”）在带可验证奖励的强化学习（RLVR）中的漏洞问题。研究发现，这类模型容易被“万能钥匙”（master keys）攻击——即仅包含非单词符号（如“:”“.”）或推理开头语（如“Thought process:”“Let’s solve this problem step by step.”）的无意义响应会诱导模型产生假阳性奖励。这种漏洞在多种LLM（包括GPT-4o、Claude-4等先进模型）、数据集（涵盖数学推理与通用推理任务）和提示格式中普遍存在，可能导致RLVR训练崩溃等严重问题。为解决这一问题，作者提出了一种数据增强策略：通过构造包含推理开头语的合成负样本扩充训练数据，并基于此训练出鲁棒性显著提升的通用奖励模型Master-RM。实验表明，Master-RM在多种任务中对“万能钥匙”攻击的假阳性率接近零，同时保持了与主流模型（如GPT-4o）的高一致性。作者公开了该模型及训练数据，以推动更可靠的LLM评估方法研究。创新点识别核心漏洞：首次系统揭示了生成式奖励模型对“万能钥匙”攻击的脆弱性，这类攻击通过简单符号或推理开头语即可诱导假阳性奖励。普遍性验证：在多种LLM（包括开源与商用模型）、数据集（数学推理、通用推理等）和提示格式中验证了漏洞的普遍性，证明其并非特定模型或任务的特例。有效解决方案：提出基于合成负样本的数据增强策略，仅通过扩充少量训练数据即显著提升模型