文章主要内容和创新点主要内容本文针对现有韩国LLM评估基准的不足，提出了两个专业级别的评估基准——KMMLU-REDUX和KMMLU-PRO，用于更准确地评估大型语言模型（LLMs）在韩国工业和专业领域的实际应用能力。KMMLU-REDUX：基于现有KMMLU基准改进，通过人工审查去除错误（如答案泄露、表述不清）和数据污染，仅保留来自韩国国家技术资格考试（KNTQ）的高难度题目，共2587题，聚焦工业领域的实用技术能力。KMMLU-PRO：全新构建的基准，基于韩国国家专业执照考试（KNPL），涵盖14个高度专业化的职业（如律师、会计师、医生等），共2822题，旨在评估模型是否达到专业认证标准。实验结果显示，两个基准能有效区分不同LLM在韩国工业和专业领域的表现：模型在工程等领域表现较好，但在采矿、建筑等高度专业化领域表现较弱；医学领域模型通过率较高，而法律、税务领域通过率低，凸显了本地专业知识评估的重要性。创新点改进现有基准：通过人工审查修正KMMLU的错误和数据污染问题，构建更可靠、更具挑战性的KMMLU-REDUX，解决了原有基准中重复、错误和污染的问题。新增专业基准：提出KMMLU-PRO，基于韩国国家专业执照考试，首次系统性评估LLM在韩国高 stakes 职业领域的专业知识，填补了现有基准对工业和专业实践能力评估的空白。