原文towardsdatascience.com/the-death-of-the-static-ai-benchmark-88b5ff437086?sourcecollection_archive---------8-----------------------#2024-03-21基准测试作为成功的衡量标准https://medium.com/sandibesen?sourcepost_page---byline--88b5ff437086--------------------------------https://towardsdatascience.com/?sourcepost_page---byline--88b5ff437086-------------------------------- Sandi Besen·发布于 Towards Data Science ·3 分钟阅读·2024 年 3 月 21 日–基准测试常常被誉为成功的标志。它们是衡量进展的一个重要方式——无论是跑完 4 分钟以内的一英里还是在标准化考试中取得优异成绩。在人工智能AI领域基准测试是评估模型能力的最常见方法。OpenAI、Anthropic、Meta、Google 等行业领袖竞相争夺通过超越彼此的基准分数来领先。然而最近的研究和行业中的抱怨开始对这些常见基准是否真正捕捉到模型能力的本质提出了质疑。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/d0e6e4fb314d46e066563a4dd604e50c.png来源Dalle 3数据污染导致记忆化新兴的研究表明某些模型的训练集可能已经被其评估所用的数据污染——这引发了对基准分数是否真正反映了模型对知识的理解的质疑。就像电影中演员可以扮演医生或科学家一样他们在台词中虽然说得头头是道但并不真正理解背后的概念。当基里安·墨菲在电影《奥本海默》中扮演著名物理学家 J·罗伯特·奥本海默时他可能并没有理解他所讲的复杂物理理论。尽管基准测试旨在评估模型的能力但如果像演员一样模型只是记住了这些分数它们真的是在评估模型的能力吗亚利桑那大学的最新研究发现GPT-4 受到 AG News、WNLI 和 XSum 数据集的污染从而使其相关的基准失去可信度[1]。此外来自中国科技大学的研究人员发现当他们将“探测”技术应用于流行的 MMLU 基准[2]时结果显著下降。他们的探测技术包括一系列方法旨在挑战模型对问题的理解当问题以不同的方式提出选项不同但正确答案相同时。探测技术的示例包括转述问题、转述选项、排列选项、在问题中加入额外背景信息以及为基准问题添加新的选项。从下面的图表中可以看出尽管每个测试的模型在未改变的“原始”MMLU 基准上表现良好但当探测技术被加入到基准的不同部分语言理解LU、问题解决PS、领域知识DK、所有部分时它们的表现并没有那么强劲。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/ce7ad26f7adf231985ec5a50786a759a.png“原始”代表未改变的 MMLU 基准的表现。其他键代表在修改过的 MMLU 基准部分上的表现语言理解LU、问题解决PS、领域知识DK、所有部分关于如何评估人工智能的未来考虑这种不断变化的情况促使我们重新评估如何评估人工智能模型。现在越来越明显的是我们需要既能可靠展示能力又能预见数据污染和记忆化问题的基准。随着模型不断发展并可能更新其训练集以包括基准数据基准的生命周期将自然变短。此外模型的上下文窗口正在迅速增大允许在模型的响应中包含更多的上下文。上下文窗口越大污染数据对模型学习过程的间接影响越大这会使模型对已见过的测试样本产生偏见。动态与现实世界基准的崛起为了应对这些挑战创新方法如动态基准正在出现采用诸如改变问题、使问题复杂化、向问题中引入噪声、转述问题、反转问题的极性等策略[3]。下面的示例提供了几种方法来改变基准问题无论是手动还是由语言模型生成。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a7346c390155b8c90afaff7a1b0b6558.png来源《基准自我进化一种多代理框架用于动态 LLM 评估》随着我们前进将评估方法与现实世界应用更加紧密地对接的必要性变得愈加明显。建立能够准确反映实际任务和挑战的基准不仅能提供更真实的 AI 能力衡量标准还能引导小型语言模型SLMs和 AI 代理的开发。这些专业化的模型和代理需要能够真正捕捉它们执行实际和有益任务潜力的基准。