资讯动态

负责任AI中的多重性研究

发布时间:2026/8/23 14:12:45 来源:尧图企业网站定制
在本系列访谈中我们与部分AAAI/SIGAI博士联盟参与者进行了交流以深入了解他们的研究。我们与Prakhar Ganesh坐下来聊了聊他在负责任AI方面的工作其研究聚焦于“多重性”概念。我们进一步了解了他参与的一些项目、他的未来规划以及他是如何进入这个领域的。能否先简单介绍一下你自己、你在哪里学习以及你研究的广泛主题我叫Prakhar Ganesh是加拿大蒙特利尔麦吉尔大学的三年级博士生。我也隶属于Mila——蒙特利尔的一个研究机构。我的导师是Golnoosh Farnadi教授。我的研究广泛而言属于负责任AI领域。我喜欢与从事公平性、隐私性、可解释性和安全性研究的同事合作。更具体地说我个人喜欢一个叫做“多重性”的课题有时也称为“罗生门效应”。这个名字源于1950年代的电影《罗生门》其核心思想是对同一情境存在许多不同视角很难说哪个视角是正确的因为它们各自都有道理。几年前这个概念被引入AI领域用来讨论如何对数据存在多种不同的解释很难说哪种解释是正确的因为它们都能很好地拟合数据因此都同样好。当这些不同解释彼此不一致时我们就称之为“多重性”。在一组同样优秀的模型中存在多种不同的预测结果。我的工作主要聚焦于理解多重性给公平性、隐私性、可解释性等带来的影响、机遇和问题。多重性的概念以及开发者在引导不同解释中所扮演的角色。如果能听到你研究过程中不同项目的一些例子会很有趣。你能举一个你早期项目的例子吗实际上我的硕士项目就是我对这个主题的入门。我当时研究算法系统中的公平性。我们意识到公平性评估的度量很大程度上取决于训练模型时选择的随机种子以及我们在哪个训练轮次进行评估等。因此我们深入尝试理解模型训练中存在的所有不同形式的随机性以及它们如何影响最终的公平性评估。我们想看看是否最终能利用这一点来创建更公平的模型。当时多重性领域已经起步但我并不熟悉。所以你会发现在那篇论文中我们从未使用“多重性”这个术语尽管我们讨论的正是它。我们在FAccT 2023上发表了那篇论文并获得了最佳论文奖。这非常棒因为那实际上是我第一次亲身参加的会议。在那次会议上还有其他几篇关于多重性的论文我由此了解到描述这一领域的现有术语。有没有一个你最近想要重点介绍的项目我们在一月份完成了一个项目并最近提交给了一个会议。该项目是关于多重性在算法追索中扮演的重要角色。算法追索的理念是如果某人得到了一个负面的预测结果他们应该得到某种解释说明为什么得到负面预测以及一些关于如何做才能获得正面预测的建议。例如如果有人申请贷款但被告知无法获得他们应该被告知原因——可能是因为他们的信用评分或收入过低。有一种叫做“鲁棒追索”的概念。其理念是如果今天有人来找我申请贷款我说“不行你需要提高你的信用评分”提高信用评分需要时间。所以他们可能在几个月甚至几年后再来找我到那时我的模型可能已经改变了。我们试图向人们提供追索建议使得即使因为多重性导致我的模型发生了变化这个人仍然应该得到一个正面预测。但这种所谓的鲁棒性的问题在于它制造了一致性。它希望每个人都以同样的方式行事因为存在一个以某种方式行事的多数群体。并且由于这是一个密集区域无论我选择哪个模型那里总会有正面预测。因此每个人都需要以某种特定方式行事这并没有真正考虑到申请者中存在的多样性。这就像是在以下两者之间的竞争a) 希望给出一个足够好的追索建议使他们不必担心模型变化b) 希望注意到我们在系统中制造一致性和不公平性的事实。这种权衡实际上是人为的因为我们假设部署模型的人或机构只是随机挑选一个模型。但事实不应如此。在选择模型时你也应该意识到你已经承诺了某种追索并应努力维持该追索的有效性。所以我们讨论这种权衡、它为何是人为的以及我们如何利用多重性。在多重性研究中有一个普遍主题由于存在不同的解释其中一些可能比其他解释更好。因此你可能会倾向于选择某一个。这也是我们在此使用的思想。存在很多解释但其中一些可能比其他解释更能维持已承诺的追索。所以你应该选择那些实际上能维持追索的模型。我知道你的兴趣之一是确保模型能在沙盒环境之外工作并在现实世界中发挥作用。你打算如何实现这一点我觉得这是一个两步走的过程。我还没有到达第二步但我正处于第一步即与更多跨学科的人合作比如专注于法律方面或社会科学方面的人。在法律方面我一直在研究某机构是否真的要求自己会遵循特定的追索。在社会科学方面我研究当有人试图回来实施这种追索却无法获得预测等情况下所造成的伤害。我觉得这是重要的第一步我一直与许多来自不同学科的人合作试图理解多重性的影响。当然第二步是实际去做这件事。虽然我还没有在这方面开展工作但我希望很快能开始。今年夏天我将在某机构的机器学习研究部门实习与一个从事不确定性和公平性研究的团队合作。不确定性当然与多重性密切相关他们之前也发表过关于多重性的论文。我对此感到非常兴奋因为我认为我将有机会与他们一起研究那些实际通过机器学习生态系统部署的模型。我想尝试理解它们在现实世界中的影响以及如何讨论这种影响。意向性-常规性-任意性框架三角形。那么你研究中的下一步是什么当我实习回来后我还想完成一个项目来结束我的博士学业。去年夏天我花了很多时间试图构建我博士论文的故事脉络。我和导师最终确定的是我希望从做出这些决策的开发者的视角来探讨多重性。所有这些不同的解释都存在但作为开发者你会做出某些决策引导你选择一种解释而非另一种。你选择使用特定的批量大小你进行某种数据清洗。正因为如此你最终得到的是这种解释而不是另一种。所以关键是从开发者的视角去理解正在发生的事情。我们想要关注一个三层次的框架。第一层是尝试给我们提供更好的语言来讨论这个问题。去年我们做了一项关于多重性的调查其中一部分就是这种用来讨论开发者决策的新语言。我们认为大多数开发者决策可以处于三个端点之间任意性某事物是随机选择的、常规性某事物是因为其他人都这么做或者因为那段代码已经存在而被选择的以及意向性决策是基于你知道它如何影响你的模型而做出的。如果开发者开始做出大量常规性决策那么我们就开始走向所谓的“同质化”。每个人都在做同样的事情现实中存在的多样性在最终模型被部署时被隐藏了。因此尽管可能存在许多不同的模型但最终的模型都非常相似。类似地如果人们开始非常任意地做事那么对于为什么某个个体收到某个预测你就没有太多理由。因此这个想法是在一个很高的层次上使用这种语言来讨论不同的决策如何塑造我们所处的生态系统。第二层更多的是关于我们所做的选择与影响之间的理论联系。当我们进行模型训练时有很多工作试图理解模型训练如何影响最终模型但很少有工作试图理解数据处理和数据清洗如何影响最终模型。同样也很少有工作试图理解当我们维护和更新一个模型时这种影响会随着时间的推移而影响决策。作为开发者你需要一些理论来说明哪些决策会导致哪些解释。这就是第二层——为此开发一个理论框架。最后第三层是更侧重于现实世界的应用——特定应用中的哪些细微差别可能不同于这些高层次框架我在应用方面做了很多工作也在一些理论框架方面做了一些工作。我们有一篇关于这种语言的论文但我觉得在我的故事中稍微缺失的部分是更好地理解开发者决策周围的文化以及可以为他们提供什么样的语言以便我们更好地理解开发者决策如何影响多重性。所以这是我想做的工作。这也是一个我无法独自完成的项目因为我的专业是计算机科学而这需要更多的人种学和社会科学专业知识。在过去几个月里我已经联系了一些从事这方面工作的人我非常希望在我实习回来后我们能在这个领域找到一个有趣的项目来帮助我填补这个空白。否则我对整个故事的现状感到满意。我很想知道是什么激励你进入这个领域。说实话我觉得是一连串的偶然我来自印度我们那里有一个中央工程入学考试。你在那次考试中获得的排名大致决定了你能选择的课程方向即你能进入哪个专业。当我参加那个考试时我获得了足够好的排名可以进入印度最好的学院之一学习计算机科学。我当时不确定我是否想学计算机科学但这是面向未来最好的选择。一旦我开始学习我意识到我真的很喜欢计算机科学所以我很开心。对于负责任AI来说也是如此。当我开始攻读硕士学位时我并不知道我将要从事的研究课题。我在新加坡国立大学读硕士。我参加了一个他们在每学期开始时举办的、博士生展示他们研究的活动。一位博士生正在谈论鲁棒性和隐私性我觉得那非常有趣。于是我联系了她她把我介绍给了她的导师。说实话在我从事负责任AI研究的大约一年左右的时间里对我而言负责任AI的吸引力并不在于它本身是“负责任”的而在于有各种各样的工具可以试图理解AI模型内部发生了什么。因为当我们谈论公平性时我们是在讨论不同群体如何可能有不同的准确率。其底层是什么样子的当我们谈论隐私性时我们是在讨论模型记住了哪些数据以及哪些数据它能够泛化。所以对我来说这些是更好地理解这些AI模型的工具。然而随着我在这个领域越来越深入我遇到了很多非常有趣的人他们并非计算机科学背景而是在做跨学科工作。我越来越广泛地对AI模型的影响力充满热情。这就是我走到今天的原因。你觉得在AAAI的博士联盟经历以及整个会议怎么样非常棒我真的很享受。唯一的小问题是它在主会议开始前两天举行所以大多数来参会的人后来才到。但除此之外我非常享受整个过程见到所有其他博士生看到他们正在研究的东西并有机会谈论我自己的研究。不同的主题非常有趣。有些主题从外部看起来很吸引人但不是我愿意从事的。而有些主题则与我所做的非常接近所以我渴望与他们交流。总的来说我认为这是一次非常愉快的经历。会议本身也是如此我真的很喜欢。最后在研究之外你喜欢做什么我喜欢大量阅读——经典著作、老书并探索各种不同的体裁。我觉得有些人会觉得我有点奇怪因为我一旦拿起一本书就放不下即使我不喜欢它我也必须读完。我认为当我需要从研究中休息一下时阅读真的能让我恢复精力沉浸在这些故事和叙述中。关于Prakhar GaneshPrakhar是麦吉尔大学和Mila的博士生师从Golnoosh Farnadi教授。他的研究涵盖多重性的多个方面并侧重于公平性曾获得FAccT 2023最佳论文奖和AFMENeurIPS 2024亮点展示。他获得了著名的FRQNT博士培训奖学金、麦吉尔大学研究生卓越奖以及Mila研究中的EDI卓越奖学金。Prakhar还积极参与教学。他组织了FAccT 2025和AAAI 2026的教程帮助设计了“原住民AI探路者”课程的课程体系并担任麦吉尔大学AI导论课程的讲师此外还担任过AI4Good暑期学校以及麦吉尔大学多门大学课程的助教。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价