AI模型预先部署的可靠性检测

基础模型是大量的深度学习模型,这些模型已经在大量通用的、未标记的数据上进行了预训练。它们可以应用于各种任务,比如生成图像或回答客户问题。 但是,作...

基础模型是大量的深度学习模型,这些模型已经在大量通用的、未标记的数据上进行了预训练。它们可以应用于各种任务,比如生成图像或回答客户问题。

但是,作为ChatGPT和DALL-E等强大人工智能工具的支柱,这些模型可能会提供不正确或误导性的信息。在安全关键的情况下,比如行人接近自动驾驶汽车,这些错误可能会造成严重后果。

为了防止此类错误,麻省理工学院和麻省理工学院- ibm沃森人工智能实验室的研究人员开发了一种技术,可以在将基础模型部署到特定任务之前评估其可靠性。

他们通过训练一组彼此略有不同的基础模型来做到这一点。然后,他们使用他们的算法来评估每个模型对相同测试数据点学习的表示的一致性。如果表示是一致的,就意味着模型是可靠的。

当他们将他们的技术与最先进的基线方法进行比较时,它在捕获各种分类任务的基础模型的可靠性方面表现得更好。

有人可以使用这种技术来决定一个模型是否应该应用于特定的环境,而不需要在现实世界的数据集上进行测试。当数据集可能由于隐私问题而无法访问时,例如在医疗保健环境中,这可能特别有用。此外,该技术可用于基于可靠性分数对模型进行排序,使用户能够为其任务选择最佳模型。

“所有模型都可能出错,但知道自己什么时候出错的模型更有用。对于这些基础模型来说,量化不确定性或可靠性的问题变得更加困难,因为它们的抽象表示难以比较。我们的方法可以让你量化表示模型对于任何给定输入数据的可靠性,”资深作者Navid Azizan说,他是麻省理工学院机械工程系和数据、系统和社会研究所(IDSS)的Esther和Harold E. Edgerton助理教授,也是信息和决策系统实验室(LIDS)的成员。

他与第一作者Young-Jin Park (LIDS研究生)一起撰写了一篇关于这项工作的论文;麻省理工学院- ibm沃森人工智能实验室的研究科学家王浩;以及Netflix的高级研究科学家谢尔文·阿德希尔。该论文将在人工智能不确定性会议上发表。

统计共识

传统的机器学习模型被训练来执行特定的任务。这些模型通常根据输入做出具体的预测。例如,模型可能会告诉你某张图片中是猫还是狗。在这种情况下,评估可靠性可能只是查看最终预测,看看模型是否正确。

但基金会的模式是不同的。该模型使用一般数据进行预训练,其创建者并不知道该模型将应用于的所有下游任务。用户在训练完成后就可以让它适应自己的特定任务。

与传统的机器学习模型不同,基础模型不会给出像“猫”或“狗”标签这样的具体输出。相反,它们基于输入数据点生成抽象表示。

为了评估基础模型的可靠性,研究人员使用了一种集成方法,通过训练几个模型,这些模型具有许多相同的特性,但彼此之间略有不同。

“我们的想法就像计算共识。如果所有这些基础模型对我们数据集中的任何数据都给出了一致的表示,那么我们可以说这个模型是可靠的,”Park说。

但他们遇到了一个问题:他们如何比较抽象的表示?

他补充说:“这些模型只是输出一个矢量,由一些数字组成,所以我们不能轻易地比较它们。”

他们用一种叫做邻域一致性的想法解决了这个问题。

对于他们的方法,研究人员准备了一组可靠的参考点来测试模型的集合。然后,对于每个模型,他们调查位于该模型表示的测试点附近的参考点。

通过观察相邻点的一致性,他们可以估计模型的可靠性。

对齐表示

基础模型在所谓的表示空间中映射数据点。我们可以把这个空间看成一个球体。每个模型都将相似的数据点映射到其球体的同一部分,因此猫的图像放在一个地方,狗的图像放在另一个地方。

但是每个模型会在自己的领域内绘制不同的动物地图,所以当猫可能被分组在一个球体的南极附近时,另一个模型可以在北半球的某个地方绘制猫的地图。

研究人员使用像锚一样的邻近点来对齐这些球体,这样它们就可以使表征具有可比性。如果一个数据点的邻居在多个表示中是一致的,那么应该对该点的模型输出的可靠性有信心。

当他们在大范围的分类任务中测试这种方法时,他们发现它比基线更加一致。另外,它不会因为挑战测试点而导致其他方法失败。

此外,他们的方法可用于评估任何输入数据的可靠性,因此人们可以评估模型对特定类型的个体(例如具有某些特征的患者)的效果如何。

王说:“即使所有型号的整体性能都是平均水平,从个人的角度来看,你也会更喜欢最适合自己的型号。”

然而,一个限制来自于它们必须训练一个大型基础模型的集合,这在计算上是昂贵的。在未来,他们计划找到更有效的方法来建立多个模型,也许是通过使用单个模型的小扰动。

这项工作部分由麻省理工学院- ibm沃森人工智能实验室、MathWorks和亚马逊资助。

本文来自作者[孤菱]投稿,不代表ueqvr号立场,如若转载,请注明出处:https://www.ueqvr.cn/zlan/202508-6254.html

(1)

文章推荐

  • 日本队期待与阿根廷队的巅峰对决

      日本队在周四以28-22击败萨摩亚队后,迅速将注意力转向D组对阵阿根廷队的决胜局,他们将连续第二次进入橄榄球世界杯四分之一决赛。勇敢的花朵在图卢兹处于领先地位,彼得·拉布沙涅、迈克尔·莱奇、金野和之三次尝试取得了胜利,松田理也得到了13分。萨摩亚在下半场早些时候本·林(BenLa

    2025年07月06日
    17
  • 摩羯座下月塔罗牌运势解析

    文章目录切换2024年10月2024年9月2024年8月摩羯座,你准备好进入你的权力了吗?你每月的塔罗牌——或塔罗牌占星术,塔罗牌和占星术的结合——可以帮助你改变你的观点,做出成长所必需的改变。你可以的。你的塔罗牌可以帮上忙。读读下面的文章,看

    2025年07月17日
    10
  • 德莱克公司签署液流电池合同,合作伙伴为印度最大电力企业

      来自印度哈里亚纳邦古尔冈的消息,DelectrikSystemsPvt.Ltd.成功中标,为NTPC的NETRA部门(NTPC能源技术研究联盟)部署3MWh的钒氧化还原液流电池(VRFB)储能系统(BESS)。NETRA正在将这种VRFB作为长时间储能(LDES)来提

    2025年08月07日
    11
  • 玛莎·斯图尔特因以下原因取消了感恩节晚餐

      在一个重要节日来临之前,所有的准备工作往往会让你在这个特殊的日子里感到疲惫。这似乎就是今年玛莎·斯图尔特的经历,她花了整整11月的时间来策划和准备感恩节的盛宴。然而,本周,这位生活方式的权威宣布,她将在今年的火鸡日选择放弃。在《凯利克拉克森秀》上,斯图尔特

    2025年08月16日
    12
  • 科普实测“微乐北京麻将开挂神器”挂辅助教程

    家好,今天小编来为大家解答微乐北京麻将开挂神器有没有挂这个问题咨询软件客服可以免费测试直接加QQ群了解详细,微乐北京麻将开挂神器的挂在哪里买很多人还不知道,现在让我们一起来看看吧!一、微乐北京麻将开挂神器记牌器怎么全显示你需要获得记牌器才能全部显示,否则

    2025年08月17日
    12
  • 分享热点“安徽徽乐麻将到底有没有挂”分享装挂技巧步骤

    家好,今天小编来为大家解答安徽徽乐麻将到底有没有挂有没有挂这个问题咨询软件客服可以免费测试,安徽徽乐麻将到底有没有挂的挂在哪里买很多人还不知道,现在让我们一起来看看吧!一、安徽徽乐麻将到底有没有挂记牌器怎么全显示你需要获得记牌器才能全部显示,否则只显示前

    2025年08月17日
    12
  • 指定教程“微乐麻将有挂么必赢”其实真的有挂

    微乐麻将有挂么必赢是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加入我们(QQ群聊)免费测试,先看效果下载使用。手机打牌可以一键让你轻松成为“必赢”。其操作方式十分简单,打开这个应用便可以自定义手机打牌系统规律,只需要输入自己想

    2025年08月19日
    12
  • 分享一款“旺旺麻将开挂视频”爆光开挂猫腻详情

    旺旺麻将开挂视频是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加入我们(QQ群聊)免费测试,先看效果下载使用。手机打牌可以一键让你轻松成为“必赢”。其操作方式十分简单,打开这个应用便可以自定义手机打牌系统规律,只需要输入自己想要

    2025年08月20日
    11
  • 终于呈现“河北家乡麻将有挂吗”其实是有挂

    家好,今天小编来为大家解答河北家乡麻将有挂吗有没有挂这个问题咨询软件客服可以免费测试直接加QQ群了解详细,河北家乡麻将有挂吗的挂在哪里买很多人还不知道,现在让我们一起来看看吧!一、河北家乡麻将有挂吗记牌器怎么全显示你需要获得记牌器才能全部显示,否则只显示

    2025年08月21日
    9
  • Live Nation计划在多伦多兴建可容纳5万人的罗杰斯体育场

    LiveNation表示,它将在多伦多北端建造一个可容纳5万人的露天音乐场地。LiveNationCanada的执行官埃里克·霍夫曼(ErikHoffman)表示,新的罗杰斯体育场将于2025年6月举办首场比赛。它将位于前唐斯维尤机场的土地上

    2025年08月22日
    9

发表回复

本站作者后才能评论

评论列表(4条)

  • 孤菱
    孤菱 2025年08月26日

    我是ueqvr号的签约作者“孤菱”!

  • 孤菱
    孤菱 2025年08月26日

    希望本篇文章《AI模型预先部署的可靠性检测》能对你有所帮助!

  • 孤菱
    孤菱 2025年08月26日

    本站[ueqvr号]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育

  • 孤菱
    孤菱 2025年08月26日

    本文概览:基础模型是大量的深度学习模型,这些模型已经在大量通用的、未标记的数据上进行了预训练。它们可以应用于各种任务,比如生成图像或回答客户问题。 但是,作...

    联系我们

    邮件:ueqvr号@sina.com

    工作时间:周一至周五,9:30-18:30,节假日休息

    关注我们