大型语言模型可能会对你撒谎——这位教授希望你知道它们何时会撒谎——大众科技领导委员会

与几乎任何人交谈——也就是说，任何人——你的谈话都会遇到什么 马里赫·阿里哈尼 所谓“健康的摩擦”，是指你在谈话中的目标与伴侣的目标发生冲突的时刻，需要澄清、产生混乱或导致分歧的时刻。

对于大型语言模型则不然。

东北大学 Khoury 计算机科学学院助理教授 Alikhani 表示，像 ChatGPT 这样的大型语言模型在确定性方面存在严重问题。

Alikhani 的新项目名为“对话交易中的问责摩擦”(FACT)，是东北大学、伊利诺伊大学厄巴纳-香槟分校和南加州大学之间的合作项目。

FACT 项目由国防高级研究项目局的人工智能探索拨款资助，旨在开发更加透明和公平的人工智能工具。

“人类交流成为一种富有成效的工具的原因之一，”阿里哈尼说，“我们在言语和语气中表达了我们的不确定性。我们把它体现在我们的面部表情中。”

她继续说，人与人之间沟通的不确定性所产生的健康摩擦有助于维持意见和观点的多样性。

但大型语言模型（或法学硕士）对表达其不确定性不感兴趣，从而导致了 Alikhani 所说的“阿谀奉承行为”。她说，大型语言模型“希望最大限度地提高用户的满意度”，并且“永远不要在对话中引入任何摩擦，无论[模型]对其陈述是否有信心”。

大型语言模型由于容易产生幻觉而出现其他问题。法学硕士“编造事实。他们非常擅长说服人们相信捏造的事实。”

尽管存在这些问题，阿里哈尼还表示，人类容易过度依赖这些人工智能模型生成的“事实”，这些模型“可能会编造事实来让你开心”。

她说，导致用户过度依赖法学硕士的部分原因是他们的“类人行为”。 “这将操纵我们的认知。”

大型语言模型似乎也会立即产生响应，这是让用户假设正确性的另一个因素。 “我们人工智能科学家很难告诉人们，‘是的，它是连贯的。是的，它很快。是的，它正在适应您的风格。但它会产生幻觉，”阿里哈尼说。

根据他们的新资助，阿里哈尼和她的团队将设计工具来展示法学硕士对其所做声明的确定性水平，并在人类与人工智能的对话中引入健康的摩擦。

“我们如何预测和表达系统的置信度？”阿利哈尼问道。如果人工智能模型“只有 2% 的置信度，它应该将其具体化”。

“这项研究的主要目标之一是对不确定性进行建模，将不确定性具体化”，并教导法学硕士如何在人类与人工智能的对话中描绘这种不确定性。这可能会作为模型确定性的百分位数出现在用户界面中，或者模型可能会以更类似于人类的方式反映其响应的不确定性。

例如，Alikhani 想象了一种情况，患者可能会向大型语言模型询问有关其健康状况的问题。当前一代的法学硕士将尝试提供答案，即使这个答案可能会变得危险。阿利哈尼希望建立的模型可以说：“‘我不知道。你应该打电话给你的护士。”

“稳健性是人工智能问责制的关键，”阿里哈尼说。目前，法学硕士通常会在提问时给出一个答案，几分钟后给出一个完全不同的答案。

在设计既安全又负责任的人工智能时，以前可能有助于完成简单任务的人工智能系统“无法访问大量其他数据集，”阿里哈尼说，“而且他们无法说出可能危险的事情，因为这不在他们的数据中。”

这些数据集包含或排除的内容是克服法学硕士对“性别，但也存在更微妙的偏见，例如[大语言]模型中反映的内群体与外群体以及不同认知偏见”的关键。

现在，阿利卡尼希望设计出为具有“不同承受能力和偏好”的人们提供服务的模型，她说。

“我们不想只是继续为我们拥有数据的人口建立系统，但我们会思考我们把谁抛在了后面，以及我们如何才能阻止这种巨大的不平等差距，而不是让情况变得更糟？”她问。 “我实验室的目标就是朝着这个方向前进。”

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 柏拉图健康。 生物技术和临床试验情报。 访问这里。
• Sumber: https://www.mtlc.co/large-language-models-can-lie-to-you-this-professor-wants-you-to-know-when-they-do/