谷歌质疑医院使用的人工智能机器人 Med-PaLM 2

谷歌质疑医院使用的人工智能机器人 Med-PaLM 2

谷歌对医院中使用的人工智能机器人 Med-PaLM 2 进行了盘问 PlatoBlockchain 数据智能。垂直搜索。人工智能。

谷歌面临美国立法者的压力,要求其解释如何在医院训练和部署其医疗聊天机器人 Med-PaLM 2。

弗吉尼亚州民主党参议员马克·华纳 (Mark Warner) 今天写信给这家互联网巨头,敦促这家网络巨头不要急于将该技术商业化,从而将患者置于危险之中。

Med-PaLM 2 基于 Google 大语言模型 PaLM 2,并针对医疗信息进行了微调。 该系统可以针对医疗查询生成书面答案、总结文档并检索数据。 谷歌于四月份推出了该模型,并且 说过 一组精选的 Google Cloud 客户正在测试该软件。

华纳参议员表示,VHC Health 是其中之一,这是一家位于弗吉尼亚州、隶属于梅奥诊所的医院。 华纳在给谷歌首席执行官桑达尔·皮查伊的一封信中表示,他担心生成式人工智能会引发“复杂的新问题和风险”,特别是在应用于医疗保健行业时。

“虽然人工智能无疑在改善患者护理和健康结果方面拥有巨大潜力,但我担心过早部署未经证实的技术可能会导致对我们医疗专业人员和机构的信任受到侵蚀,加剧现有健康结果方面的种族差异,并增加诊断和护理提供错误的风险,”他写道[PDF].

“考虑到临床环境中的错误会带来生死攸关的后果,近年来人们对医疗保健机构的信任度下降,以及健康的敏感性,这种争夺市场份额的竞赛是显而易见的,尤其是在医疗保健行业。信息。”

这位参议员在信中提出了十几组问题供谷歌高管回答。 这些查询包括:

大型语言模型经常表现出记住训练数据内容的倾向,这可能会在接受敏感健康信息训练的模型的背景下危及患者隐私。 Google 如何评估 Med-PaLM 2 的这一风险?Google 采取了哪些措施来减少敏感健康信息的无意隐私泄露?

Google 完全或部分重新训练 Med-PaLM 2 的频率是多少? Google 是否确保被许可人仅使用最新的型号版本?

当医疗保健许可持有者在患者的护理中使用 Med-PaLM 2 或由其提供或许可的其他 AI 模型时,Google 是否确保告知患者? 如果是这样,披露是如何呈现的? 它是更长披露的一部分还是更清晰地呈现?

Google 是否保留医疗保健许可持有者提供的提示信息,包括其中包含的受保护的健康信息? 请列出 Google 保留该信息的每个目的。

最后...

在谷歌自己发布 Med-PaLM 2 的研究出版物中,研究人员警告说,需要采取“防护措施来减轻对医疗助理输出的过度依赖”。 Google 采用了哪些防护措施来减轻对 Med-PaLM 2 输出的过度依赖,以及何时特别应该使用和不应该使用? Google 通过产品许可条款纳入了哪些防护措施来防止过度依赖输出?

所有应该提出或强调的相当好的观点。

大型语言模型很容易生成听起来令人信服的虚假信息,因此人们很可能担心机器人会自信地提供有害的医疗建议或错误地影响某人的健康决策。 例如,国家饮食失调协会将其 泰莎聊天机器人 在建议人们计算卡路里、每周称体重并监测身体脂肪之后,该网站就下线了——这些行为被认为与健康恢复背道而驰。

Google-DeepMind 撰写的研究论文 详细介绍 Med-PaLM 2 承认该模型的“答案不如医生的答案”,并且在准确性和相关性方面得分较低。

华纳希望皮查伊分享更多有关如何在临床环境中部署该模型的信息,并想知道这家大型企业是否正在从测试其技术的人员那里收集患者数据,以及使用哪些数据来训练它。 

他强调,谷歌此前曾在与美国和英国医院的交易中,在患者不知情或未同意的情况下存储和分析患者数据。 夜莺计划 旗帜。

“谷歌尚未公开提供有关 Med-PaLM 2 的文档,包括避免透露模型训练数据的内容。 Med-PaLM 2 的训练语料库是否包含受保护的健康信息?” 他问。 

谷歌发言人否认 Med-PaLM 2 是人们今天所熟知的聊天机器人,并表示客户正在测试该模型,以探索它如何对医疗保健行业有用。 

该代表表示:“我们相信人工智能有潜力改变医疗保健和医学,并致力于以安全、公平、证据和隐私为核心进行探索。” 注册 在一份声明中。 

“如 今年 2 月,我们将向一组选定的医疗机构提供 Med-PaLM 2 进行有限测试、探索用例并分享反馈——这是构建安全且有用的技术的关键一步。 这些客户保留对其数据的控制权。 Med-PaLM XNUMX 不是聊天机器人; 它是我们大型语言模型的微调版本 掌上电脑2,旨在对医学知识进行编码。”

该发言人没有证实谷歌是否会回应华纳参议员的问题。 ®

时间戳记:

更多来自 注册