病院で使用されている AI ボット Med-PaLM 2 を Google が批判

病院で使用されている AI ボット Med-PaLM 2 を Google が批判

タイムスタンプ：8年2023月5日54:XNUMX
Googleは、病院で使用されているAIボットMed-PaLM 2を巡ってPlatoBlockchain Data Intelligenceを批判した。垂直検索。あい。

Googleは米国議員から、医療用チャットボットMed-PaLM 2をどのように訓練し、病院に導入するかを説明するよう圧力を受けている。

マーク・ワーナー上院議員（民主党、バージニア州）も本日インターネット大手に書簡を送り、この技術の商業化を急ぐあまり患者を危険にさらさないようウェブ大手に対し要請した。

Med-PaLM 2 は、Google の大規模言語モデル PaLM 2 に基づいており、医療情報に基づいて微調整されています。 このシステムは、医療上の質問に応じて書面による回答を生成し、文書を要約し、データを取得できます。 GoogleはXNUMX月にこのモデルを導入し、 と Google Cloud 顧客の選ばれたグループがソフトウェアをテストしていました。

ワーナー上院議員によると、検査機関のXNUMXつはメイヨー・クリニックと提携するバージニア州の病院VHCヘルスだという。 ワーナー氏はグーグルのサンダー・ピチャイ社長に宛てた書簡の中で、生成型AIが特に医療業界に適用された場合に「複雑で新たな疑問とリスク」を引き起こすことを懸念していると述べた。

「AI が患者ケアと健康状態を改善する多大な可能性を秘めていることは間違いありませんが、実証されていない技術を時期尚早に導入すると、医療専門家や医療機関に対する信頼の低下、健康状態における既存の人種間の格差の悪化、さらには人種間の格差の拡大につながるのではないかと心配しています。診断やケアの提供に誤りが生じるリスクがある」と彼は書いている[PDF].

「市場シェアを確立しようとするこの競争は一目瞭然で、臨床現場でのミスが生死に関わる結果、近年の医療機関への信頼の低下、健康への敏感さを考慮すると、医療業界では特に憂慮すべきことである」情報。"

同上院議員は書簡の中で、グーグル幹部らに答えるべき十数の質問を列挙した。 これらのクエリには次のものが含まれていました。

大規模な言語モデルでは、トレーニング データの内容を記憶する傾向が頻繁に示されており、機密の健康情報に基づいてトレーニングされたモデルのコンテキストでは患者のプライバシーが危険にさらされる可能性があります。 Google はこのリスクに関して Med-PaLM 2 をどのように評価しましたか?また、Google は機密医療情報の不注意によるプライバシー漏洩を軽減するためにどのような措置を講じましたか?

Google が Med-PaLM 2 を完全または部分的に再トレーニングする頻度はどれくらいですか? Google はライセンシーが最新のモデル バージョンのみを使用することを保証していますか?

Google は、Med-PaLM 2、または医療ライセンシーが提供またはライセンスを取得した他の AI モデルが医療ライセンス取得者によって治療に使用された場合に、患者に通知することを保証していますか? そうである場合、開示はどのように提示されますか? それは長期にわたる開示の一部ですか、それともより明確に提示されたものですか?

Google は、そこに含まれる保護された医療情報を含む、医療ライセンシーからの即時情報を保持しますか? Google がその情報を保持する目的をそれぞれ列挙してください。

そして最後に…

Med-PaLM 2を発表したGoogle自身の研究出版物の中で、研究者らは「医療アシスタントの成果への過度の依存を軽減するためのガードレール」を採用する必要性について警告した。 Med-PaLM 2 の出力への過度の依存を軽減するために、Google はどのようなガードレールを採用しましたか?また、Med-PaLM XNUMX を特に使用すべき場合と使用すべきでない場合は何ですか? 出力への過度の依存を防ぐために、Google は製品ライセンス条項を通じてどのようなガードレールを組み込んでいますか?

どれも、取り上げるべき、あるいは強調すべき良い点ばかりです。

大規模な言語モデルは、説得力があるように聞こえる誤った情報を生成する傾向があるため、ボットが自信を持って有害な医学的アドバイスを提供したり、誰かの健康上の決定に誤った影響を与えたりするのではないかと懸念する人もいるでしょう。 たとえば、全米摂食障害協会は、 テッサチャットボット 人々がカロリーを計算し、毎週体重を量り、体脂肪を監視するという、健康的な回復には直感に反すると考えられる行動を推奨した後、オフライン化されました。

Google-DeepMind が執筆した研究論文 ディテール Med-PaLM 2 は、モデルの「回答は医師の回答ほど好ましいものではなかった」ことを認め、精度と関連性の点でスコアが低くなりました。

ワーナー氏はピチャイ氏に、このモデルが臨床現場でどのように展開されているかについてさらに詳しい情報を共有してもらいたいと考えており、巨大企業が自社技術をテストしている患者から患者データを収集しているかどうか、またそのトレーニングにどのようなデータが使用されたのかを知りたいとしている。 

同氏は、Googleがこれまでにも、米国および英国の病院との契約に基づいて、患者の明示的な知識や同意なしに患者データを保存および分析していたことを強調した。 ナイチンゲール計画 バナー。

「Google は、モデルのトレーニング データの内容の開示を控えるなど、Med-PaLM 2 に関する文書を公的に提供していません。 Med-PaLM 2 のトレーニング コーパスには、保護された健康情報が含まれていますか?」 彼は尋ねた。 

Googleの広報担当者は、Med-PaLM 2が今日人々が知っているようなチャットボットであることを否定し、このモデルは医療業界にどのように役立つかを探るため顧客によってテストされていると述べた。 

「私たちはAIがヘルスケアと医療を変革する可能性を秘めていると信じており、安全性、公平性、証拠、プライバシーを中核に据えて探求することに全力で取り組んでいます」と代表者は語った。 登録 声明インチ 

"として 明記 2 月には、安全で有用なテクノロジーを構築するための重要なステップである Med-PaLM 2 を医療機関の選ばれたグループに限定的なテストで提供し、ユースケースを調査してフィードバックを共有できるようにします。 これらの顧客はデータを引き続き管理できます。 Med-PaLM XNUMX はチャットボットではありません。 これは、大規模な言語モデルの微調整されたバージョンです。 パルム2、医学知識をコード化するように設計されています。」

報道担当者は、グーグルがワーナー上院議員の質問に回答するかどうかについては確認しなかった。 ®

タイムスタンプ：

より多くの 登録