Google grillade över AI-bot Med-PaLM 2 som används på sjukhus

Google grillade över AI-bot Med-PaLM 2 som används på sjukhus

Tidsstämpel: 8 augusti 2023 5:54
Google grillade över AI-bot Med-PaLM 2 som används på sjukhus PlatoBlockchain Data Intelligence. Vertikal sökning. Ai.

Google är under press från en amerikansk lagstiftare att förklara hur den tränar och distribuerar sin medicinska chatbot Med-PaLM 2 på sjukhus.

Senator Mark Warner (D-VA) skrev till internetjätten idag och uppmanade också webbtitanen att inte utsätta patienter för risker i en brådska att kommersialisera tekniken.

Med-PaLM 2 är baserad på Googles stora språkmodell PaLM 2, och är finjusterad på medicinsk information. Systemet kan generera skriftliga svar som svar på medicinska frågor, sammanfatta dokument och hämta data. Google introducerade modellen i april, och sade en utvald grupp Google Cloud-kunder testade programvaran.

En av dessa testare är VHC Health, ett sjukhus i Virginia som är anslutet till Mayo Clinic, enligt senator Warner. I ett brev till Googles chef Sundar Pichai sa Warner att han var oroad över att generativ AI väcker "komplexa nya frågor och risker", särskilt när de tillämpas inom hälsovårdsindustrin.

"Även om AI utan tvekan har en enorm potential att förbättra patientvården och hälsoresultaten, oroar jag mig för att för tidig användning av oprövad teknologi kan leda till att förtroendet för vår medicinska personal och institutioner urholkas, att befintliga rasskillnader i hälsoresultat förvärras, och en ökad risk för diagnostiska fel och vårdfel”, skrev han [PDF].

"Denna kapplöpning att etablera marknadsandelar är lätt uppenbar och särskilt oroande inom hälso- och sjukvårdsindustrin, med tanke på konsekvenserna på liv och död av misstag i den kliniska miljön, minskat förtroende för vårdinstitutioner under de senaste åren och känsligheten i hälsan. information."

I sitt brev lade senatorn upp ett dussin uppsättningar frågor som Googles chefer skulle svara på. Dessa frågor inkluderade:

Stora språkmodeller visar ofta på tendensen att memorera innehållet i sina träningsdata, vilket kan riskera patienternas integritet i samband med modeller som tränas på känslig hälsoinformation. Hur har Google utvärderat Med-PaLM 2 för denna risk och vilka åtgärder har Google vidtagit för att minska oavsiktliga integritetsläckor av känslig hälsoinformation?

Med vilken frekvens tränar Google helt eller delvis om Med-PaLM 2? Säkerställer Google att licenstagare endast använder den senaste modellversionen?

Säkerställer Google att patienterna informeras när Med-PaLM 2, eller andra AI-modeller som erbjuds eller licensieras av, används i deras vård av vårdlicenstagare? Om så är fallet, hur presenteras avslöjandet? Är det en del av ett längre avslöjande eller tydligare?

Behåller Google snabb information från vårdlicensinnehavare, inklusive skyddad hälsoinformation som finns där? Ange alla syften som Google har för att behålla den informationen.

och slutligen…

I Googles egen forskningspublikation som tillkännager Med-PaLM 2, varnade forskare för behovet av att anta "skyddsräcken för att motverka alltför beroende av en medicinsk assistents resultat." Vilka skyddsräcken har Google antagit för att minska beroendet av utdata från Med-PaLM 2 samt när det särskilt bör och inte bör användas? Vilka skyddsräcken har Google införlivat genom produktlicensvillkor för att förhindra alltför beroende av resultatet?

Alla ganska bra punkter som borde lyftas eller lyftas fram.

Stora språkmodeller är benägna att generera falsk information som låter övertygande, så man kan mycket väl vara rädd för att en bot med tillförsikt delar ut skadliga medicinska råd eller felaktigt påverkar någons hälsobeslut. National Eating Disorders Association tog till exempel sitt Tessa chatbot offline efter att det föreslog att människor räknar kalorier, väger sig varje vecka och övervakar kroppsfett – beteenden som anses vara kontraintuitiva för en hälsosam återhämtning.

En forskningsartikel författad av Google-DeepMind detailing Med-PaLM 2 medgav att modellens "svar inte var lika gynnsamma som läkares svar" och fick dåliga poäng när det gäller noggrannhet och relevans.

Warner vill att Pichai ska dela med sig av mer information om hur modellen används i kliniska miljöer, och vill veta om mega-corp samlar in patientdata från de som testar dess teknologi och vilken data som användes för att träna den. 

Han betonade att Google tidigare har lagrat och analyserat patientdata utan deras uttryckliga kunskap eller samtycke i avtal med sjukhus i USA och Storbritannien under Projekt Nightingale baner.

"Google har inte tillhandahållit offentlig dokumentation om Med-PaLM 2, inklusive att avstå från att avslöja innehållet i modellens träningsdata. Inkluderar Med-PaLM 2:s utbildningskorpus skyddad hälsoinformation?” han frågade. 

En talesperson för Google förnekade att Med-PaLM 2 var en chatbot som folk känner dem idag, och sa att modellen testades av kunder för att utforska hur den kan vara användbar för sjukvårdsindustrin. 

"Vi tror att AI har potentialen att förändra hälso- och sjukvård och medicin och är engagerade i att utforska med säkerhet, rättvisa, bevis och integritet i centrum," sa representanten Registret i ett uttalande. 

"Som anges i april gör vi Med-PaLM 2 tillgängligt för en utvald grupp vårdorganisationer för begränsade tester, för att utforska användningsfall och dela feedback – ett viktigt steg i att bygga säker och användbar teknik. Dessa kunder behåller kontrollen över sina data. Med-PaLM 2 är inte en chatbot; det är en finjusterad version av vår stora språkmodell PALM 2, och utformade för att koda medicinsk kunskap."

Talesmannen bekräftade inte om Google skulle svara på senator Warners frågor. ®

Tidsstämpel:

Mer från Registret