Google grillé sur AI bot Med-PaLM 2 utilisé dans les hôpitaux

Google grillé sur AI bot Med-PaLM 2 utilisé dans les hôpitaux

Horodatage: 8 août 2023 5 h 54
Google a discuté du robot IA Med-PaLM 2 utilisé dans les hôpitaux PlatoBlockchain Data Intelligence. Recherche verticale. Aï.

Google subit la pression d'un législateur américain pour expliquer comment il forme et déploie son chatbot médical Med-PaLM 2 dans les hôpitaux.

Dans une lettre adressée aujourd'hui au géant de l'Internet, le sénateur Mark Warner (D-VA) a également exhorté le titan du Web à ne pas mettre les patients en danger dans sa hâte de commercialiser sa technologie.

Med-PaLM 2 est basé sur le grand modèle de langage PaLM 2 de Google et est affiné sur les informations médicales. Le système peut générer des réponses écrites en réponse à des questions médicales, résumer des documents et récupérer des données. Google a présenté le modèle en avril et a affirmé Valérie Plante. un groupe sélectionné de clients Google Cloud testait le logiciel.

L'un de ces testeurs est VHC Health, un hôpital de Virginie affilié à la Mayo Clinic, selon le sénateur Warner. Dans une lettre adressée au chef de Google, Sundar Pichai, Warner s'est dit préoccupé par le fait que l'IA générative soulève « de nouvelles questions et de nouveaux risques complexes », en particulier lorsqu'elle est appliquée dans le secteur de la santé.

« Bien que l’IA recèle sans aucun doute un énorme potentiel pour améliorer les soins aux patients et les résultats de santé, je crains que le déploiement prématuré d’une technologie non éprouvée puisse conduire à l’érosion de la confiance dans nos professionnels et nos institutions médicales, à l’exacerbation des disparités raciales existantes en matière de résultats de santé et à une augmentation des inégalités. risque d’erreurs de diagnostic et de prestation de soins », a-t-il écrit [PDF].

« Cette course à la conquête de parts de marché est évidente et particulièrement préoccupante dans le secteur des soins de santé, compte tenu des conséquences de vie ou de mort des erreurs commises en milieu clinique, du déclin de la confiance dans les établissements de soins de santé au cours des dernières années et de la sensibilité des questions de santé. information."

Dans sa lettre, le sénateur a posé une douzaine de questions auxquelles les dirigeants de Google doivent répondre. Ces requêtes comprenaient :

Les grands modèles de langage démontrent souvent une tendance à mémoriser le contenu de leurs données de formation, ce qui peut mettre en danger la vie privée des patients dans le contexte de modèles formés sur des informations de santé sensibles. Comment Google a-t-il évalué Med-PaLM 2 pour ce risque et quelles mesures Google a-t-il prises pour atténuer les fuites accidentelles de données confidentielles sur la santé ?

Quelle est la fréquence à laquelle Google recycle entièrement ou partiellement Med-PaLM 2 ? Google garantit-il que les titulaires de licence utilisent uniquement la version du modèle la plus récente ?

Google garantit-il que les patients sont informés lorsque Med-PaLM 2, ou d'autres modèles d'IA proposés ou sous licence, sont utilisés dans leurs soins par des titulaires de licence de soins de santé ? Si oui, comment la divulgation est-elle présentée ? Cela fait-il partie d’une divulgation plus longue ou est-il présenté plus clairement ?

Google conserve-t-il les informations rapides des titulaires de licences de soins de santé, y compris les informations de santé protégées qu'elles contiennent ? Veuillez énumérer chaque objectif poursuivi par Google pour conserver ces informations.

et enfin…

Dans la propre publication de recherche de Google annonçant Med-PaLM 2, les chercheurs ont mis en garde contre la nécessité d'adopter «des garde-fous pour éviter une dépendance excessive à l'égard des résultats d'un assistant médical». Quels garde-fous Google a-t-il adoptés pour atténuer la dépendance excessive à l'égard des résultats de Med-PaLM 2, ainsi que les moments où il devrait et ne devrait pas être utilisé ? Quelles protections Google a-t-il incorporées dans les conditions de licence du produit pour éviter une dépendance excessive à l'égard des résultats ?

Autant de points plutôt positifs qui mériteraient d’être évoqués ou soulignés.

Les grands modèles de langage ont tendance à générer de fausses informations qui semblent convaincantes. On pourrait donc craindre qu'un robot ne donne en toute confiance des conseils médicaux préjudiciables ou n'influence à tort les décisions de santé d'une personne. La National Eating Disorders Association, par exemple, a pris Chatbot Tessa hors ligne après avoir suggéré aux gens de compter les calories, de se peser chaque semaine et de surveiller la graisse corporelle – des comportements jugés contre-intuitifs pour une récupération saine.

Un document de recherche rédigé par Google-DeepMind détaillant Med-PaLM 2 a admis que les « réponses du modèle n'étaient pas aussi favorables que celles des médecins » et ont obtenu de mauvais résultats en termes d'exactitude et de pertinence.

Warner souhaite que Pichai partage plus d'informations sur la manière dont le modèle est déployé en milieu clinique et souhaite savoir si la méga-entreprise collecte des données sur les patients de ceux qui testent sa technologie, et quelles données ont été utilisées pour la former. 

Il a souligné que Google avait déjà stocké et analysé les données des patients à leur insu ou sans leur consentement explicite dans le cadre d'accords avec des hôpitaux aux États-Unis et au Royaume-Uni dans le cadre du Projet Nightingale bannière.

« Google n'a pas fourni publiquement de documentation sur Med-PaLM 2, notamment en s'abstenant de divulguer le contenu des données d'entraînement du modèle. Le corpus de formation de Med-PaLM 2 inclut-il des informations de santé protégées ? Il a demandé. 

Un porte-parole de Google a nié que Med-PaLM 2 était un chatbot tel que les gens le connaissent aujourd'hui, et a déclaré que le modèle était testé par des clients pour explorer comment il pouvait être utile au secteur de la santé. 

"Nous pensons que l'IA a le potentiel de transformer les soins de santé et la médecine et nous nous engageons à l'explorer en plaçant la sécurité, l'équité, les preuves et la confidentialité au cœur", a déclaré le représentant. Le registre dans un communiqué. 

"Comme A déclaré en avril, nous mettons Med-PaLM 2 à la disposition d'un groupe sélectionné d'organisations de soins de santé pour des tests limités, afin d'explorer des cas d'utilisation et de partager des commentaires – une étape cruciale dans la création d'une technologie sûre et utile. Ces clients gardent le contrôle de leurs données. Med-PaLM 2 n'est pas un chatbot ; il s'agit d'une version affinée de notre grand modèle de langage PAUME 2, et conçu pour coder les connaissances médicales.

Le porte-parole n'a pas confirmé si Google répondrait aux questions du sénateur Warner. ®

Horodatage:

Plus de Le registre