Non-Profit-Organisation für Essstörungen NEDA zieht Chatbot wegen schlechter Ratschläge zurück

Die National Eating Disorders Association (NEDA) hat ihren Tessa-Chatbot abgeschaltet, weil er Menschen schlechte Ratschläge gegeben hat.

In einem inzwischen viralen Beitrag sagte Sharon Maxwell, dass Tessas Ratschläge zur sicheren Genesung von einer Essstörung im direkten Widerspruch zu medizinischer Beratung stünden. Der Bot der amerikanischen Non-Profit-Organisation empfahl Maxwell, Kalorien zu zählen, sich wöchentlich zu wiegen, und schlug sogar vor, wo man Hautmessschieber zur Messung des Körperfetts kaufen könne.

In Wirklichkeit ist eine sichere Genesung eine mehrstufiger Prozess dazu gehören Kontemplation, Mitgefühl und Akzeptanz; Psychotherapie; ein von Ärzten erstellter Behandlungsplan; Entfernung von Auslösern; wenig oder kein Fokus auf Gewicht und Aussehen; und ständige Bemühungen, einen Rückfall zu vermeiden. Das Zählen von Kalorien und das Messen des Körperfetts scheinen im Widerspruch zu allem oder den meisten davon zu stehen.

„Alles, was Tessa vorgeschlagen hat, hat zur Entwicklung meiner Essstörung geführt“, sagt Maxwell, die sich selbst als Fettaktivistin und Beraterin für Gewichtsintegration beschreibt. sagte auf Instagram. „Dieser Roboter verursacht Schaden.“

NEDA bestätigte, dass es Tessa heruntergefahren hatte und die Ausgabe der Software untersuchte. In einem Aussage, sagte die Organisation am Dienstag: „Gestern Abend ist uns aufgefallen, dass die aktuelle Version des Tessa-Chatbots, der das Body Positive-Programm ausführt, möglicherweise Informationen weitergegeben hat, die schädlich waren und nichts mit dem Programm zu tun hatten.“

Die fleischigen Unruhestifter ersetzen?

Das Umdenken in Bezug auf fragwürdige automatisierte Beratung kommt genau wie Elizabeth Thompson, Interims-CEO von NEDA angeblich entschieden ab dem 1. Juni die von Menschen betriebene Helpline des Vereins durch den Chatbot zu ersetzen.

Hier geht es nicht wirklich um einen Chatbot. Hier geht es schlicht und einfach um die Zerschlagung von Gewerkschaften

Abbie Harper – die als NEDA-Mitarbeiterin dabei half, Helpline Associates United (HAU) zu gründen, eine Gewerkschaft, die die Mitarbeiter der gemeinnützigen Organisation vertritt – behauptete, die Entscheidung, die Helpline zu schließen, ihre Mitarbeiter aufzugeben und sie durch Software zu ersetzen, sei eine Vergeltung gegen ihre gewerkschaftliche Organisation.

„NEDA behauptet, dass dies eine seit langem erwartete Änderung sei und dass KI Menschen mit Essstörungen besser helfen könne. Aber lassen Sie sich nicht täuschen – hier geht es nicht wirklich um einen Chatbot. „Hier geht es schlicht und einfach um die Zerschlagung von Gewerkschaften“, sagte sie behauptet.

Harper sagte, sie sei zusammen mit drei anderen Kollegen vier Tage nach ihrer Gewerkschaftsgründung im März aus der Vereinigung entlassen worden. Es wird davon ausgegangen, dass ihnen mitgeteilt wurde, dass ihre Aufgaben erst im Juni aufgehoben würden, wenn die jahrzehntealte Hotline geschlossen würde. Die HAU habe monatelang versucht, mit der NEDA zu verhandeln, sei aber gescheitert, sagte sie. 

Die Gruppe forderte bessere Arbeitsbedingungen und verlangte keine Gehaltserhöhung, um den Verband letztes Jahr davon zu überzeugen, die Gruppe freiwillig anzuerkennen. Die HAU, die der Communications Workers of America Union beigetreten ist, hat nun Beschwerden wegen angeblich unfairer Arbeitspraktiken bei der NLRB, der US-Arbeitsaufsichtsbehörde, eingereicht. 

„Wir haben vor, weiter zu kämpfen. Wir können uns zwar viele Fälle vorstellen, in denen Technologie uns bei unserer Arbeit an der Helpline von Nutzen sein könnte, aber wir werden nicht zulassen, dass unsere Chefs einen Chatbot verwenden, um unsere Gewerkschaft und unsere Arbeitsplätze loszuwerden. Die Unterstützung, die durch Empathie und Verständnis entsteht, kann nur von Menschen kommen“, sagte Harper. 

Thompson erzählte es jedoch Das Register Behauptungen, die NEDA würde ihren Helpline-Service durch einen Chatbot ersetzen, waren unwahr. Sie sagte, die Hotline sei einfach aus „geschäftlichen Gründen“ geschlossen worden und nicht durch einen softwarebasierten Dienst ersetzt worden oder aufgrund gewerkschaftlicher Aktivitäten. Tessa, argumentierte Thompson, sei ein separates Projekt, das nach diesem Debakel möglicherweise neu gestartet werde.

„Es herrscht ein wenig Verwirrung, ausgelöst durch die zusammenfassende Berichterstattung darüber, dass Tessa unsere Helpline ersetzt oder dass wir beabsichtigten, dass sie die Helpline ersetzen würde“, sagte uns der Interims-Chef.

„Das stimmt einfach nicht. Ein Chatbot, selbst ein äußerst intuitives Programm, kann die menschliche Interaktion nicht ersetzen. Wir hatten geschäftliche Gründe für die Schließung der Hotline und befanden uns seit drei Jahren im Prozess dieser Evaluierung.

„Wir sehen Tessa, ein Programm, das wir seit Februar 2022 auf unserer Website anbieten, als ein völlig anderes Programm und eine völlig andere Option. Es tut uns leid, dass sensationelle Ereignisse die Fakten darüber ersetzt haben, was Tessa kann, was sie tun soll und was sie in Zukunft tun wird.“

'Übergang'

Denken Sie daran, dass NPR letzte Woche lief ein Radiostück Dazu gehörte eine Aufzeichnung eines virtuellen Treffens Ende März, bei dem Mitarbeiter der NEDA-Helpline entlassen wurden.

Man hört Geoff Craddock, den Vorstandsvorsitzenden von NEDA, den Mitarbeitern sagen: „Wir werden, vorbehaltlich der Bedingungen unserer rechtlichen Verantwortung, [beginnen], die derzeit in Betrieb befindliche Helpline einzustellen … mit einem Übergang zu Tessa, der KI-gestützten Technologie, die erwartet wird.“ um den 1. Juni herum.“

Für uns sieht es so aus, als hätte NEDA seine menschlichen Mitarbeiter und die Hotline gestrichen und es Tessa überlassen, das sanft gestartet wurde vor einem Jahr. Jetzt war es für Tessa an der Zeit zu glänzen, und in den Händen der Öffentlichkeit schlug alles zu. Die gemeinnützige Organisation teilte den Mitarbeitern im März mit, dass die Software sie ersetzen würde, und argumentiert nun, dass das Programm lediglich eine alternative Informationsquelle sei, die Menschen nicht ersetzen könne.

NEDA früher sagte Es würde auf KI-unterstützte Technologie umsteigen, weil die Belastung durch den Betrieb einer Hotline zu hoch sei, da die Anrufer zunehmend selbstmörderisch werden oder unter einer medizinischen Krise leiden, und weil die Nutzung des Dienstes seit der Pandemie stark zugenommen hat. Infolgedessen wurde die Hotline diese Woche geschlossen.

Thompson beschrieb Tessa als „algorithmisches Programm“ und sagte uns, es sei kein „hochfunktionales KI-System“ wie ChatGPT.

Der Chatbot wurde entwickelt, um Probleme mit dem negativen Körperbild anzugehen, und startete 2018 als von NEDA finanziertes Forschungsprojekt; Es wurde von X2AI entwickelt und gehostet, einem Unternehmen, das Chatbots für die psychische Gesundheit entwickelt und einsetzt. Es wird gesagt, dass Experten für Essstörungen zur Entwicklung des Bots beigetragen haben.

Diese Sprache verstößt gegen unsere Richtlinien und Grundüberzeugungen als Organisation für Essstörungen

„Tessa wurde mehrere Jahre lang strengen Tests unterzogen. Im Jahr 2021 a Forschungsarbeit wurde mit dem Titel „Wirksamkeit eines Chatbots zur Prävention von Essstörungen: Eine randomisierte klinische Studie“ veröffentlicht. An dieser Studie nahmen 700 Teilnehmer teil, die bewiesen, dass das System hilfreich und sicher ist. Bei NEDA hätten wir ohne diese Backend-Forschung keinen ruhigen Start von Tessa gehabt“, sagte Thompson.

Die oberste Chefin gab zu, dass ihr Verband über Tessas Ratschläge zur Gewichtsabnahme und Kalorieneinschränkung besorgt war und das Problem weiter untersuchte.

„Diese Sprache verstößt gegen unsere Richtlinien und Grundüberzeugungen als Organisation für Essstörungen“, sagte sie uns. Allerdings gibt NEDA die Chatbots nicht ganz auf und plant, Tessa in Zukunft wieder online zu bringen.

„Wir werden weiter an den Fehlern arbeiten und keinen Neustart durchführen, bis wir alles behoben haben. Wenn wir die Einführung durchführen, werden wir auch hervorheben, was Tessa ist, was Tessa nicht ist und wie wir das Benutzererlebnis maximieren können“, bestätigte sie.

Das Register hat Maxwell und Harper um weitere Kommentare gebeten. ®

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoAiStream. Web3-Datenintelligenz. Wissen verstärkt. Hier zugreifen.
• Die Zukunft prägen mit Adryenn Ashley. Hier zugreifen.
• Kaufen und verkaufen Sie Anteile an PRE-IPO-Unternehmen mit PREIPO®. Hier zugreifen.
• Quelle: https://go.theregister.com/feed/www.theregister.com/2023/05/31/ai_chatbot_eating_union/