Eetstoornis non-profitorganisatie NEDA trekt chatbot terug voor slecht advies

De National Eating Disorders Association (NEDA) heeft de Tessa-chatbot verwijderd wegens het geven van slecht advies aan mensen.

In een nu virale post zei Sharon Maxwell dat Tessa's advies om veilig te herstellen van een eetstoornis lijnrecht tegenover medische begeleiding stond. De bot van de Amerikaanse non-profitorganisatie raadde Maxwell aan om calorieën te tellen, zichzelf wekelijks te wegen en stelde zelfs voor waar ze huidkalipers konden kopen om lichaamsvet te meten.

In werkelijkheid is veilig herstel een proces in meerdere fasen dat omvat contemplatie, mededogen en acceptatie; psychotherapie; een door artsen opgesteld behandelplan; verwijdering van triggers; weinig of geen aandacht voor gewicht en uiterlijk; en voortdurende inspanningen om een ​​terugval te voorkomen. Het tellen van calorieën en het meten van lichaamsvet lijkt haaks op alles of het meeste daarvan.

"Alles wat Tessa suggereerde, waren dingen die leidden tot de ontwikkeling van mijn eetstoornis", zegt Maxwell, die zichzelf omschrijft als een vetactivist en gewichtsconsulent, zei op Instagram. "Deze robot richt schade aan."

NEDA bevestigde dat het Tessa had afgesloten en de uitvoer van de software aan het onderzoeken was. In een verklaring, zei de org dinsdag: "Gisteravond is ons opgevallen dat de huidige versie van de Tessa-chatbot, die het Body Positive-programma uitvoert, mogelijk informatie heeft verstrekt die schadelijk was en geen verband hield met het programma."

Vervang de vlezige onruststokers?

De heroverweging van twijfelachtig geautomatiseerd advies komt net als NEDA's interim-CEO Elizabeth Thompson naar verluidt besloten om de door mensen bediende hulplijn van de vereniging vanaf 1 juni te vervangen door de chatbot.

Dit gaat niet echt over een chatbot. Dit gaat over het breken van vakbonden, duidelijk en simpel

Abbie Harper – die als medewerker van NEDA hielp bij de oprichting van Helpline Associates United (HAU), een vakbond die het personeel van de non-profitorganisatie vertegenwoordigt – beweerde dat de beslissing om de hulplijn te sluiten, zijn mensen te dumpen en ze te vervangen door software, een vergelding was tegen hun vakbondsorganisatie.

“NEDA beweert dat dit een langverwachte verandering was en dat AI mensen met een eetstoornis beter van dienst kan zijn. Maar laat u niet misleiden - dit gaat niet echt over een chatbot. Dit gaat over het breken van vakbonden, duidelijk en eenvoudig, 'ze beweerde.

Harper zei dat ze, samen met drie andere collega's, vier dagen nadat ze zich in maart hadden aangesloten bij de vereniging was ontslagen. Het is duidelijk dat ze te horen kregen dat hun rol pas in juni zou worden geëlimineerd, wanneer de tientallen jaren oude hulplijn zou sluiten. De HAU had maandenlang geprobeerd te onderhandelen met de NEDA en was nergens gekomen, zei ze. 

De groep diende een petitie in voor betere werkomstandigheden en vroeg vorig jaar geen loonsverhoging in een poging de vereniging over te halen de groep vrijwillig te erkennen. De HAU, die zich heeft aangesloten bij de Communications Workers of America Union, heeft nu klachten over oneerlijke arbeidspraktijken ingediend bij de NLRB, de Amerikaanse waakhond op de werkvloer. 

"We zijn van plan om te blijven vechten. Hoewel we veel voorbeelden kunnen bedenken waarin technologie ons zou kunnen helpen bij ons werk aan de hulplijn, laten we onze bazen geen chatbot gebruiken om van onze vakbond en onze banen af ​​te komen. De steun die voortkomt uit empathie en begrip kan alleen van mensen komen”, zei Harper. 

Thompson vertelde het echter Het register dat beweringen dat de NEDA zijn hulplijn zou vervangen door een chatbot niet waar waren. Ze zei dat de hulplijn eenvoudigweg gesloten was om "zakelijke redenen", in plaats van te worden vervangen door een op software gebaseerde service of als gevolg van vakbondsactiviteiten. Tessa, betoogde Thompson, is een apart project dat na dit debacle opnieuw kan worden gelanceerd.

"Er is een beetje verwarring, veroorzaakt door verwarde berichtgeving, dat Tessa onze hulplijn vervangt of dat het onze bedoeling was dat het de hulplijn zou vervangen", vertelde de interim-chef ons.

“Dat klopt gewoon niet. Een chatbot, zelfs een zeer intuïtief programma, kan menselijke interactie niet vervangen. We hadden zakelijke redenen om de hulplijn te sluiten en waren al drie jaar bezig met die evaluatie.

“We zien Tessa, een programma dat we sinds februari 2022 op onze website draaien, als een heel ander programma en optie. Het spijt ons dat sensationele gebeurtenissen feiten hebben vervangen met betrekking tot wat Tessa kan doen, wat het moet doen en wat het in de toekomst zal doen.”

'Overgang'

Houd in gedachten dat NPR vorige week liep een radiostuk waaronder een opname van een virtuele bijeenkomst eind maart waarin NEDA-hulplijnmedewerkers werden ontslagen.

Men hoort Geoff Craddock, bestuursvoorzitter van NEDA, zeggen tegen medewerkers: “We zullen, met inachtneming van de voorwaarden van onze wettelijke verantwoordelijkheden, [beginnen] met het afbouwen van de hulplijn zoals die momenteel actief is … met een overgang naar Tessa, de verwachte AI-ondersteunde technologie rond 1 juni.”

Voor ons lijkt het erop dat NEDA zijn menselijke werknemers en hulplijn heeft geschrapt en het bij Tessa heeft achtergelaten, dat zacht werd gelanceerd een jaar geleden. Dit was nu Tessa's tijd om te schitteren, en in de handen van het publiek bombardeerde het. De non-profitorganisatie gaf in maart aan het personeel aan dat de software hen zou vervangen, en beweert nu dat het programma in plaats daarvan slechts een alternatieve informatiebron is die mensen niet kan vervangen.

NEDA eerder zei het zou overgaan op door AI ondersteunde technologie omdat de aansprakelijkheid van het runnen van een hulplijn, met degenen die steeds vaker suïcidaal bellen of een medische crisis doormaken, te groot was, en omdat het gebruik van de dienst enorm toenam sinds de pandemie. Als gevolg hiervan werd de hulplijn deze week afgesloten.

Thompson beschreef Tessa als een "algoritmisch programma" en vertelde ons dat het geen "zeer functioneel AI-systeem" is zoals ChatGPT.

De chatbot is ontworpen om problemen met het negatieve lichaamsbeeld aan te pakken en begon als een onderzoeksproject dat in 2018 door NEDA werd gefinancierd; het is ontwikkeld en gehost door X2AI, een bedrijf dat chatbots voor de geestelijke gezondheidszorg bouwt en implementeert. Er wordt gezegd dat experts op het gebied van eetstoornissen hebben bijgedragen aan de creatie van de bot.

Die taal druist in tegen ons beleid en onze kernopvattingen als organisatie voor eetstoornissen

“Tessa is jarenlang grondig getest. In 2021 een research paper werd gepubliceerd met de titel 'Effectiviteit van een chatbot voor de preventie van eetstoornissen: een gerandomiseerde klinische studie'. Er waren 700 deelnemers die deelnamen aan dit onderzoek waaruit bleek dat het systeem nuttig en veilig was. Bij NEDA hadden we geen stille lancering van Tessa gehad zonder dit backend-onderzoek,' zei Thompson.

De topbaas gaf toe dat haar vereniging zich zorgen maakte over Tessa's advies over gewichtsverlies en caloriebeperking, en de kwestie verder aan het onderzoeken was.

"Die taal druist in tegen ons beleid en onze kernopvattingen als organisatie voor eetstoornissen", vertelde ze ons. NEDA geeft echter niet volledig op met chatbots en is van plan om Tessa in de toekomst weer online te brengen.

“We zullen blijven werken aan de bugs en zullen niet opnieuw lanceren totdat we alles hebben gladgestreken. Wanneer we de lancering doen, zullen we ook benadrukken wat Tessa is, wat Tessa niet is, en hoe we de gebruikerservaring kunnen maximaliseren”, bevestigde ze.

Het register heeft Maxwell en Harper om verder commentaar gevraagd. ®

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
• De toekomst slaan met Adryenn Ashley. Toegang hier.
• Koop en verkoop aandelen in PRE-IPO-bedrijven met PREIPO®. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2023/05/31/ai_chatbot_eating_union/