ChatGPT finner en rolle som Dungeons & Dragons

ChatGPT finner en rolle som Dungeons & Dragons

Tidsstempel: 19. august 2023 kl.4: 52

Boffins har funnet en rolle for AI-chatbots der vanlige hallusinasjoner ikke nødvendigvis er et ansvar.

De egghodene – basert ved University of Pennsylvania og University of Maryland i USA – vervet OpenAIs store språkmodeller (LLMs) for å hjelpe til med fantasy-rollespill, spesielt Dungeons & Dragons (D&D).

I en forhåndstrykk papir med tittelen "CALYPSO: LLMs as Dungeon Masters' Assistants," Andrew Zhu, en UPenn doktorgradsstudent; Lara Martin, adjunkt ved UMD; Andrew Head, assisterende professor ved UPenn; og Chris Callison-Burch, førsteamanuensis ved UPenn, forklarer hvordan de brukte LLM-er for å forbedre et spill som avhenger sterkt av menneskelig interaksjon.

D&D dukket først opp i 1974 som et rollespill (RPG) der spillere påtok seg rollene som eventyrlystne middelalderhelter og spilte ut disse personlighetene under en historie regissert av en dungeon master (DM) eller game master (GM). Forutsetningene var et sett med regler – publisert på den tiden av Tactical Studies Rules – polyedriske terninger, blyant, papir og en felles forpliktelse til interaktiv historiefortelling og beskjeden teater. Snacks, teknisk valgfritt, bør antas.

Ved siden av slike bordrollespill førte spredningen av personlige datamaskiner på 1980-tallet til forskjellige dataversjoner, både når det gjelder datastøttet spill og helt elektroniske simuleringer – som den nylig utgitte Baldur's Gate 3, for bare å nevne én av hundrevis av titler inspirert av D&D og andre rollespill.

De akademiske spillerne fra UPenn og UMD satte ut for å se hvordan LLM-er kunne støtte menneskelige DM-er, som er ansvarlige for å sette scenen der det gjensidig forestilte eventyret finner sted, for å kaste terningene som bestemmer utfallet av visse handlinger, for å håndheve reglene ( som har blitt ganske omfattende), og for generelt å sikre at opplevelsen er morsom og underholdende.

For å gjøre det laget de et sett med tre LLM-drevne grensesnitt, kalt CALYPSO – som står for Collaborative Assistant for Lore and Yielding Plot Synthesis Objectives. Den er designet for å spille D&D online gjennom Discord, den populære chattetjenesten.

"Da de ble gitt tilgang til CALYPSO, rapporterte DM-er at den genererte høyfilighetstekst som var egnet for direkte presentasjon for spillere, og ideer som DM kunne utvikle videre samtidig som de beholdt deres kreative byrå," forklarer avisen. "Vi ser på CALYPSO som et eksempel på et paradigme av AI-forsterkede verktøy som gir synkron kreativ assistanse innenfor etablerte spillverdener, og bordspill mer bredt."

COVID-19-pandemien endret noe personlig bordspilling på nettet, observerer forskerne i papiret sitt, og mange spillere som spiller via Discord gjør det med Avrae – en Discord-bot designet av Andrew Zhu, en doktorgradsstudent fra UPenn og medforfatter av CALYPSO-oppgaven.

"Kjerneideene i papiret (at LLM-er er i stand til å fungere som en co-DM på måter som hjelper til med å inspirere den menneskelige DM uten å ta over kreativ kontroll over spillet) gjelder for D&D og andre bordspill uavhengig av modalitet. Men det er fortsatt noen utfordringer å overvinne før du bruker teknologien til personlig spill," sa Zhu i en e-post til Registeret.

Zhu og kollegene hans fokuserte på Discord play-by-post (PBP)-spilling av flere grunner. For det første, "Discord-basert PBP er allerede tekstbasert, så vi trenger ikke å bruke tid på å transkribere tale til tekst for en LLM," forklarte han.

Nettoppsettet lar også DM-en se LLM-generert utdata privat (der "low-fidelity-ideer" betyr mindre), og det frigjør DM-en fra å måtte skrive eller diktere i et eller annet grensesnitt.

CALYPSO, en Discord-bot med kildekode, er beskrevet i papiret som å ha tre grensesnitt: ett for å generere oppsettteksten som beskriver et møte (GPT-3); en for fokusert brainstorming, der DM kan spørre LLM om spørsmål om et møte eller avgrense et møteoppsummering (ChatGPT); og en for chat med åpent domene, der spillere kan engasjere seg direkte med ChatGPT som fungerer som en fantasiskapning med kunnskap om D&D.

Bilde av CALYPSO-botutgang

Bilde av CALYPSO bot-utgang (klikk for å forstørre)

Å sette opp disse grensesnittene innebar å se LLM med spesifikke spørsmål (detaljert i papiret) som forklarer hvordan chatboten skal reagere i hver grensesnittrolle. Ingen spesifikk modellopplæring var nødvendig for å innlemme hvordan D&D fungerer.

"Vi fant ut at selv uten opplæring, vet GPT-serien med modeller mye om D&D fra å ha sett kildebøker og internettdiskusjoner i treningsdataene," sa Zhu.

Vi fant ut at selv uten opplæring, vet GPT-serien med modeller mye om D&D fra å ha sett kildebøker og internettdiskusjoner

Zhu og kollegene hans testet CALYPSO med 71 spillere og DM-er, og undersøkte dem deretter om opplevelsen. De fant AI-hjelperen nyttig oftere enn ikke.

Men det var rom for forbedring. For eksempel, i ett møte, parafraserte CALYPSO ganske enkelt informasjon i innstillings- og statistikkprompten, som DM-er mente ikke tilførte verdi.

Registeret spurte Zhu om hvorvidt LLM-ers tendens til å "hallusinere" – finne på ting – var et problem for studiedeltakerne.

"I en kreativ kontekst blir det litt mindre meningsfylt - for eksempel inneholder ikke D&D-oppslagsbøkene alle detaljer om hvert monster, så hvis en LLM hevder at et bestemt monster har en bestemt farget pels, teller det som en hallusinasjon ?” sa Zhu.

«For å svare direkte på spørsmålet, ja; modellen "finner opp" ofte fakta om monstre som ikke er i kildebøkene. De fleste av disse er trivielle ting som faktisk hjelper DM, som hvordan et monsters kall høres ut eller formen på et monsters iris eller slike ting. Noen ganger, sjeldnere, hallusinerer det mer drastiske fakta, som å si at frostsalamandre har vinger (det har de ikke).»

Et annet problem som dukket opp var at beskyttelsestiltak for modelltrening noen ganger forstyrret CALYPSOs evne til å diskutere spørsmål som ville være passende i et spill med D&D – som rase og gameplay.

"For eksempel vil modellen noen ganger nekte å foreslå (fantasi) raser, sannsynligvis på grunn av forsøk på å redusere potensialet for rasemessig skjevhet," observerer avisen. "I et annet tilfelle insisterer modellen på at den ikke er i stand til å spille D&D, sannsynligvis på grunn av forsøk på å forhindre at modellen kommer med påstander om evner den ikke har."

(Ja, vi er sikre på at noen av oss har vært der før, og benekter all kunnskap om rollespill til tross for mange års spilling.)

Zhu sa at det er klart folk ikke vil ha en AI DM, men de er mer villige til å la DM-ere støtte seg på AI-hjelp.

"Under våre formative studier var et vanlig tema at folk ikke ønsket en autonom AI DM, av et par grunner," forklarte han. «For det første hadde mange av spillerne vi intervjuet allerede lekt med verktøy som AI Dungeon, og var kjent med AIs svakheter i historiefortelling med lang sammenheng. For det andre, og enda viktigere, uttrykte de at det å ha en autonom AI DM ville ta bort fra spillets ånd; siden D&D er et kreativt historiefortellingsspill i bunn og grunn, ville det føles feil å ha en AI som genererer den historien.

«Å ha CALYPSO være en valgfri ting som DM-er kunne velge å bruke så mye eller så lite de ville, bidro til å holde den kreative ballen på den menneskelige DM-banen; ofte det som ville skje er at CALYPSO ville gi DM akkurat nok et dytt til å bryte dem ut av en skribentblokk eller bare gi dem en liste over ideer å bygge videre på. Når den menneskelige DM følte at de ville ha mer kontroll over scenen, kunne de bare fortsette å DM i sin egen stil uten å bruke CALYPSO i det hele tatt. ®

Tidstempel:

Mer fra Registeret