ChatGPT vindt een rollenspel Dungeons & Dragons

Boffins hebben een rol gevonden voor AI-chatbots waar gewone hallucinatie niet noodzakelijkerwijs een aansprakelijkheid is.

De eierkoppen – gevestigd aan de Universiteit van Pennsylvania en de Universiteit van Maryland in de VS – schakelden de grote taalmodellen (LLM's) van OpenAI in om te helpen bij fantasierollenspellen, met name Dungeons & Dragons (D&D).

In een voorbedrukt papier getiteld “CALYPSO: LLMs as Dungeon Masters' Assistants”, Andrew Zhu, een UPenn-doctoraatsstudent; Lara Martin, assistent-professor bij UMD; Andrew Head, assistent-professor bij UPenn; en Chris Callison-Burch, universitair hoofddocent bij UPenn, leggen uit hoe ze LLM's hebben gebruikt om een ​​spel te verbeteren dat sterk afhankelijk is van menselijke interactie.

D&D verscheen voor het eerst in 1974 als een rollenspel (RPG) waarin spelers de rollen op zich namen van avontuurlijke middeleeuwse helden en die persoonlijkheden speelden volgens een verhaallijn geregisseerd door een kerkermeester (DM) of spelmeester (GM). De vereisten waren een reeks regels - destijds gepubliceerd door Tactical Studies Rules - veelvlakkige dobbelstenen, potlood, papier en een gedeelde toewijding aan interactieve verhalen vertellen en bescheiden theater. Snacks, technisch optioneel, moeten worden aangenomen.

Naast dergelijke rollenspellen op tafel, leidde de verspreiding van personal computers in de jaren tachtig tot verschillende gecomputeriseerde versies, zowel in termen van computerondersteund spel als volledig elektronische simulaties - zoals de onlangs uitgebrachte Baldur's Gate 3, om maar een van de honderden titels te noemen die zijn geïnspireerd op D&D en andere RPG's.

De academische gamers van UPenn en UMD wilden zien hoe LLM's menselijke DM's zouden kunnen ondersteunen, die verantwoordelijk zijn voor het decoreren van het toneel waar het wederzijds ingebeelde avontuur plaatsvindt, voor het gooien van de dobbelstenen die de uitkomsten van bepaalde acties bepalen, voor het handhaven van de regels ( die nogal uitgebreid zijn geworden), en om er in het algemeen voor te zorgen dat de ervaring leuk en vermakelijk is.

Om dit te doen, creëerden ze een set van drie LLM-aangedreven interfaces, genaamd CALYPSO - wat staat voor Collaborative Assistant for Lore and Yielding Plot Synthesis Objectives. Het is ontworpen om D&D online te spelen via Discord, de populaire chatservice.

"Toen ze toegang kregen tot CALYPSO, meldden DM's dat het high-fidelity-tekst genereerde die geschikt was voor directe presentatie aan spelers, en low-fidelity-ideeën die de DM verder kon ontwikkelen met behoud van hun creatieve keuzevrijheid", legt de paper uit. "We zien CALYPSO als een voorbeeld van een paradigma van AI-augmented tools die synchrone creatieve hulp bieden binnen gevestigde gamewerelden, en tabletop gaming in bredere zin."

De COVID-19-pandemie heeft een aantal online games op tafel verplaatst, constateren de onderzoekers in hun paper, en veel spelers die via Discord gamen, doen dat met Avrae - een Discord-bot ontworpen door Andrew Zhu, een UPenn-promovendus en co-auteur van de CALYPSO-paper.

“De kernideeën in de paper (dat LLM's in staat zijn om als co-DM op te treden op manieren die de menselijke DM helpen inspireren zonder de creatieve controle over het spel over te nemen) zijn van toepassing op D&D en andere tafelspellen, ongeacht de modaliteit. Maar er zijn nog enkele uitdagingen die moeten worden overwonnen voordat de technologie kan worden toegepast op persoonlijk gamen”, zei Zhu in een e-mail aan Het register.

Zhu en zijn collega's concentreerden zich om verschillende redenen op Discord play-by-post (PBP) gaming. Ten eerste: "Op Discord gebaseerde PBP is al op tekst gebaseerd, dus we hoeven geen tijd te besteden aan het transcriberen van spraak naar tekst voor een LLM", legde hij uit.

De online setup stelt de DM ook in staat om door LLM gegenereerde output privé te bekijken (waar "low-fidelity-ideeën" er minder toe doen) en het bevrijdt de DM van het typen of dicteren in een interface.

CALYPSO, een Discord-bot met broncode, wordt in het artikel beschreven met drie interfaces: een voor het genereren van de instellingstekst die een ontmoeting beschrijft (GPT-3); een voor gericht brainstormen, waarbij de DM de LLM vragen kan stellen over een ontmoeting of een samenvatting van een ontmoeting kan verfijnen (ChatGPT); en een voor open-domeinchat, waarin spelers rechtstreeks met ChatGPT kunnen communiceren en optreden als een fantasiewezen met kennis van D&D.

Het opzetten van deze interfaces omvatte het zaaien van de LLM met specifieke prompts (gedetailleerd in de paper) die uitleggen hoe de chatbot zou moeten reageren in elke interfacerol. Er was geen specifieke modeltraining vereist om te integreren hoe D&D werkt.

"We ontdekten dat de GPT-modellenreeks zelfs zonder training veel weet over D&D door bronboeken en internetdiscussies in de trainingsgegevens te hebben gezien", aldus Zhu.

We ontdekten dat de modellen uit de GPT-serie zelfs zonder training veel weten over D&D door bronboeken en internetdiscussies te hebben gezien

Zhu en zijn collega's testten CALYPSO met 71 spelers en DM's en ondervroegen hen vervolgens over de ervaring. Ze vonden de AI-helper vaker wel dan niet nuttig.

Maar er was ruimte voor verbetering. In één ontmoeting parafraseerde CALYPSO bijvoorbeeld gewoon informatie in de instellingen- en statistiekenprompt, waarvan DM's vonden dat het geen waarde toevoegde.

Het register vroeg Zhu of de neiging van LLM's om te "hallucineren" - dingen verzinnen - een probleem was voor studiedeelnemers.

"In een creatieve context wordt het iets minder betekenisvol - de D&D-naslagwerken bevatten bijvoorbeeld niet elk detail over elk monster, dus als een LLM beweert dat een bepaald monster een bepaalde gekleurde vacht heeft, telt dat dan als een hallucinatie ?” zei Zhu.

“Om de vraag direct te beantwoorden, ja; het model 'verzint' vaak feiten over monsters die niet in de bronboeken staan. De meeste hiervan zijn triviale dingen die de DM echt helpen, zoals hoe de oproep van een monster klinkt of de vorm van de iris van een monster of dat soort dingen. Soms, minder vaak, hallucineert het meer drastische feiten, zoals zeggen dat vorstsalamanders vleugels hebben (dat hebben ze niet).”

Een ander probleem dat naar voren kwam, was dat waarborgen voor modeltraining soms het vermogen van CALYPSO belemmerden om kwesties te bespreken die gepast zouden zijn in een D&D-game, zoals racen en gameplay.

"Het model weigerde bijvoorbeeld soms om (fantasie)races voor te stellen, waarschijnlijk als gevolg van pogingen om het potentieel voor raciale vooroordelen in de echte wereld te verminderen", merkt de krant op. "In een ander geval houdt het model vol dat het niet in staat is om D&D te spelen, waarschijnlijk als gevolg van pogingen om te voorkomen dat het model claims maakt over vaardigheden die het niet bezit."

(Ja, we zijn er zeker van dat sommigen van ons er eerder zijn geweest en ondanks jarenlang spelen elke kennis van RPG's ontkennen.)

Zhu zei dat het duidelijk is dat mensen geen AI DM willen, maar dat ze meer bereid zijn om DM's te laten leunen op AI-hulp.

"Tijdens onze vormende studies was een gemeenschappelijk thema dat mensen om een ​​aantal redenen geen autonome AI DM wilden", legt hij uit. “Ten eerste hadden veel van de spelers die we interviewden al met tools als AI Dungeon gespeeld en waren bekend met de zwakke punten van AI bij het vertellen van verhalen in een lange context. Ten tweede, en wat nog belangrijker is, zeiden ze dat het hebben van een autonome AI DM de geest van het spel zou wegnemen; aangezien D&D in wezen een creatief verhalenspel is, zou het verkeerd aanvoelen als een AI dat verhaal zou genereren.

“Het hebben van CALYPSO als een optioneel iets dat DM's konden kiezen om zo veel of zo weinig te gebruiken als ze wilden, hielp de creatieve bal in het veld van de menselijke DM te houden; wat er vaak zou gebeuren, is dat CALYPSO de DM net genoeg duwtje in de rug gaf om ze uit een sleur van writer's block te halen of ze gewoon een lijst met ideeën gaf om op voort te bouwen. Zodra de menselijke DM het gevoel had dat ze meer controle over de scène wilden, konden ze gewoon doorgaan met DM'en in hun eigen stijl zonder CALYPSO te gebruiken.' ®

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• ChartPrime. Verhoog uw handelsspel met ChartPrime. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2023/08/19/chatgpt_dnd_dm/