ChatGPT hittar ett rollspel Dungeons & Dragons

ChatGPT hittar ett rollspel Dungeons & Dragons

Tidsstämpel: 19 augusti 2023 4:52

Boffins har hittat en roll för AI-chatbotar där vanliga hallucinationer inte nödvändigtvis är ett ansvar.

De ägghuvuden – baserade vid University of Pennsylvania och University of Maryland i USA – anlitade OpenAI:s stora språkmodeller (LLM) för att hjälpa till med fantasyrollspel, särskilt Dungeons & Dragons (D&D).

I en förtryckspapper med titeln "CALYPSO: LLMs as Dungeon Masters' Assistants," Andrew Zhu, doktorand vid UPenn; Lara Martin, biträdande professor vid UMD; Andrew Head, biträdande professor vid UPenn; och Chris Callison-Burch, docent vid UPenn, förklarar hur de använde LLM för att förbättra ett spel som i hög grad beror på mänsklig interaktion.

D&D dök upp för första gången 1974 som ett rollspel (RPG) där spelare antog rollerna som äventyrande medeltida hjältar och spelade ut dessa personligheter under en handling som regisserades av en fängelsehålemästare (DM) eller spelmästare (GM). Förutsättningarna var en uppsättning regler – publicerade på den tiden av Tactical Studies Rules – polyedriska tärningar, penna, papper och ett gemensamt engagemang för interaktivt berättande och blygsam teater. Snacks, tekniskt valfria, bör antas.

Vid sidan av sådant bordsrollspel ledde spridningen av persondatorer på 1980-talet till olika datoriserade versioner, både vad gäller datorstödd lek och helt elektroniska simuleringar – som den nyligen släppta Baldur's Gate 3, för att bara nämna en av hundratals titlar inspirerade av D&D och andra RPG.

De akademiska spelarna från UPenn och UMD gav sig i kast med att se hur LLM:er kunde stödja mänskliga DM:are, som är ansvariga för att skapa scenen där det ömsesidigt föreställda äventyret äger rum, för att kasta tärningarna som bestämmer resultatet av vissa åtgärder, för att upprätthålla reglerna ( som har blivit ganska omfattande), och för att generellt sett se till att upplevelsen är rolig och underhållande.

För att göra det skapade de en uppsättning av tre LLM-drivna gränssnitt, kallade CALYPSO – som står för Collaborative Assistant for Lore and Yielding Plot Synthesis Objectives. Den är designad för att spela D&D online via Discord, den populära chattjänsten.

"När de fick tillgång till CALYPSO, rapporterade DM:er att det genererade högfientlig text som lämpar sig för direkt presentation för spelare, och lågfilighetsidéer som DM kunde utveckla vidare samtidigt som de behöll sin kreativa byrå", förklarar tidningen. "Vi ser CALYPSO som ett exempel på ett paradigm av AI-förstärkta verktyg som ger synkron kreativ assistans inom etablerade spelvärldar, och bordsspel mer brett."

Covid-19-pandemin förändrade en del personligt bordsspel online, observerar forskarna i sin tidning, och många spelare som spelar via Discord gör det med Avrae – en Discord-bot designad av Andrew Zhu, en UPenn-doktorand och en medförfattare till CALYPSO-tidningen.

"Kärnidéerna i tidningen (att LLMs kan agera som en co-DM på sätt som hjälper till att inspirera den mänskliga DMen utan att ta över den kreativa kontrollen över spelet) gäller för D&D och andra bordsspel oavsett modalitet. Men det finns fortfarande vissa utmaningar att övervinna innan man tillämpar tekniken på personligt spel, säger Zhu i ett mejl till Registret.

Zhu och hans kollegor fokuserade på Discord play-by-post (PBP)-spel av flera anledningar. För det första, "Discord-baserad PBP är redan textbaserad, så vi behöver inte spendera tid på att transkribera tal till text för en LLM", förklarade han.

Online-inställningen tillåter också DM att se LLM-genererad utdata privat (där "low-fidelity-idéer" spelar mindre roll) och det befriar DM från att behöva skriva eller diktera i något gränssnitt.

CALYPSO, en Discord bot med källkod, beskrivs i tidningen som att ha tre gränssnitt: ett för att generera inställningstexten som beskriver ett möte (GPT-3); en för fokuserad brainstorming, där DM kan fråga LLM för frågor om ett möte eller förfina en sammanfattning av mötet (ChatGPT); och en för chatt med öppen domän, där spelare kan engagera sig direkt med ChatGPT och agera som en fantasivarelse med kunskap om D&D.

Bild av CALYPSO-botutdata

Bild av CALYPSO bot-utgång (klicka för att förstora)

Att ställa in dessa gränssnitt innebar att LLM:n skapades med specifika uppmaningar (detaljerade i tidningen) som förklarar hur chatboten ska svara i varje gränssnittsroll. Ingen specifik modellutbildning krävdes för att införliva hur D&D fungerar.

"Vi upptäckte att även utan utbildning vet GPT-serien av modeller mycket om D&D från att ha sett källböcker och internetdiskussioner i sina träningsdata", sa Zhu.

Vi fann att även utan utbildning vet GPT-serien av modeller mycket om D&D från att ha sett källböcker och internetdiskussioner

Zhu och hans kollegor testade CALYPSO med 71 spelare och DM, och undersökte dem sedan om upplevelsen. De tyckte att AI-hjälparen var användbar oftare än inte.

Men det fanns utrymme för förbättringar. Till exempel, i ett möte parafraserade CALYPSO helt enkelt information i inställningen och statistikprompten, vilket DM:are ansåg inte tillförde något mervärde.

Registret frågade Zhu om huruvida LLMs tendens att "hallucinera" – hitta på saker – var ett problem för studiedeltagarna.

"I ett kreativt sammanhang blir det lite mindre meningsfullt – till exempel innehåller D&D-referensböckerna inte varje detalj om varje monster, så om en LLM hävdar att ett visst monster har en viss färgad päls, räknas det som en hallucination ?” sa Zhu.

”För att svara direkt på frågan, ja; modellen "hittar" ofta fakta om monster som inte finns i källböckerna. De flesta av dessa är triviala saker som faktiskt hjälper DM, som hur ett monsters anrop låter eller formen på ett monsters iris eller liknande. Ibland, mer sällan, hallucinerar det mer drastiska fakta, som att säga att frostsalamandrar har vingar (det har de inte)."

En annan fråga som dök upp var att modellträningsskydd ibland störde CALYPSO:s förmåga att diskutera frågor som skulle vara lämpliga i ett D&D-spel – som ras och gameplay.

"Till exempel skulle modellen ibland vägra att föreslå (fantasi)raser, troligtvis på grund av ansträngningar att minska potentialen för rasfördomar i verkligheten", konstaterar tidningen. "I ett annat fall insisterar modellen på att den är oförmögen att spela D&D, troligen på grund av ansträngningar för att förhindra att modellen gör anspråk på förmågor som den inte har."

(Ja, vi är säkra på att några av oss har varit där förut och förnekar all kunskap om RPG trots år av spelande.)

Zhu sa att det är uppenbart att folk inte vill ha en AI DM men de är mer villiga att tillåta DM:are att stödja sig på AI-hjälp.

"Under våra formativa studier var ett vanligt tema att människor inte ville ha en autonom AI DM, av ett par anledningar," förklarade han. "För det första hade många av spelarna vi intervjuade redan spelat med verktyg som AI Dungeon och var bekanta med AI:s svagheter i storytelling i långa sammanhang. För det andra, och ännu viktigare, uttryckte de att att ha en autonom AI DM skulle ta bort andan i spelet; eftersom D&D är ett kreativt berättarspel i grunden, skulle det kännas fel att ha en AI som genererar den historien.

“Att ha CALYPSO vara en valfri sak som DM:are kunde välja att använda så mycket eller så lite som de ville bidrog till att hålla den kreativa bollen på den mänskliga DM:s plan; vad som ofta skulle hända är att CALYPSO skulle ge DM precis tillräckligt med en knuff för att bryta dem ur ett hjulspår av writer's block eller bara ge dem en lista med idéer att bygga vidare på. När den mänskliga DM:n kände att de ville ha mer kontroll över scenen kunde de bara fortsätta DM:a i sin egen stil utan att använda CALYPSO alls." ®

Tidsstämpel:

Mer från Registret