ChatGPT encontra um papel jogando Dungeons & Dragons

ChatGPT encontra um papel jogando Dungeons & Dragons

Carimbo de data / hora: 19 de agosto de 2023, 4h

A Boffins encontrou um papel para os chatbots de IA, onde a alucinação habitual não é necessariamente um problema.

Eles cabeças-duras – baseados na Universidade da Pensilvânia e na Universidade de Maryland, nos EUA – recrutaram os grandes modelos de linguagem (LLMs) da OpenAI para ajudar no RPG de fantasia, especificamente Dungeons & Dragons (D&D).

Em um artigo do papel pré-impresso intitulado “CALYPSO: LLMs as Dungeon Masters' Assistants”, Andrew Zhu, estudante de doutorado da UPenn; Lara Martin, professora assistente da UMD; Andrew Head, professor assistente da UPenn; e Chris Callison-Burch, professor associado da UPenn, explicam como usaram LLMs para aprimorar um jogo que depende muito da interação humana.

D&D apareceu pela primeira vez em 1974 como um jogo de interpretação de papéis (RPG) no qual os jogadores assumiam o papel de heróis medievais aventureiros e representavam essas personalidades sob um enredo dirigido por um mestre de masmorras (DM) ou mestre de jogo (GM). Os pré-requisitos eram um conjunto de regras – publicado na época pela Tactical Studies Rules – dados poliédricos, lápis, papel e um compromisso compartilhado com a narrativa interativa e teatralidade modesta. Lanches, tecnicamente opcionais, devem ser assumidos.

Juntamente com o RPG de mesa, a proliferação de computadores pessoais na década de 1980 levou a várias versões computadorizadas, tanto em termos de jogo assistido por computador quanto em simulações totalmente eletrônicas – como o recém-lançado Baldur’s Gate 3, para citar apenas uma das centenas de títulos inspirados em D&D e outros RPGs.

Os jogadores acadêmicos da UPenn e da UMD decidiram ver como os LLMs poderiam apoiar os DMs humanos, que são responsáveis ​​por definir o cenário onde a aventura mutuamente imaginada acontece, por lançar os dados que determinam os resultados de certas ações, por fazer cumprir as regras ( que se tornaram bastante extensos) e por garantir, em geral, que a experiência seja divertida e divertida.

Para fazer isso, eles criaram um conjunto de três interfaces baseadas em LLM, chamadas CALYPSO – que significa Assistente Colaborativo para Objetivos de Síntese de Lore e Rendimento. Ele foi projetado para jogar D&D online através do Discord, o popular serviço de bate-papo.

“Ao ter acesso ao CALYPSO, os mestres relataram que ele gerou texto de alta fidelidade adequado para apresentação direta aos jogadores e ideias de baixa fidelidade que o mestre poderia desenvolver ainda mais, mantendo sua agência criativa”, explica o documento. “Vemos o CALYPSO como exemplo de um paradigma de ferramentas aprimoradas por IA que fornecem assistência criativa síncrona em mundos de jogos estabelecidos e jogos de mesa de maneira mais ampla”.

A pandemia do COVID-19 mudou alguns jogos presenciais de mesa online, observam os pesquisadores em seu artigo, e muitos jogadores que jogam via Discord o fazem com Avrae – um bot Discord projetado por Andrew Zhu, um estudante de doutorado da UPenn e coautor do artigo CALYPSO.

“As ideias centrais do artigo (que os LLMs são capazes de atuar como co-DM de maneiras que ajudam a inspirar o DM humano sem assumir o controle criativo do jogo) se aplicam a D&D e outros jogos de mesa, independentemente da modalidade. Mas ainda há alguns desafios a serem superados antes de aplicar a tecnologia aos jogos presenciais”, disse Zhu em um e-mail para O registro.

Zhu e seus colegas se concentraram nos jogos play-by-post (PBP) do Discord por vários motivos. Primeiro, “o PBP baseado no Discord já é baseado em texto, então não precisamos gastar tempo transcrevendo fala em texto para um LLM”, explicou ele.

A configuração on-line também permite que o mestre visualize a saída gerada pelo LLM em particular (onde “idéias de baixa fidelidade” importam menos) e libera o mestre de digitar ou ditar em alguma interface.

CALIPSO, um Discord bot com código-fonte, é descrito no artigo como tendo três interfaces: uma para gerar o texto de configuração que descreve um encontro (GPT-3); um para brainstorming focado, no qual o Mestre pode fazer perguntas ao LLM sobre um encontro ou refinar um resumo do encontro (ChatGPT); e um para bate-papo de domínio aberto, no qual os jogadores podem se envolver diretamente com o ChatGPT agindo como uma criatura de fantasia conhecedora de D&D.

Imagem da saída do bot CALYPSO

Imagem da saída do bot CALYPSO (clique para ampliar)

A configuração dessas interfaces envolveu a propagação do LLM com prompts específicos (detalhados no documento) que explicam como o chatbot deve responder em cada função de interface. Nenhum treinamento de modelo específico foi necessário para incorporar como o D&D funciona.

“Descobrimos que, mesmo sem treinamento, a série de modelos GPT sabe muito sobre D&D por ter visto livros de origem e discussões na Internet em seus dados de treinamento”, disse Zhu.

Descobrimos que, mesmo sem treinamento, a série de modelos GPT sabe muito sobre D&D por ter visto livros de origem e discussões na Internet

Zhu e seus colegas testaram o CALYPSO com 71 jogadores e mestres, depois os entrevistaram sobre a experiência. Eles acharam o auxiliar de IA útil com mais frequência do que não.

Mas havia espaço para melhorias. Por exemplo, em um encontro, o CALYPSO simplesmente parafraseou as informações no prompt de configuração e estatísticas, que os mestres sentiram que não agregavam valor.

O registro perguntou a Zhu se a tendência dos LLMs de “alucinar” – inventar coisas – era um problema para os participantes do estudo.

“Em um contexto criativo, torna-se um pouco menos significativo – por exemplo, os livros de referência de D&D não contêm todos os detalhes sobre todos os monstros, então se um LLM afirma que um certo monstro tem certa cor de pele, isso conta como uma alucinação ?” disse Zhu.

“Para responder diretamente à pergunta, sim; o modelo geralmente 'inventa' fatos sobre monstros que não estão nos livros originais. A maioria delas são coisas triviais que realmente ajudam o Mestre, como o som do chamado de um monstro ou a forma da íris de um monstro ou coisas assim. Às vezes, com menos frequência, alucina fatos mais drásticos, como dizer que as salamandras do gelo têm asas (não têm).”

Outra questão que surgiu foi que as proteções de treinamento de modelos às vezes interferiam na capacidade do CALYPSO de discutir questões que seriam apropriadas em um jogo de D&D – como raça e jogabilidade.

“Por exemplo, o modelo às vezes se recusava a sugerir raças (fantasias), provavelmente devido aos esforços para reduzir o potencial de preconceito racial no mundo real”, observa o jornal. “Em outro caso, o modelo insiste que é incapaz de jogar D&D, provavelmente devido aos esforços para impedir que o modelo reivindique habilidades que não possui.”

(Sim, temos certeza de que alguns de nós já passamos por isso antes, negando qualquer conhecimento de RPGs apesar de anos jogando.)

Zhu disse que está claro que as pessoas não querem um mestre de IA, mas estão mais dispostas a permitir que os mestres se apoiem na ajuda de IA.

“Durante nossos estudos formativos, um tema comum era que as pessoas não queriam um AI DM autônomo, por alguns motivos”, explicou ele. “Primeiro, muitos dos jogadores que entrevistamos já haviam jogado com ferramentas como AI Dungeon e estavam familiarizados com os pontos fracos da IA ​​na narrativa de contexto longo. Em segundo lugar, e mais importante, eles expressaram que ter um AI DM autônomo tiraria o espírito do jogo; já que D&D é um jogo de narrativa criativa no fundo, ter uma IA gerando essa história pareceria errado.

“Ter o CALYPSO como uma coisa opcional que os mestres poderiam escolher usar o quanto quisessem ajudou a manter a bola criativa na quadra do mestre humano; muitas vezes, o que aconteceria é que o CALYPSO daria ao Mestre um empurrãozinho suficiente para tirá-lo de uma rotina de bloqueio de escritor ou apenas dar-lhe uma lista de ideias para construir. Uma vez que o mestre humano sentiu que queria mais controle sobre a cena, eles poderiam simplesmente continuar a mestrar em seu próprio estilo sem usar o CALYPSO.” ®

Carimbo de hora:

Mais de O registro