Este mod 'Skyrim VR' mostra como a IA pode levar a imersão em VR para o próximo nível

O ChatGPT não é perfeito, mas o acesso do popular chatbot AI a modelos de linguagem grandes (LLM) significa que ele pode fazer muitas coisas que você não espera, como dar a todos os habitantes NPC de Tamriel a capacidade de manter conversas naturais e responder a perguntas sobre o mundo de fantasia icônico. Estranho, sim. Mas é uma visão presciente de como os jogos podem um dia usar a IA para alcançar novos patamares de imersão.

YouTuber 'Arte da Máquina' lançou um vídeo mostrando como eles modificaram a tão amada versão VR de The Elder Scrolls V: Skyrim.

O mod, que ainda não está disponível, aparentemente permite que você mantenha conversas com NPCs via ChatGPT e xVASynth, uma ferramenta de IA para gerar falas de dublagem usando vozes de videogames.

Confira os resultados na atualização mais recente abaixo:

[Conteúdo incorporado]

A versão mais recente do projeto apresenta Skyrim scripting pela primeira vez, o que o desenvolvedor diz que permite sincronização labial de vozes e reconhecimento de NPC de eventos no jogo. Embora ainda um pouco rígido, parece um grande passo para sair do vale misterioso.

Veja como 'Art from the Machine' descreve o projeto em um post recente do Reddit apresentando seus trabalhos:

Algumas semanas atrás, postei um vídeo demonstrando um script Python no qual estou trabalhando, que permite conversar com NPCs no Skyrim via ChatGPT e xVASynth. Desde então, tenho trabalhado para integrar este script Python com as próprias ferramentas de modificação do Skyrim e atingi alguns marcos empolgantes:

NPCs agora estão cientes de sua localização atual e hora do dia. Isso abre muitas possibilidades para o ChatGPT reagir ao mundo do jogo dinamicamente, em vez de esperar que o jogador forneça o contexto. Por exemplo, não tenho mais problemas com lojistas tentando negociar comigo no Bannered Mare depois do horário de trabalho. Os NPCs também estão cientes dos itens coletados pelo jogador durante a conversa. Isso significa que se você saquear um baú, colher uma pele de animal ou colher uma flor, os NPCs poderão comentar sobre essas ações.

Os NPCs agora são sincronizados com o xVASynth. Obviamente, isso é muito mais natural do que as vozes flutuantes de prova de conceito que eu tinha antes. Também fiz algumas melhorias na qualidade de vida, como reduzir os tempos de resposta para ~ 15 segundos e adicionar um feitiço para iniciar conversas.

Quando tudo está no lugar, é uma experiência incrivelmente surreal poder sentar e conversar com esses personagens em VR. Nada me tira mais da experiência do que ouvir as mesmas falas repetidas, e com isso não há duas respostas iguais. Ainda há muito trabalho pela frente, mas mesmo no estado atual não poderia voltar a jogar sem isso.

Você pode notar que a voz real solicitando aos NPCs também é bastante robótica, embora 'Art from the Machine' diga que eles estão usando fala para texto para falar com o sistema orientado ao ChatGPT 3.5. A voz ouvida no vídeo é gerada a partir xVASynth, e então conectado durante a edição de vídeo para substituir o que eles chamam de “voz hostil ao rádio”.

E quando você pode baixar e jogar sozinho? Bem, o desenvolvedor diz que publicar seu projeto ainda é um problema complicado.

“Eu realmente não pensei em como publicar isso, então acho que terei que pesquisar outros projetos do ChatGPT para ver como outros resolveram o problema da chave de API. Espero que seja possível conectar-se alternativamente a um modelo LLM executado localmente para qualquer pessoa que não esteja interessada em pagar as taxas da API.”

Oferecer respostas NPC mais naturais também é uma área que precisa ser abordada, diz o desenvolvedor.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoAiStream. Inteligência de Dados Web3. Conhecimento Amplificado. Acesse aqui.
• Cunhando o Futuro com Adryenn Ashley. Acesse aqui.
• Fonte: https://www.roadtovr.com/chatgpt-skyrim-vr-ai-mod/