Ce mod 'Skyrim VR' montre comment l'IA peut faire passer l'immersion VR au niveau supérieur

Ce mod 'Skyrim VR' montre comment l'IA peut faire passer l'immersion VR au niveau supérieur

Horodatage: 26 avril 2023 11:29
Ce module « Skyrim VR » montre comment l'IA peut faire passer l'immersion VR au niveau supérieur en matière d'intelligence des données PlatoBlockchain. Recherche verticale. Aï.

ChatGPT n'est pas parfait, mais l'accès du populaire chatbot IA aux grands modèles de langage (LLM) signifie qu'il peut faire beaucoup de choses auxquelles vous ne vous attendez peut-être pas, comme donner à tous les habitants des PNJ de Tamriel la possibilité de tenir des conversations naturelles et de répondre aux questions sur le monde fantastique emblématique. Étrange, oui. Mais c'est un regard prémonitoire sur la façon dont les jeux pourraient un jour utiliser l'IA pour atteindre de nouveaux sommets en immersion.

YouTuber "L'art de la machine" a publié une vidéo montrant comment ils ont modifié la version VR très appréciée de The Elder Scrolls V: Skyrim.

Le mod, qui n'est pas encore disponible, vous permet apparemment de tenir des conversations avec des PNJ via ChatGPT et xVASynth, un outil d'intelligence artificielle pour générer des lignes de doublage à l'aide de voix de jeux vidéo.

Découvrez les résultats dans la dernière mise à jour ci-dessous :

[Contenu intégré]

La dernière version du projet introduit Skyrim scripting pour la première fois, qui, selon le développeur, permet la synchronisation labiale des voix et la sensibilisation des PNJ aux événements du jeu. Bien qu'il soit encore un peu rigide, cela ressemble à un assez grand pas vers la sortie de l'étrange vallée.

Voici comment 'Art from the Machine' décrit le projet dans un récent article sur Reddit présentant leur travail :

Il y a quelques semaines, j'ai posté une vidéo démontrant un script Python sur lequel je travaille et qui vous permet de parler aux PNJ de Skyrim via ChatGPT et xVASynth. Depuis lors, j'ai travaillé pour intégrer ce script Python avec les propres outils de modding de Skyrim et j'ai franchi quelques étapes passionnantes :

Les PNJ sont désormais conscients de leur emplacement actuel et de l'heure de la journée. Cela ouvre de nombreuses possibilités pour ChatGPT de réagir dynamiquement au monde du jeu au lieu d'attendre que le joueur lui donne un contexte. Par exemple, je n'ai plus de problèmes avec les commerçants qui essaient de troquer avec moi dans la jument à bannière après les heures de travail. Les PNJ sont également conscients des objets ramassés par le joueur pendant la conversation. Cela signifie que si vous pillez un coffre, récoltez une peau d'animal ou cueillez une fleur, les PNJ pourront commenter ces actions.

Les PNJ sont désormais synchronisés avec xVASynth. C'est évidemment beaucoup plus naturel que les voix flottantes de preuve de concept que j'avais auparavant. J'ai également apporté des améliorations à la qualité de vie, telles que la réduction des temps de réponse à environ 15 secondes et l'ajout d'un sort pour démarrer les conversations.

Quand tout est en place, c'est une expérience incroyablement surréaliste de pouvoir s'asseoir et parler à ces personnages en VR. Rien ne me sort plus de l'expérience que d'entendre les mêmes répliques vocales répétées, et avec cela, il n'y a jamais deux réponses identiques. Il y a encore beaucoup de travail à faire, mais même dans son état actuel, je ne pourrais pas recommencer à jouer sans cela.

Vous remarquerez peut-être que la voix réelle invitant les PNJ est également assez robotique, bien que "Art from the Machine" indique qu'ils utilisent la synthèse vocale pour parler au système piloté par ChatGPT 3.5. La voix entendue dans la vidéo est générée à partir de xVASynth, puis branché pendant le montage vidéo pour remplacer ce qu'ils appellent leur "voix peu amicale à la radio".

Et quand pouvez-vous télécharger et jouer pour vous-même ? Eh bien, le développeur dit que la publication de son projet est toujours un problème délicat.

"Je n'ai pas vraiment réfléchi à la façon de publier cela, donc je pense que je vais devoir creuser dans d'autres projets ChatGPT pour voir comment d'autres ont abordé le problème de la clé API. J'espère qu'il est possible de se connecter alternativement à un modèle LLM géré localement pour tous ceux qui ne souhaitent pas payer les frais d'API.

Proposer des réponses plus naturelles aux PNJ est également un domaine qui doit être abordé, déclare le développeur.

Pour l'instant, je l'ai configuré pour que les PNJ disent "laissez-moi réfléchir" pour indiquer que j'ai été entendu et que la réponse est en train d'être générée, mais vous avez raison, cela peut être étendu pour choisir parmi quelques remplisseurs différents lignes au lieu de répéter la même à chaque fois.

Et bien que la vidéo soit sensiblement accélérée après les invites, cela se résume principalement au logiciel de génération de voix xVASynth, ce qui, certes, ralentit le pipeline de réponse puisqu'il est exécuté localement. ChatGPT lui-même n'affecte pas les performances, déclare le développeur.

Ce n'est pas le premier projet que nous voyons utiliser des chatbots pour enrichir les interactions des utilisateurs. Lee Vermeulen, pionnier et développeur de longue date de la réalité virtuelle derrière Modbox, a publié une vidéo en 2021 montrant l'un de ses premiers tests utilisant OpenAI GPT 3 et un logiciel de doublage Réplique. Dans la vidéo de Vermeulen, il explique comment il a défini des paramètres pour chaque PNJ, en leur donnant l'ensemble des connaissances qu'ils devraient avoir, ce qui guide le type de réponses qu'ils donneront.

Découvrez la vidéo de Vermeulen ci-dessous, celle-là même qui a inspiré "Art from the Machine" pour commencer à travailler sur le Skyrim VR mode :

[Contenu intégré]

Comme vous pouvez l'imaginer, ce n'est vraiment que la pointe de l'iceberg pour les interactions avec les PNJ pilotées par l'IA. Être capable de parler naturellement aux PNJ, même si un peu bégayant et pas exactement au niveau humain, peut être préférable à devoir parcourir une tonne de menus de texte 2D, ou passer par des didacticiels lents et disgracieux. Il offre également la possibilité de se lier davantage avec votre fidèle compagnon d'IA, comme Skyrim's Lydie ou Fallout 4 de Nick Valentine, qui au lieu d'offrir un dialogue en conserve pourrait en fait, vous savez, vous aider de temps en temps.

Et ce n'est vraiment que le niveau de surface qu'un mod comme "Art from the Machine" pourrait apporter aux jeux existants qui  construit avec des PNJ pilotés par l'IA. Imaginer un jeu qui repose en fait sur votre capacité à poser les bonnes questions et à faire votre propre travail de détective - eh bien, c'est un jeu de rôle que nous n'avons jamais connu auparavant, que ce soit en réalité virtuelle ou autrement.

Horodatage:

Plus de Route vers VR