Deze 'Skyrim VR'-mod laat zien hoe AI VR-onderdompeling naar een hoger niveau kan tillen

Deze 'Skyrim VR'-mod laat zien hoe AI VR-onderdompeling naar een hoger niveau kan tillen

Tijdstempel: 26 april 2023 11:29 uur
Deze ‘Skyrim VR’-mod laat zien hoe AI VR-onderdompeling naar een hoger niveau kan tillen PlatoBlockchain Data Intelligence. Verticaal zoeken. Ai.

ChatGPT is niet perfect, maar de toegang van de populaire AI-chatbot tot grote taalmodellen (LLM) betekent dat hij veel dingen kan doen die je misschien niet verwacht, zoals alle NPC-bewoners van Tamriel de mogelijkheid geven om natuurlijke gesprekken te voeren en vragen over de iconische fantasiewereld. Unheimisch, ja. Maar het is een vooruitziende blik op hoe games op een dag AI zouden kunnen gebruiken om nieuwe hoogten in onderdompeling te bereiken.

YouTuber 'Kunst uit de machine' heeft een video uitgebracht die laat zien hoe ze de zeer geliefde VR-versie van modden The Elder Scrolls V: Skyrim.

Met de mod, die nog niet beschikbaar is, kun je ogenschijnlijk gesprekken voeren met NPC's via ChatGPT en xVA Synth, een AI-tool voor het genereren van stemacteurs met stemmen uit videogames.

Bekijk de resultaten in de meest recente update hieronder:

[Ingesloten inhoud]

De nieuwste versie van het project introduceert Skyrim scripting voor de eerste keer, wat volgens de ontwikkelaar lipsynchronisatie van stemmen en NPC-bewustzijn van in-game-evenementen mogelijk maakt. Hoewel het nog steeds een beetje rigide is, voelt het als een behoorlijk grote stap om uit de griezelige vallei te klimmen.

Zo beschrijft 'Art from the Machine' het project in een recent Reddit-bericht presentatie van hun werk:

Een paar weken geleden plaatste ik een video waarin ik een Python-script demonstreerde waaraan ik werk en waarmee je met NPC's in Skyrim kunt praten via ChatGPT en xVASynth. Sindsdien heb ik gewerkt aan de integratie van dit Python-script met Skyrim's eigen modding-tools en ik heb een paar spannende mijlpalen bereikt:

NPC's zijn nu op de hoogte van hun huidige locatie en tijdstip. Dit opent veel mogelijkheden voor ChatGPT om dynamisch op de gamewereld te reageren in plaats van te wachten op context van de speler. Ik heb bijvoorbeeld geen problemen meer met winkeliers die na werktijd met mij proberen te ruilen in de Bannered Mare. NPC's zijn ook op de hoogte van de items die de speler tijdens het gesprek heeft opgepikt. Dit betekent dat als je een kist plundert, een dierenhuid oogst of een bloem plukt, NPC's commentaar kunnen geven op deze acties.

NPC's worden nu gesynchroniseerd met xVASynth. Dit is duidelijk veel natuurlijker dan de zweverige proof-of-concept-stemmen die ik eerder had. Ik heb ook enkele verbeteringen in de kwaliteit van leven aangebracht, zoals reactietijden terugbrengen tot ~ 15 seconden en een spreuk toevoegen om gesprekken te starten.

Als alles op zijn plaats zit, is het een ongelooflijk surrealistische ervaring om in VR met deze personages te kunnen gaan zitten en praten. Niets haalt me ​​meer uit de ervaring dan het horen van dezelfde herhaalde stemlijnen, en daarmee zijn geen twee reacties ooit hetzelfde. Er is nog veel werk te doen, maar zelfs in de huidige staat zou ik niet meer zonder kunnen spelen.

Je zou kunnen opmerken dat de eigenlijke stem die de NPC's aanspoort ook redelijk robotachtig is, hoewel 'Art from the Machine' zegt dat ze spraak-naar-tekst gebruiken om met het door ChatGPT 3.5 aangedreven systeem te praten. De stem die in de video wordt gehoord, wordt gegenereerd door xVA Synth, en vervolgens aangesloten tijdens videobewerking om wat zij hun 'radio-onvriendelijke stem' noemen, te vervangen.

En wanneer kun je zelf downloaden en spelen? Welnu, de ontwikkelaar zegt dat het publiceren van hun project nog steeds een lastig probleem is.

“Ik heb nog niet echt nagedacht over hoe ik dit moet publiceren, dus ik denk dat ik me in andere ChatGPT-projecten zal moeten verdiepen om te zien hoe anderen het probleem met de API-sleutel hebben aangepakt. Ik hoop dat het mogelijk is om als alternatief verbinding te maken met een lokaal beheerd LLM-model voor iedereen die niet graag de API-kosten wil betalen.”

Het aanbieden van meer natuurlijke NPC-reacties is ook een gebied dat moet worden aangepakt, zegt de ontwikkelaar.

Voor nu heb ik het zo ingesteld dat NPC's "laat me denken" zeggen om aan te geven dat ik ben gehoord en dat de reactie wordt gegenereerd, maar je hebt gelijk, dit kan worden uitgebreid om uit een paar verschillende fillers te kiezen lijnen in plaats van elke keer dezelfde te herhalen.

En hoewel de video merkbaar wordt versneld na prompts, komt dit vooral neer op de software voor het genereren van stemmen xVA Synth, wat weliswaar de responspijplijn vertraagt ​​omdat deze lokaal wordt uitgevoerd. ChatGPT zelf heeft geen invloed op de prestaties, zegt de ontwikkelaar.

Dit is niet het eerste project dat we zien waarbij chatbots worden gebruikt om gebruikersinteracties te verrijken. Lee Vermeulen, een oude VR-pionier en ontwikkelaar erachter Modbox, bracht in 2021 een video uit waarin hij een van zijn eerste tests liet zien met OpenAI GPT 3 en stemacteurssoftware Replica. In de video van Vermeulen vertelt hij hoe hij parameters instelde voor elke NPC, waardoor ze de hoeveelheid kennis kregen die ze zouden moeten hebben, wat allemaal bepalend is voor het soort reacties dat ze zullen geven.

Bekijk hieronder de video van Vermeulen, dezelfde die 'Art from the Machine' inspireerde om aan de slag te gaan Skyrim VR mod:

[Ingesloten inhoud]

Zoals je je kunt voorstellen, is dit eigenlijk slechts het topje van de ijsberg voor AI-gestuurde NPC-interacties. In staat zijn om op natuurlijke wijze met NPC's te praten, ook al is het een beetje stotterend en niet bepaald op menselijk niveau, heeft misschien de voorkeur boven het moeten doorlopen van een heleboel 2D-tekstmenu's of het doorlopen van trage en onhandige tutorials. Het biedt ook de kans om meer te binden met je trouwe AI-metgezel, zoals Skyrim's Lidia of Fallout 4's Nick Valentine, die in plaats van een ingeblikte dialoog aan te bieden, je misschien af ​​​​en toe zou kunnen helpen.

En dat zijn eigenlijk alleen de oppervlakkige dingen die een mod als 'Art from the Machine' zou kunnen leveren aan bestaande games niet gebouwd met AI-gestuurde NPC's. Je een spel voorstellen dat eigenlijk is gebaseerd op je vermogen om de juiste vragen te stellen en je eigen speurwerk te doen - nou, dat is een rollenspel dat we nog nooit eerder hebben meegemaakt, noch in VR, noch anderszins.

Tijdstempel:

Meer van Weg naar VR