Denna "Skyrim VR"-mod visar hur AI kan ta VR Immersion till nästa nivå

Denna "Skyrim VR"-mod visar hur AI kan ta VR Immersion till nästa nivå

Tidsstämpel: 26 april 2023 11:29
Denna "Skyrim VR"-mod visar hur AI kan ta VR Immersion till nästa nivå PlatoBlockchain Data Intelligence. Vertikal sökning. Ai.

ChatGPT är inte perfekt, men den populära AI-chatbotens tillgång till stora språkmodeller (LLM) betyder att den kan göra många saker du kanske inte förväntar dig, som att ge alla Tamriels NPC-invånare möjligheten att föra naturliga konversationer och svara på frågor om ikonisk fantasivärld. Otroligt, ja. Men det är en förutseende titt på hur spel en dag kan använda AI för att nå nya höjder i fördjupning.

YouTuber "Konst från maskinen" släppte en video som visar hur de modde den mycket älskade VR-versionen av The Elder Scrolls V: Skyrim.

Modden, som inte är tillgänglig ännu, låter dig tydligen hålla konversationer med NPC:er via ChatGPT och xVASynth, ett AI-verktyg för att generera röstspelande rader med röster från videospel.

Kolla in resultaten i den senaste uppdateringen nedan:

[Inbäddat innehåll]

Den senaste versionen av projektet introducerar Skyrim scripting för första gången, vilket utvecklaren säger möjliggör läppsynkronisering av röster och NPC-medvetenhet om händelser i spelet. Även om det fortfarande är lite stel känns det som ett ganska stort steg mot att klättra upp ur den kusliga dalen.

Så här beskriver 'Art from the Machine' projektet i ett nyligen inlägg på Reddit visar upp sitt arbete:

För några veckor sedan lade jag upp en video som demonstrerar ett Python-skript jag jobbar på som låter dig prata med NPC:er i Skyrim via ChatGPT och xVASynth. Sedan dess har jag arbetat med att integrera detta Python-skript med Skyrims egna moddingverktyg och jag har nått några spännande milstolpar:

NPC:er är nu medvetna om sin nuvarande plats och tid på dygnet. Detta öppnar upp massor av möjligheter för ChatGPT att reagera på spelvärlden dynamiskt istället för att vänta på att få ett sammanhang av spelaren. Som ett exempel har jag inte längre problem med butiksinnehavare som försöker byta med mig i Bannered Mare efter arbetstid. NPC:er är också medvetna om de föremål som spelaren plockar upp under konversationen. Det betyder att om du plundrar en kista, skördar ett djurskinn eller plockar en blomma, kommer NPC:er att kunna kommentera dessa åtgärder.

NPC:er är nu läppsynkroniserade med xVASynth. Detta är uppenbarligen mycket mer naturligt än de svävande proof-of-concept-röster jag hade tidigare. Jag har också gjort vissa förbättringar av livskvaliteten som att få ner svarstider till ~15 sekunder och lägga till en trollformel för att starta konversationer.

När allt är på plats är det en otroligt surrealistisk upplevelse att få sitta ner och prata med dessa karaktärer i VR. Ingenting tar mig ur upplevelsen mer än att höra samma upprepade röstlinjer, och med detta är inga två svar någonsin desamma. Det finns fortfarande mycket arbete kvar, men även i dess nuvarande tillstånd kunde jag inte gå tillbaka till att spela utan detta.

Du kanske märker att den faktiska röstuppmaningen NPC:erna också är ganska robotisk, även om "Art from the Machine" säger att de använder tal-till-text för att prata med det ChatGPT 3.5-drivna systemet. Rösten som hörs i videon genereras från xVASynth, och kopplade sedan in under videoredigering för att ersätta vad de kallar sin "radioovänliga röst".

Och när kan du ladda ner och spela själv? Tja, utvecklaren säger att publicering av sitt projekt fortfarande är lite av en klibbig fråga.

"Jag har inte riktigt tänkt på hur jag ska publicera det här, så jag tror att jag måste gräva i andra ChatGPT-projekt för att se hur andra har tacklat API-nyckelfrågan. Jag hoppas att det är möjligt att alternativt ansluta till en lokalt driven LLM-modell för alla som inte är sugna på att betala API-avgifterna.”

Att servera mer naturliga NPC-svar är också ett område som måste åtgärdas, säger utvecklaren.

För tillfället har jag det inställt så att NPC:er säger "låt mig tänka" för att indikera att jag har blivit hörd och svaret håller på att genereras, men du har rätt. Detta kan utökas för att välja mellan några olika fyllmedel rader istället för att upprepa samma varje gång.

Och även om videon blir märkbart snabbare efter uppmaningar, beror det mest på programvaran för röstgenerering xVASynth, vilket visserligen saktar ner responspipeline eftersom den körs lokalt. ChatGPT i sig påverkar inte prestanda, säger utvecklaren.

Det här är inte det första projektet vi har sett använda chatbots för att berika användarinteraktioner. Lee Vermeulen, en mångårig VR-pionjär och utvecklare bakom Modbox, släppte en video 2021 som visar upp ett av hans första tester med OpenAI GPT 3 och röstskådespelarmjukvara Kopia. I Vermeulens video berättar han om hur han ställer in parametrar för varje NPC, vilket ger dem den kunskap de borde ha, allt som styr vilken typ av svar de kommer att ge.

Kolla in Vermeulens video nedan, precis samma som inspirerade 'Art from the Machine' att börja arbeta med Skyrim VR mod:

[Inbäddat innehåll]

Som du kan föreställa dig är detta egentligen bara toppen av isberget för AI-drivna NPC-interaktioner. Att naturligt kunna prata med NPC:er, även om det är lite stammande och inte exakt på mänsklig nivå, kan vara att föredra framför att behöva gå igenom massor av 2D-textmenyer, eller gå igenom långsamma och klumpiga tutorials. Det ger också chansen att binda mer till din pålitliga AI-kamrat, som Skyrim s Lydia eller Nedfall 4 s Nick Valentine, som istället för att erbjuda en konserverad dialog faktiskt, du vet, kan hjälpa dig då och då.

Och det är egentligen bara grejer på ytnivå som en mod som "Art from the Machine" kan leverera till befintliga spel som inte byggd med AI-drivna NPC:er. Att föreställa sig ett spel som faktiskt bygger på din förmåga att ställa de rätta frågorna och göra ditt eget detektivarbete – ja, det är ett rollspel som vi aldrig har upplevt förut, varken i VR eller annars.

Tidsstämpel:

Mer från Vägen till VR