Denne 'Skyrim VR'-mod viser, hvordan AI kan tage VR-fordybelse til det næste niveau

Denne 'Skyrim VR'-mod viser, hvordan AI kan tage VR-fordybelse til det næste niveau

Tidsstempel: 26. april 2023 kl. 11
This ‘Skyrim VR’ Mod Shows How AI Can Take VR Immersion to the Next Level PlatoBlockchain Data Intelligence. Vertical Search. Ai.

ChatGPT er ikke perfekt, men den populære AI-chatbots adgang til store sprogmodeller (LLM) betyder, at den kan gøre en masse ting, du måske ikke forventer, som at give alle Tamriels NPC-indbyggere muligheden for at føre naturlige samtaler og besvare spørgsmål om ikonisk fantasiverden. Uhyggeligt, ja. Men det er et forudseende blik på, hvordan spil en dag kan bruge AI til at nå nye højder i fordybelse.

YouTuber 'Kunst fra maskinen' udgivet en video, der viser, hvordan de moddede den meget elskede VR-version af Den ældste Scrolls V: Skyrim.

Mod'et, som ikke er tilgængeligt endnu, lader dig tilsyneladende holde samtaler med NPC'er via ChatGPT og xVASynth, et AI-værktøj til at generere stemmeskuespillende linjer ved hjælp af stemmer fra videospil.

Se resultaterne i den seneste opdatering nedenfor:

[Indlejret indhold]

Den seneste version af projektet introducerer Skyrim scripting for første gang, hvilket udvikleren siger giver mulighed for læbesynkronisering af stemmer og NPC-bevidsthed om begivenheder i spillet. Selvom det stadig er lidt stift, føles det som et ret stort skridt mod at klatre ud af den uhyggelige dal.

Her er hvordan 'Art from the Machine' beskriver projektet i et nyligt Reddit-indlæg fremviser deres arbejde:

For et par uger siden postede jeg en video, der demonstrerer et Python-script, jeg arbejder på, som lader dig tale med NPC'er i Skyrim via ChatGPT og xVASynth. Siden da har jeg arbejdet på at integrere dette Python-script med Skyrims egne modding-værktøjer, og jeg har nået et par spændende milepæle:

NPC'er er nu klar over deres aktuelle placering og tidspunkt på dagen. Dette åbner op for masser af muligheder for ChatGPT til at reagere dynamisk på spilverdenen i stedet for at vente på at blive givet kontekst af spilleren. For eksempel har jeg ikke længere problemer med butiksejere, der forsøger at bytte med mig i Bannered Mare efter arbejdstid. NPC'er er også opmærksomme på de ting, som afspilleren opfanger under samtalen. Det betyder, at hvis du plyndrer en kiste, høster et dyreskind eller plukker en blomst, vil NPC'er kunne kommentere disse handlinger.

NPC'er er nu læbesynkroniseret med xVASynth. Dette er åbenbart meget mere naturligt end de flydende proof-of-concept-stemmer, jeg havde før. Jeg har også foretaget nogle forbedringer af livskvaliteten, såsom at få svartider ned til ~15 sekunder og tilføje en besværgelse for at starte samtaler.

Når alt er på plads, er det en utrolig surrealistisk oplevelse at kunne sætte sig ned og snakke med disse karakterer i VR. Intet tager mig mere ud af oplevelsen end at høre de samme gentagne stemmelinjer, og med dette er ingen to svar nogensinde ens. Der er stadig meget arbejde at gå, men selv i dens nuværende tilstand kunne jeg ikke gå tilbage til at spille uden dette.

Du vil måske bemærke, at den faktiske stemmeprompt, NPC'erne også er temmelig robotisk, selvom 'Art from the Machine' siger, at de bruger tale-til-tekst til at tale med det ChatGPT 3.5-drevne system. Stemmen, der høres i videoen, er genereret fra xVASynth, og derefter tilsluttet under videoredigering for at erstatte det, de kalder deres "radio-uvenlige stemme."

Og hvornår kan du downloade og spille for dig selv? Nå, udvikleren siger, at publicering af deres projekt stadig er lidt af et klæbrigt problem.

"Jeg har ikke rigtig tænkt over, hvordan jeg udgiver dette, så jeg tror, ​​jeg bliver nødt til at grave i andre ChatGPT-projekter for at se, hvordan andre har tacklet API-nøglespørgsmålet. Jeg håber, at det er muligt alternativt at oprette forbindelse til en lokalt drevet LLM-model for alle, der ikke er vilde med at betale API-gebyrer."

At servere mere naturlige NPC-svar er også et område, der skal behandles, siger udvikleren.

For nu har jeg det sat op, så NPC'er siger "lad mig tænke" for at indikere, at jeg er blevet hørt, og svaret er ved at blive genereret, men du har ret, dette kan udvides til at vælge mellem et par forskellige fyldstoffer linjer i stedet for at gentage den samme hver gang.

Og selvom videoen er mærkbart fremskyndet efter prompter, kommer dette for det meste ned til stemmegenereringssoftwaren xVASynth, hvilket ganske vist bremser responspipelinen, da den køres lokalt. ChatGPT i sig selv påvirker ikke ydeevnen, siger udvikleren.

Dette er ikke det første projekt, vi har set bruge chatbots til at berige brugerinteraktioner. Lee Vermeulen, en mangeårig VR-pioner og udvikler bag Modbox, udgav en video i 2021, der viser en af ​​hans første tests ved hjælp af OpenAI GPT 3 og stemmeskuespilsoftware Kopi. I Vermeulens video taler han om, hvordan han indstillede parametre for hver NPC, hvilket giver dem den viden, de burde have, som alt sammen vejleder den slags svar, de vil give.

Se Vermeulens video nedenfor, den samme som inspirerede 'Art from the Machine' til at begynde at arbejde på Skyrim VR mod:

[Indlejret indhold]

Som du kan forestille dig, er dette virkelig kun toppen af ​​isbjerget for AI-drevne NPC-interaktioner. At være i stand til naturligt at tale med NPC'er, selvom det er lidt stammende og ikke ligefrem på menneskeligt niveau, kan være at foretrække frem for at skulle vade gennem et væld af 2D-tekstmenuer eller gennemgå langsomme og klodsede tutorials. Det giver også mulighed for at binde mere til din trofaste AI-ledsager, f.eks Skyrims Lydia eller Fallout 4 s Nick Valentine, der i stedet for at tilbyde dialog på dåse faktisk måske, du ved, kan hjælpe dig en gang imellem.

Og det er egentlig kun de ting på overfladen, som en mod som 'Art from the Machine' kan levere til eksisterende spil er ikke bygget med AI-drevne NPC'er. Forestil dig et spil, der faktisk er baseret på din evne til at stille de rigtige spørgsmål og udføre dit eget detektivarbejde – ja, det er et rollespil, vi aldrig har oplevet før, enten i VR eller ellers.

Tidsstempel:

Mere fra Vejen til VR