Denne 'Skyrim VR'-moden viser hvordan AI kan ta VR-immersion til neste nivå

Denne 'Skyrim VR'-moden viser hvordan AI kan ta VR-immersion til neste nivå

Tidsstempel: 26. april 2023 11:29
Denne 'Skyrim VR'-moden viser hvordan AI kan ta VR-immersion til neste nivå PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

ChatGPT er ikke perfekt, men den populære AI-chatbotens tilgang til store språkmodeller (LLM) betyr at den kan gjøre mange ting du kanskje ikke forventer, som å gi alle Tamriels NPC-innbyggere muligheten til å føre naturlige samtaler og svare på spørsmål om ikonisk fantasiverden. Utrolig, ja. Men det er et forutseende blikk på hvordan spill en dag kan bruke AI for å nå nye høyder i fordypning.

YouTuber "Kunst fra maskinen" ga ut en video som viser hvordan de modifiserte den høyt elskede VR-versjonen av Den eldste Scrolls V: Skyrim.

Moden, som ikke er tilgjengelig ennå, lar deg tilsynelatende holde samtaler med NPC-er via ChatGPT og xVASynth, et AI-verktøy for å generere stemmevirkende linjer ved å bruke stemmer fra videospill.

Sjekk ut resultatene i den siste oppdateringen nedenfor:

[Innebygd innhold]

Den siste versjonen av prosjektet introduserer Skyrim skripting for første gang, som utvikleren sier muliggjør leppesynkronisering av stemmer og NPC-bevissthet om hendelser i spillet. Selv om det fortsatt er litt stivt, føles det som et ganske stort skritt mot å klatre ut av den uhyggelige dalen.

Her er hvordan 'Art from the Machine' beskriver prosjektet i et nylig Reddit-innlegg viser frem arbeidet sitt:

For noen uker siden la jeg ut en video som demonstrerer et Python-skript jeg jobber med som lar deg snakke med NPC-er i Skyrim via ChatGPT og xVASynth. Siden den gang har jeg jobbet med å integrere dette Python-skriptet med Skyrims egne moddingverktøy, og jeg har nådd noen spennende milepæler:

NPC-er er nå klar over sin nåværende plassering og tid på dagen. Dette åpner for mange muligheter for ChatGPT til å reagere dynamisk på spillverdenen i stedet for å vente på å bli gitt kontekst av spilleren. For eksempel har jeg ikke lenger problemer med butikkeiere som prøver å bytte med meg i Bannered Mare etter arbeidstid. NPC-er er også klar over gjenstandene som spilleren plukker opp under samtalen. Dette betyr at hvis du plyndrer en kiste, høster et dyreskinn eller plukker en blomst, vil NPC-er kunne kommentere disse handlingene.

NPC-er er nå leppesynkronisert med xVASynth. Dette er åpenbart mye mer naturlig enn de flytende proof-of-concept-stemmene jeg hadde før. Jeg har også gjort noen forbedringer i livskvaliteten, for eksempel å få ned responstidene til ~15 sekunder og legge til en trolldom for å starte samtaler.

Når alt er på plass er det en utrolig surrealistisk opplevelse å kunne sette seg ned og snakke med disse karakterene i VR. Ingenting tar meg ut av opplevelsen mer enn å høre de samme gjentatte stemmelinjene, og med dette er ingen to svar noen gang like. Det er fortsatt mye arbeid igjen, men selv i den nåværende tilstanden kunne jeg ikke gå tilbake til å spille uten dette.

Du vil kanskje legge merke til at den faktiske stemmemeldingen NPC-ene også er ganske robotisk, selv om "Art from the Machine" sier at de bruker tale-til-tekst for å snakke med det ChatGPT 3.5-drevne systemet. Stemmen som høres i videoen er generert fra xVASynth, og deretter koblet til under videoredigering for å erstatte det de kaller sin «radiouvennlige stemme».

Og når kan du laste ned og spille selv? Vel, utvikleren sier at publisering av prosjektet deres fortsatt er litt vanskelig.

"Jeg har egentlig ikke tenkt på hvordan jeg skal publisere dette, så jeg tror jeg må grave i andre ChatGPT-prosjekter for å se hvordan andre har taklet API-nøkkelproblemet. Jeg håper at det er mulig å alternativt koble til en lokalt drevet LLM-modell for alle som ikke er opptatt av å betale API-avgiftene.»

Å servere mer naturlige NPC-svar er også et område som må adresseres, sier utvikleren.

Foreløpig har jeg det satt opp slik at NPC-er sier "la meg tenke" for å indikere at jeg har blitt hørt og at svaret er i ferd med å bli generert, men du har rett, dette kan utvides til å velge mellom noen få forskjellige fyllstoffer linjer i stedet for å gjenta den samme hver gang.

Og selv om videoen blir merkbart raskere etter forespørsler, kommer dette for det meste ned til stemmegenereringsprogramvaren xVASynth, som riktignok bremser responsrørledningen siden den kjøres lokalt. ChatGPT i seg selv påvirker ikke ytelsen, sier utvikleren.

Dette er ikke det første prosjektet vi har sett ved å bruke chatbots for å berike brukerinteraksjoner. Lee Vermeulen, en mangeårig VR-pioner og utvikler bak Modbox, ga ut en video i 2021 som viser frem en av hans første tester med OpenAI GPT 3 og stemmeskuespillprogramvare Kopi. I Vermeulens video snakker han om hvordan han satte parametere for hver NPC, og ga dem den kunnskapen de burde ha, som alt styrer hva slags svar de vil gi.

Sjekk ut Vermeulens video nedenfor, den samme som inspirerte 'Art from the Machine' til å begynne å jobbe med Skyrim VR mod:

[Innebygd innhold]

Som du kan forestille deg, er dette egentlig bare toppen av isfjellet for AI-drevne NPC-interaksjoner. Å kunne snakke naturlig med NPC-er, selv om det er litt stammende og ikke akkurat på menneskelig nivå, kan være å foretrekke fremfor å måtte vasse gjennom massevis av 2D-tekstmenyer, eller gå gjennom sakte og klønete opplæringsprogrammer. Det gir også muligheten til å knytte seg mer til din trofaste AI-følgesvenn, som Skyrim's Lydia eller Fallout 4 er Nick Valentine, som i stedet for å tilby dialog på boks faktisk, vet du, kan hjelpe deg en gang i blant.

Og det er egentlig bare ting på overflaten som en modd som «Art from the Machine» kan levere til eksisterende spill ikke er bygget med AI-drevne NPC-er. Å forestille seg et spill som faktisk er basert på din evne til å stille de riktige spørsmålene og gjøre ditt eget detektivarbeid – vel, det er et rollespill vi aldri har opplevd før, enten i VR ellers.

Tidstempel:

Mer fra Vei til VR