Acest mod „Skyrim VR” arată cum AI poate duce imersiunea VR la nivelul următor

Acest mod „Skyrim VR” arată cum AI poate duce imersiunea VR la nivelul următor

Marca temporală: 26 aprilie 2023 11:29
This ‘Skyrim VR’ Mod Shows How AI Can Take VR Immersion to the Next Level PlatoBlockchain Data Intelligence. Vertical Search. Ai.

ChatGPT nu este perfect, dar accesul popularului chatbot AI la modele lingvistice mari (LLM) înseamnă că poate face o mulțime de lucruri la care s-ar putea să nu vă așteptați, cum ar fi să ofere tuturor locuitorilor NPC din Tamriel capacitatea de a ține conversații naturale și de a răspunde la întrebări despre lume iconică a fanteziei. Straniu, da. Dar este o privire prevăzătoare asupra modului în care jocurile ar putea folosi într-o zi AI pentru a atinge noi culmi în imersiune.

utilizator YouTuber „Arta din mașină” a lansat un videoclip care arată cum au modificat versiunea VR mult iubită a Elder Scrolls V: Skyrim.

Modul, care nu este încă disponibil, vă permite aparent să țineți conversații cu NPC-uri prin ChatGPT și xVASynth, un instrument AI pentru generarea de linii vocale folosind voci din jocurile video.

Consultați rezultatele în cea mai recentă actualizare de mai jos:

[Conținutul încorporat]

Cea mai recentă versiune a proiectului prezintă Skyrim scripting pentru prima dată, despre care dezvoltatorul spune că permite sincronizarea pe buze a vocilor și conștientizarea NPC-urilor cu privire la evenimentele din joc. Deși este încă puțin rigid, se simte ca un pas destul de mare către urcarea din valea neobișnuită.

Iată cum descrie proiectul „Arta din mașină”. o postare recentă pe Reddit prezentându-și munca:

Acum câteva săptămâni am postat un videoclip care demonstrează un script Python la care lucrez și care vă permite să vorbiți cu NPC-uri în Skyrim prin ChatGPT și xVASynth. De atunci, am lucrat pentru a integra acest script Python cu instrumentele de modificare proprii ale Skyrim și am atins câteva etape interesante:

NPC-urile sunt acum conștienți de locația lor curentă și ora din zi. Acest lucru deschide o mulțime de posibilități pentru ChatGPT de a reacționa dinamic la lumea jocului, în loc să aștepte să primească context de către jucător. De exemplu, nu mai am probleme cu comercianții care încearcă să facă troc cu mine în Bannered Mare după orele de lucru. NPC-urile sunt, de asemenea, conștienți de elementele preluate de jucător în timpul conversației. Aceasta înseamnă că dacă jefuiți un cufăr, recoltați o piele de animal sau culegeți o floare, NPC-urile vor putea comenta aceste acțiuni.

NPC-urile sunt acum sincronizate cu xVASynth. Acest lucru este, evident, mult mai natural decât vocile flotante de dovadă a conceptului pe care le-am avut înainte. De asemenea, am făcut unele îmbunătățiri ale calității vieții, cum ar fi reducerea timpilor de răspuns la ~15 secunde și adăugarea unei vrăji pentru a începe conversațiile.

Când totul este la locul lui, este o experiență incredibil de suprarealistă să poți sta jos și să vorbești cu aceste personaje în VR. Nimic nu mă scoate mai mult din experiență decât să aud aceleași linii vocale repetate și, prin aceasta, nu există două răspunsuri identice. Mai este mult de lucru, dar nici în starea actuală nu m-aș putea întoarce la joc fără asta.

S-ar putea să observați că vocea reală care solicită NPC-urilor este, de asemenea, destul de robotică, deși „Art from the Machine” spune că folosesc vocea în text pentru a vorbi cu sistemul bazat pe ChatGPT 3.5. Vocea auzită în videoclip este generată din xVASynthși apoi conectat în timpul editării video pentru a înlocui ceea ce ei numesc „vocea neprietenoasă pentru radio”.

Și când poți descărca și juca pentru tine? Ei bine, dezvoltatorul spune că publicarea proiectului lor este încă o problemă lipicioasă.

„Nu m-am gândit cu adevărat cum să public acest lucru, așa că cred că va trebui să cercetez alte proiecte ChatGPT pentru a vedea cum au abordat alții problema cheii API. Sper că este posibil să se conecteze alternativ la un model LLM administrat local pentru oricine nu este dornic să plătească taxele API.”

Furnizarea de răspunsuri NPC mai naturale este, de asemenea, un domeniu care trebuie abordat, spune dezvoltatorul.

Deocamdată l-am configurat astfel încât NPC-urile să spună „lasă-mă să mă gândesc” pentru a indica că am fost auzit și răspunsul este în curs de a fi generat, dar ai dreptate, acesta poate fi extins pentru a alege dintre câteva elemente de umplere diferite. linii în loc să se repete de fiecare dată.

Și în timp ce videoclipul este vizibil accelerat după solicitări, acest lucru se reduce în principal la software-ul de generare a vocii xVASynth, ceea ce, desigur, încetinește conducta de răspuns, deoarece este rulat local. ChatGPT în sine nu afectează performanța, spune dezvoltatorul.

Acesta nu este primul proiect pe care l-am văzut folosind chatbot-uri pentru a îmbogăți interacțiunile utilizatorilor. Lee Vermeulen, un pionier și dezvoltator VR de lungă durată Modbox, a lansat un videoclip în 2021 în care arăta unul dintre primele sale teste folosind OpenAI GPT 3 și software-ul de actorie vocală Replică. În videoclipul lui Vermeulen, el vorbește despre modul în care a stabilit parametrii pentru fiecare NPC, oferindu-le corpul de cunoștințe pe care ar trebui să-l aibă, toate acestea ghidând tipul de răspunsuri pe care le vor da.

Urmărește videoclipul lui Vermeulen de mai jos, exact același care a inspirat „Arta din mașină” să înceapă să lucreze la Skyrim VR mod:

[Conținutul încorporat]

După cum v-ați imagina, acesta este într-adevăr doar vârful aisbergului pentru interacțiunile NPC conduse de AI. A fi capabil să vorbești în mod natural cu NPC-urile, chiar dacă este puțin bâlbâit și nu tocmai la nivel uman, poate fi de preferat decât a trebui să treci printr-o mulțime de meniuri text 2D sau să treci prin tutoriale lente și neplăcute. Oferă, de asemenea, șansa de a crea mai multă legătură cu partenerul tău de încredere AI, de exemplu A lui Skyrim Lydia sau Fallout 4 lui Nick Valentine, care, în loc să ofere un dialog prealabil, ar putea, știi, să te ajute din când în când.

Și acestea sunt într-adevăr doar lucrurile la nivel de suprafață pe care un mod precum „Art from the Machine” le-ar putea oferi jocurilor existente care nu sunt construit cu NPC-uri conduse de AI. Să-ți imaginezi un joc care se bazează de fapt pe capacitatea ta de a pune întrebările potrivite și de a-ți face propria muncă de detectiv - ei bine, acesta este un joc de rol pe care nu l-am mai experimentat până acum, nici în VR sau altfel.

Timestamp-ul:

Mai mult de la Drumul spre VR