Dieser „Skyrim VR“-Mod zeigt, wie KI die VR-Immersion auf die nächste Stufe bringen kann

Dieser „Skyrim VR“-Mod zeigt, wie KI die VR-Immersion auf die nächste Stufe bringen kann

Zeitstempel: 26. April 2023, 11:29 Uhr
Dieser „Skyrim VR“-Mod zeigt, wie KI das Eintauchen in VR auf die nächste Stufe der Datenintelligenz von PlatoBlockchain bringen kann. Vertikale Suche. Ai.

ChatGPT ist nicht perfekt, aber der Zugriff des beliebten KI-Chatbots auf Large Language Models (LLM) bedeutet, dass er viele Dinge tun kann, die Sie vielleicht nicht erwarten, wie allen NPC-Bewohnern Tamriels die Möglichkeit zu geben, natürliche Gespräche zu führen und Fragen zu beantworten ikonische Fantasiewelt. Unheimlich, ja. Aber es ist ein vorausschauender Blick darauf, wie Spiele eines Tages KI nutzen könnten, um neue Höhen der Immersion zu erreichen.

YouTuber „Kunst aus der Maschine“ hat ein Video veröffentlicht, das zeigt, wie sie die vielgeliebte VR-Version von modifiziert haben The Elder Scrolls V: Skyrim.

Der Mod, der noch nicht verfügbar ist, ermöglicht angeblich das Führen von Gesprächen mit NPCs über ChatGPT und xVASynth, ein KI-Tool zum Generieren von Sprachausgaben mit Stimmen aus Videospielen.

Schauen Sie sich die Ergebnisse im neuesten Update unten an:

[Eingebetteten Inhalt]

Die neueste Version des Projekts wird vorgestellt Skyrim Scripting zum ersten Mal, das laut Entwickler die Lippensynchronisation von Stimmen und das NPC-Bewusstsein von Ereignissen im Spiel ermöglicht. Obwohl es noch ein wenig starr ist, fühlt es sich wie ein ziemlich großer Schritt in Richtung Klettern aus dem unheimlichen Tal an.

So beschreibt „Art from the Machine“ das Projekt in ein neuer Reddit-Post stellen ihre Arbeiten vor:

Vor ein paar Wochen habe ich ein Video gepostet, das ein Python-Skript demonstriert, an dem ich arbeite, mit dem Sie über ChatGPT und xVASynth mit NPCs in Skyrim sprechen können. Seitdem arbeite ich daran, dieses Python-Skript mit Skyrims eigenen Modding-Tools zu integrieren, und ich habe einige aufregende Meilensteine ​​​​erreicht:

NPCs kennen jetzt ihren aktuellen Standort und die Tageszeit. Dies eröffnet ChatGPT viele Möglichkeiten, dynamisch auf die Spielwelt zu reagieren, anstatt darauf zu warten, dass der Spieler Kontext gibt. Zum Beispiel habe ich keine Probleme mehr mit Ladenbesitzern, die versuchen, nach Feierabend im Bannered Mare mit mir zu feilschen. NPCs sind sich auch der Gegenstände bewusst, die der Spieler während des Gesprächs aufhebt. Das bedeutet, wenn Sie eine Truhe plündern, ein Tierfell ernten oder eine Blume pflücken, können NPCs diese Aktionen kommentieren.

NPCs sind jetzt lippensynchron mit xVASynth. Das ist offensichtlich viel natürlicher als die schwebenden Proof-of-Concept-Stimmen, die ich zuvor hatte. Ich habe auch einige Verbesserungen der Lebensqualität vorgenommen, wie z. B. die Reaktionszeit auf ~15 Sekunden zu reduzieren und einen Zauberspruch hinzuzufügen, um Gespräche zu beginnen.

Wenn alles an seinem Platz ist, ist es eine unglaublich surreale Erfahrung, sich hinzusetzen und mit diesen Charakteren in VR zu sprechen. Nichts reißt mich mehr aus der Erfahrung heraus, als dieselben wiederholten Sprachzeilen zu hören, und dabei sind keine zwei Antworten jemals gleich. Es liegt noch viel Arbeit vor mir, aber selbst im jetzigen Zustand könnte ich ohne das Spiel nicht mehr weiterspielen.

Sie werden vielleicht bemerken, dass die eigentliche Stimme, die die NPCs auffordert, auch ziemlich roboterhaft ist, obwohl „Art from the Machine“ sagt, dass sie Sprache-zu-Text verwenden, um mit dem ChatGPT 3.5-gesteuerten System zu sprechen. Die im Video zu hörende Stimme wird aus generiert xVASynth, und dann während der Videobearbeitung eingesteckt, um das zu ersetzen, was sie ihre „radiounfreundliche Stimme“ nennen.

Und wann können Sie herunterladen und selbst spielen? Nun, der Entwickler sagt, dass die Veröffentlichung seines Projekts immer noch ein heikles Thema ist.

„Ich habe nicht wirklich darüber nachgedacht, wie ich das veröffentlichen soll, also denke ich, dass ich mich in andere ChatGPT-Projekte einarbeiten muss, um zu sehen, wie andere das API-Schlüsselproblem angegangen sind. Ich hoffe, dass es möglich ist, alternativ eine Verbindung zu einem lokal betriebenen LLM-Modell für alle herzustellen, die die API-Gebühren nicht zahlen möchten.“

Das Bereitstellen natürlicherer NPC-Antworten ist ebenfalls ein Bereich, der angegangen werden muss, sagt der Entwickler.

Im Moment habe ich es so eingerichtet, dass NPCs „lass mich nachdenken“ sagen, um anzuzeigen, dass ich gehört wurde und die Antwort gerade generiert wird, aber Sie haben Recht, dies kann erweitert werden, um aus ein paar anderen Füllern auszuwählen Zeilen, anstatt jedes Mal die gleiche zu wiederholen.

Und während das Video nach Eingabeaufforderungen merklich beschleunigt wird, liegt dies hauptsächlich an der Spracherzeugungssoftware xVASynth, was zugegebenermaßen die Antwortpipeline verlangsamt, da es lokal ausgeführt wird. ChatGPT selbst beeinträchtigt die Leistung nicht, sagt der Entwickler.

Dies ist nicht das erste Projekt, das Chatbots verwendet, um Benutzerinteraktionen zu bereichern. Lee Vermeulen, ein langjähriger VR-Pionier und Entwickler hinter Modbox, veröffentlichte 2021 ein Video, das einen seiner ersten Tests mit OpenAI GPT 3 und Voice-Acting-Software zeigt Replik. In Vermeulens Video spricht er darüber, wie er Parameter für jeden NPC festlegte und ihnen das Wissen gab, das sie haben sollten, was die Art der Antworten bestimmt, die sie geben werden.

Schauen Sie sich Vermeulens Video unten an, das gleiche, das 'Art from the Machine' dazu inspirierte, mit der Arbeit an zu beginnen Skyrim VR Mod:

[Eingebetteten Inhalt]

Wie Sie sich vorstellen können, ist dies wirklich nur die Spitze des Eisbergs für KI-gesteuerte NPC-Interaktionen. In der Lage zu sein, natürlich mit NPCs zu sprechen, auch wenn es ein wenig stotternd und nicht gerade auf menschlicher Ebene ist, ist möglicherweise vorzuziehen, als sich durch eine Menge 2D-Textmenüs waten zu müssen oder langsame und unbeholfene Tutorials durchzugehen. Es bietet auch die Möglichkeit, sich mehr mit Ihrem treuen KI-Begleiter zu verbinden, z Skyrim Lydia bzw Fallout 4 der Nick Valentine, der Ihnen vielleicht ab und zu aushilft, anstatt Dialoge aus der Dose anzubieten.

Und das ist wirklich nur das oberflächliche Zeug, das ein Mod wie „Art from the Machine“ für bestehende Spiele liefern könnte sind nicht gebaut mit KI-gesteuerten NPCs. Stellen Sie sich ein Spiel vor, das tatsächlich auf Ihrer Fähigkeit basiert, die richtigen Fragen zu stellen und Ihre eigene Detektivarbeit zu leisten – nun, das ist ein Rollenspiel, das wir noch nie zuvor erlebt haben, weder in VR noch sonst.

Zeitstempel:

Mehr von Straße nach VR