Die generative KI-Revolution in Spielen

Um zu verstehen, wie radikal das Gaming durch die generative KI verändert wird, schauen Sie nicht weiter als in diesem aktuellen Twitter Post by @emmanuel_2m. In diesem Beitrag untersucht er die Verwendung von Stable Diffusion + Dreambooth, beliebten generativen 2D-KI-Modellen, um Bilder von Tränken für ein hypothetisches Spiel zu generieren.

Das Transformierende an dieser Arbeit ist nicht nur, dass sie Zeit und Geld spart und gleichzeitig Qualität liefert – und damit das klassische Dreieck „Kosten, Qualität oder Geschwindigkeit gibt es nur zwei“ zerschlägt. Künstler erstellen jetzt innerhalb weniger Stunden hochwertige Bilder, für deren Generierung sonst Wochen von Hand benötigt würden. Was wirklich transformativ ist, ist Folgendes:

• Diese kreative Kraft steht jetzt jedem zur Verfügung, der ein paar einfache Werkzeuge erlernen kann.
• Diese Tools können auf höchst iterative Weise eine endlose Anzahl von Variationen erstellen.
• Nach dem Training läuft der Prozess in Echtzeit ab – die Ergebnisse sind nahezu augenblicklich verfügbar.

Seit Echtzeit-3D hat es keine Technologie mehr gegeben, die für Spiele so revolutionär war. Verbringen Sie jederzeit Zeit damit, mit Spieleentwicklern zu sprechen, und das Gefühl der Aufregung und des Staunens ist greifbar. Wohin geht diese Technologie also? Und wie wird es das Gaming verändern? Lassen Sie uns zunächst jedoch überprüfen, was generative KI ist.

INHALTSVERZEICHNIS

Was ist generative KI

Generative KI ist eine Kategorie des maschinellen Lernens, bei der Computer als Reaktion auf Eingaben des Benutzers originelle neue Inhalte generieren können. Heute sind Text und Bilder die ausgereiftesten Anwendungen dieser Technologie, aber es wird in praktisch allen kreativen Bereichen gearbeitet, von Animationen über Soundeffekte und Musik bis hin zur Schaffung virtueller Charaktere mit vollständig ausgearbeiteten Persönlichkeiten.

KI ist in Spielen natürlich nichts Neues. Sogar frühe Spiele, wie Ataris Pong, hatten computergesteuerte Gegner, um den Spieler herauszufordern. Diese virtuellen Feinde führten jedoch keine KI aus, wie wir sie heute kennen. Sie waren einfach geskriptete Prozeduren, die von Spieledesignern erstellt wurden. Sie simulierten einen künstlich intelligenten Gegner, aber sie konnten nicht lernen und waren nur so gut wie die Programmierer, die sie gebaut haben.

Was jetzt anders ist, ist die verfügbare Rechenleistung dank schnellerer Mikroprozessoren und der Cloud. Mit dieser Leistung ist es möglich, große neuronale Netze aufzubauen, die Muster und Darstellungen in hochkomplexen Bereichen identifizieren können.

Dieser Blogbeitrag besteht aus zwei Teilen:

• Teil I besteht aus unseren Beobachtungen und Vorhersagen für den Bereich der generativen KI für Spiele.
• Teil II ist unsere Marktkarte des Raums, die die verschiedenen Segmente skizziert und die wichtigsten Unternehmen in jedem identifiziert.

INHALTSVERZEICHNIS

Annahmen

Lassen Sie uns zunächst einige Annahmen untersuchen, die dem Rest dieses Blogbeitrags zugrunde liegen:

1. Der Umfang der Forschung im Bereich der allgemeinen KI wird weiter zunehmen und immer effektivere Techniken hervorbringen

Betrachten Sie diese Grafik mit der Anzahl der wissenschaftlichen Arbeiten, die zu maschinellem Lernen oder künstlicher Intelligenz im veröffentlicht wurden arXiv-Archiv jeden Monat:

Wie Sie sehen können, wächst die Zahl der Papiere exponentiell, ohne Anzeichen einer Verlangsamung. Und dies schließt nur veröffentlichte Artikel ein – ein Großteil der Forschung wird nie veröffentlicht und geht direkt in Open-Source-Modelle oder Produkt-F&E über. Das Ergebnis ist eine Explosion an Interesse und Innovation.

2. Von allen Unterhaltungsangeboten werden Spiele am stärksten von der generativen KI beeinflusst

Spiele sind die komplexeste Form der Unterhaltung, was die schiere Anzahl der beteiligten Asset-Typen betrifft (2D-Kunst, 3D-Kunst, Soundeffekte, Musik, Dialoge usw.). Spiele sind auch am interaktivsten, mit einem starken Schwerpunkt auf Echtzeit-Erlebnissen. Dies schafft eine hohe Eintrittsbarriere für neue Spieleentwickler sowie hohe Kosten für die Produktion eines modernen Spiels, das die Charts anführt. Es schafft auch eine enorme Chance für die Störung der generativen KI.

Betrachten Sie ein Spiel wie Red Dead Redemption 2, eines der teuersten Spiele aller Zeiten, dessen Herstellung fast 500 Millionen US-Dollar gekostet hat. Es ist leicht zu verstehen, warum – es hat eine der schönsten, vollständig realisierten virtuellen Welten aller Spiele auf dem Markt. Es dauerte auch fast 8 Jahre, um zu bauen, bietet mehr als 1,000 nicht spielbare Charaktere (jeder mit seiner eigenen Persönlichkeit, Grafik und Synchronsprecher), eine Welt mit einer Größe von fast 30 Quadratmeilen, mehr als 100 Missionen, die auf 6 Kapitel verteilt sind, und Fast 60 Stunden Musik von über 100 Musikern. Alles an diesem Spiel ist groß.

Vergleichen Sie nun Red Dead Redemption 2 damit Microsoft Flight Simulator, das ist nicht nur groß, es ist enorm. Microsoft Flight Simulator ermöglicht es Spielern, den gesamten Planeten Erde zu umfliegen, alle 197 Millionen Quadratmeilen davon. Wie hat Microsoft ein so gewaltiges Spiel entwickelt? Indem man es einer KI überlässt. Microsoft hat eine Partnerschaft mit blackshark.ai, und trainierte eine KI dazu aus 3D-Satellitenbildern eine fotorealistische 2D-Welt erzeugen.

Dies ist ein Beispiel für ein Spiel, das ohne den Einsatz von KI buchstäblich unmöglich zu bauen gewesen wäre und darüber hinaus von der Tatsache profitiert, dass diese Modelle im Laufe der Zeit kontinuierlich verbessert werden können. Sie können zum Beispiel das Modell „Highway Cloverleaf Overpass“ verbessern, den gesamten Bauprozess erneut ausführen und plötzlich sind alle Autobahnüberführungen auf dem gesamten Planeten verbessert.

3. Es wird ein generatives KI-Modell für jedes Asset geben, das an der Spieleproduktion beteiligt ist

Bisher haben 2D-Bildgeneratoren wie Stable Diffusion oder MidJourney aufgrund der auffälligen Natur der Bilder, die sie erzeugen können, den Großteil der populären Aufregung über die generative KI eingefangen. Aber bereits jetzt gibt es generative KI-Modelle für praktisch alle an Spielen beteiligten Assets, von 3D-Modellen über Charakteranimationen bis hin zu Dialogen und Musik. Die zweite Hälfte dieses Blogbeitrags enthält eine Marktkarte, die einige der Unternehmen hervorhebt, die sich auf jede Art von Inhalt konzentrieren.

4. Der Preis für Inhalte wird dramatisch sinken und in einigen Fällen praktisch auf Null gehen.

Wenn man mit Spieleentwicklern spricht, die damit experimentieren, generative KI in ihre Produktionspipeline zu integrieren, ist die größte Aufregung die dramatische Reduzierung von Zeit und Kosten. Ein Entwickler hat uns mitgeteilt, dass seine Zeit zur Erstellung von Konzeptgrafiken für ein einzelnes Bild von Anfang bis Ende von 3 Wochen auf eine Stunde gesunken ist: eine Reduzierung von 120 zu 1. Wir glauben, dass ähnliche Einsparungen über die gesamte Produktionspipeline möglich sind.

Um es klar zu sagen: Künstler sind nicht in Gefahr, ersetzt zu werden. Es bedeutet jedoch, dass Künstler nicht mehr die ganze Arbeit selbst erledigen müssen: Sie können jetzt die anfängliche kreative Richtung festlegen und dann einen Großteil der zeitaufwändigen und technischen Ausführung an eine KI übergeben. Darin ähneln sie Cel-Malern aus den frühen Tagen der handgezeichneten Animation, in denen hochqualifizierte „Inker“ die Umrisse der Animation zeichneten und dann Armeen von kostengünstigeren „Malern“ die zeitaufwändige Arbeit des Malens erledigten Animations-Cels, die Zeilen ausfüllen. Es ist die „automatische Vervollständigung“ für die Spielerstellung.

5. Wir stecken noch in den Kinderschuhen dieser Revolution und viele Praktiken müssen noch verfeinert werden

Trotz aller Aufregung stehen wir erst am Anfang. Es liegt eine enorme Menge an Arbeit vor uns, während wir herausfinden, wie wir diese neue Technologie für Spiele nutzen können, und es werden enorme Möglichkeiten für Unternehmen entstehen, die sich schnell in diesen neuen Bereich hineinbewegen.

INHALTSVERZEICHNIS

Prognosen

Angesichts dieser Annahmen sind hier einige Vorhersagen darüber, wie sich die Spieleindustrie verändern könnte:

1. Das Erlernen der effektiven Nutzung der generativen KI wird zu einer marktfähigen Fähigkeit

Wir sehen bereits einige Experimentatoren, die generative KI effektiver einsetzen als andere. Um diese neue Technologie optimal zu nutzen, müssen Sie eine Vielzahl von Tools und Techniken verwenden und wissen, wie Sie zwischen ihnen wechseln können. Wir gehen davon aus, dass dies zu einer marktfähigen Fähigkeit werden wird, die die kreative Vision eines Künstlers mit den technischen Fähigkeiten eines Programmierers kombiniert.

Chris Anderson ist berühmt für den Ausspruch: „Jeder Überfluss schafft eine neue Knappheit.“ Da Inhalte im Überfluss vorhanden sind, glauben wir, dass die Künstler, die wissen, wie man am kollaborativsten und effektivsten mit den KI-Tools arbeitet, am knappsten sein werden.

Generative KI beispielsweise für Produktionsgrafiken zu verwenden, bringt besondere Herausforderungen mit sich, darunter:

• Kohärenz. Bei jedem Produktionsobjekt müssen Sie in der Lage sein, später Änderungen oder Bearbeitungen am Objekt vorzunehmen. Bei einem KI-Tool bedeutet dies, dass Sie in der Lage sein müssen, das Asset mit derselben Eingabeaufforderung zu reproduzieren, damit Sie dann Änderungen vornehmen können. Dies kann schwierig sein, da dieselbe Eingabeaufforderung zu sehr unterschiedlichen Ergebnissen führen kann.
• Stil. Es ist wichtig, dass alle Grafiken in einem bestimmten Spiel einen einheitlichen Stil haben – was bedeutet, dass Ihre Werkzeuge an Ihrem bestimmten Stil trainiert oder anderweitig an ihn gebunden sein müssen.

2. Das Senken von Barrieren führt zu mehr Risikobereitschaft und kreativem Erkunden

Wir könnten bald in ein neues „goldenes Zeitalter“ der Spieleentwicklung eintreten, in dem eine niedrigere Eintrittsbarriere zu einer Explosion innovativerer und kreativerer Spiele führt. Nicht nur, weil niedrigere Produktionskosten zu einem geringeren Risiko führen, sondern weil diese Tools die Möglichkeit eröffnen, qualitativ hochwertige Inhalte für ein breiteres Publikum zu erstellen. Was zur nächsten Vorhersage führt …

3. Zunahme von KI-gestützten „Micro Game Studios“

Bewaffnet mit generativen KI-Tools und -Diensten werden wir beginnen, rentablere kommerzielle Spiele zu sehen, die von winzigen „Mikrostudios“ mit nur 1 oder 2 Mitarbeitern produziert werden. Die Idee eines kleinen Indie-Game-Studios ist nicht neu – Hit-Game Among Us wurde vom Studio Innersloth mit nur 5 Mitarbeitern erstellt – aber die Größe und der Umfang der Spiele, die diese kleinen Studios erstellen können, werden wachsen. Daraus ergibt sich …

4. Eine Erhöhung der Anzahl der Spiele, die jedes Jahr veröffentlicht werden

Der Erfolg von Unity und Roblox hat gezeigt, dass die Bereitstellung leistungsstarker Kreativtools dazu führt, dass mehr Spiele entwickelt werden. Die generative KI wird die Messlatte noch weiter senken und eine noch größere Anzahl von Spielen schaffen. Die Branche leidet bereits unter Discovery-Herausforderungen – mehr als 10,000 Spiele wurden zu Steam hinzugefügt allein im vergangenen Jahr – und dies wird noch mehr Druck auf die Entdeckung ausüben. Wir werden aber auch sehen…

5. Neue Spieltypen erstellt, die vor Generative AI nicht möglich waren

Wir werden sehen, wie neue Spielgenres erfunden werden, die ohne generative KI einfach nicht möglich wären. Wir haben bereits über den Flugsimulator von Microsoft gesprochen, aber es werden völlig neue Genres erfunden, die von der Generierung neuer Inhalte in Echtzeit abhängen.

Geht davon Pfeilmagier, durch Zauberpinsel. Dies ist ein RPG-Spiel mit KI-erstellten Charakteren für praktisch unbegrenztes neues Gameplay.

Wir kennen auch einen anderen Spieleentwickler, der KI verwendet, um Spielern die Möglichkeit zu geben, ihren eigenen In-Game-Avatar zu erstellen. Früher hatten sie eine Sammlung von handgezeichneten Avatar-Bildern, die die Spieler mischen und anpassen konnten, um ihren Avatar zu erstellen – jetzt haben sie diese komplett verworfen und generieren das Avatar-Bild einfach aus der Beschreibung des Spielers. Es ist sicherer, Spieler Inhalte über eine KI erstellen zu lassen, als Spieler ihre eigenen Inhalte von Grund auf neu hochladen zu lassen, da die KI trainiert werden kann, die Erstellung anstößiger Inhalte zu vermeiden, während den Spielern dennoch ein größeres Gefühl der Eigenverantwortung vermittelt wird.

6. Branchenspezifische KI-Tools werden wertvoller und nicht nur grundlegende Modelle

Die Aufregung und Begeisterung um grundlegende Modelle wie Stable Diffusion und Midjourney sorgen für atemberaubende Bewertungen, aber die anhaltende Flut neuer Forschungsergebnisse stellt sicher, dass neue Modelle kommen und gehen, wenn neue Techniken verfeinert werden. Betrachten Sie den Website-Suchverkehr zu 3 beliebten generativen KI-Modellen: Dall-E, Midjourney und Stable Diffusion. Jedes neue Modell steht im Rampenlicht.

Ein alternativer Ansatz könnte darin bestehen, branchenspezifische Suite von Tools zu entwickeln, die sich auf die Anforderungen einer bestimmten Branche an generative KI konzentrieren, mit tiefem Verständnis für ein bestimmtes Publikum und umfassender Integration in bestehende Produktionspipelines (wie Unity oder Unreal für Spiele).

Ein gutes Beispiel ist Landebahn die auf die Bedürfnisse von Videokünstlern mit KI-unterstützten Tools wie Videobearbeitung, Greenscreen-Entfernung, Inpainting und Bewegungsverfolgung abzielt. Tools wie dieses können ein bestimmtes Publikum aufbauen und monetarisieren und im Laufe der Zeit neue Modelle hinzufügen. Wir haben noch keine Suite wie Runway für Spiele auftauchen sehen, aber wir wissen, dass es ein Bereich aktiver Entwicklung ist.

7. Rechtliche Herausforderungen kommen

Allen diesen generativen KI-Modellen ist gemeinsam, dass sie mit riesigen Datensätzen von Inhalten trainiert werden, die oft durch das Scrapen des Internets selbst erstellt werden. Stable Diffusion zum Beispiel wird mit mehr als 5 Milliarden Bild-/Untertitelpaaren trainiert, die aus dem Internet gekratzt wurden.

Im Moment behaupten diese Modelle, unter der „Fair Use“-Urheberrechtsdoktrin zu arbeiten, aber dieses Argument wurde noch nicht endgültig vor Gericht geprüft. Das scheint klar rechtliche Herausforderungen kommen was wahrscheinlich die Landschaft der generativen KI verändern wird.

Es ist möglich, dass große Studios einen Wettbewerbsvorteil anstreben, indem sie proprietäre Modelle erstellen, die auf internen Inhalten basieren, auf die sie ein klares Recht und einen Anspruch haben. Hier ist zum Beispiel Microsoft besonders gut aufgestellt 23 First-Party-Studios heute, und weitere 7 danach Die Übernahme von Activision wird abgeschlossen.

8. Die Programmgestaltung wird nicht so stark gestört wie der künstlerische Inhalt – zumindest noch nicht

Software-Engineering ist der andere große Kostenfaktor bei der Spieleentwicklung, aber wie unsere Kollegen vom a16z Enterprise-Team in ihrem letzten Blogbeitrag mitgeteilt haben, Kunst ist nicht tot, sie ist nur maschinengeneriert, erfordert das Generieren von Code mit einem KI-Modell mehr Tests und Überprüfungen und hat daher eine geringere Produktivitätssteigerung als das Generieren von Creative-Assets. Codierungstools wie Copilot können Ingenieuren moderate Leistungsverbesserungen bieten, werden aber nicht die gleiche Wirkung haben … zumindest in absehbarer Zeit.

INHALTSVERZEICHNIS

Empfehlungen

Basierend auf diesen Vorhersagen bieten wir die folgenden Empfehlungen an:

1. Beginnen Sie jetzt mit der Erforschung der generativen KI

Es wird eine Weile dauern, bis man herausfindet, wie man die Kraft dieser kommenden generativen KI-Revolution voll ausschöpfen kann. Unternehmen, die jetzt starten, haben später einen Vorteil. Wir kennen mehrere Studios, die interne experimentelle Projekte am Laufen haben, um zu untersuchen, wie sich diese Techniken auf die Produktion auswirken können.

2. Suchen Sie nach Marktkartenmöglichkeiten

Einige Teile unserer Marktkarte sind bereits sehr voll, wie Animationen oder Sprache & Dialog, aber andere Bereiche sind weit offen. Wir ermutigen Unternehmer, die sich für diesen Bereich interessieren, ihre Bemühungen auf die noch unerforschten Bereiche zu konzentrieren, wie z. B. „Runway for Games“.

INHALTSVERZEICHNIS

Aktuelle Marktlage

Wir haben eine Marktkarte erstellt, um eine Liste der Unternehmen zu erfassen, die wir in jeder dieser Kategorien identifiziert haben, in denen wir sehen, dass sich die generative KI auf Spiele auswirkt. Dieser Blogbeitrag geht durch jede dieser Kategorien, erklärt sie etwas detaillierter und hebt die aufregendsten Unternehmen in jeder Kategorie hervor.

INHALTSVERZEICHNIS

2D-Bilder

Das Generieren von 2D-Bildern aus Texteingabeaufforderungen ist bereits eines der am weitesten verbreiteten Anwendungsgebiete der generativen KI. Werkzeuge wie Zwischendurch, Stable Diffusion und Ab E2 können hochwertige 2D-Bilder aus Text generieren und haben bereits in mehreren Phasen des Spiellebenszyklus ihren Weg in die Spieleproduktion gefunden.

concept Art

Generative KI-Tools eignen sich hervorragend für die „Ideenfindung“ oder helfen Nicht-Künstlern wie Spieledesignern, Konzepte und Ideen sehr schnell zu erkunden, um Konzeptgrafiken zu erstellen, die ein wichtiger Bestandteil des Produktionsprozesses sind. Beispielsweise verwendet ein Studio (anonym bleibend) mehrere dieser Tools zusammen, um seinen Konzeptkunstprozess radikal zu beschleunigen, und benötigt einen einzigen Tag, um ein Bild zu erstellen, das zuvor drei Wochen gedauert hätte.

• Erstens verwenden ihre Spieledesigner Midjourney, um verschiedene Ideen zu erforschen und Bilder zu erstellen, die sie inspirierend finden.
• Diese werden einem professionellen Konzeptkünstler übergeben, der sie zusammensetzt und das Ergebnis übermalt, um ein einziges kohärentes Bild zu erstellen – das dann in Stable Diffusion eingespeist wird, um eine Reihe von Variationen zu erstellen.
• Sie besprechen diese Variationen, wählen eine aus, malen einige Änderungen manuell ein – und wiederholen den Vorgang dann, bis sie mit dem Ergebnis zufrieden sind.
• Übergeben Sie dieses Bild in diesem Stadium ein letztes Mal zurück an Stable Diffusion, um es zu „hochskalieren“, um das endgültige Kunstwerk zu erstellen.

2D-Produktionskunst

Einige Studios experimentieren bereits damit, die gleichen Tools für In-Game-Produktionsgrafiken zu verwenden. Hier ist zum Beispiel ein schönes Tutorial von Albert Bozesan über die Verwendung von Stable Diffusion zum Erstellen von 2D-Assets im Spiel.

INHALTSVERZEICHNIS

3D-Grafik

3D-Assets sind der Baustein aller modernen Spiele sowie des kommenden Metaversums. Eine virtuelle Welt oder Spielebene ist im Wesentlichen nur eine Sammlung von 3D-Assets, die platziert und modifiziert werden, um die Umgebung zu bevölkern. Das Erstellen eines 3D-Assets ist jedoch komplexer als das Erstellen eines 2D-Bildes und umfasst mehrere Schritte, darunter das Erstellen eines 3D-Modells und das Hinzufügen von Texturen und Effekten. Bei animierten Charakteren geht es auch darum, ein internes „Skelett“ zu erstellen und dann Animationen auf diesem Skelett zu erstellen.

Wir sehen mehrere verschiedene Startups, die jede Phase dieses 3D-Asset-Erstellungsprozesses durchlaufen, einschließlich Modellerstellung, Charakteranimation und Levelbau. Dies ist jedoch noch kein gelöstes Problem – noch ist keine der Lösungen bereit, vollständig in die Produktion integriert zu werden.

3D-Assets

Zu den Startups, die versuchen, das Problem der 3D-Modellerstellung zu lösen, gehören: Kaedim, Mirage und Hypothetisch. Auch größere Unternehmen beschäftigen sich mit dem Problem, darunter auch Nvidia Get3D und Autodesks ClipForge. Kaedim und Get3d konzentrieren sich auf Image-to-3D; ClipForge und Mirage konzentrieren sich auf Text-to-3D, während Hypothetic sowohl an Text-to-3D-Suche als auch an Image-to-3D interessiert ist.

3D-Texturen

Ein 3D-Modell sieht nur so realistisch aus wie die Textur oder die Materialien, die auf das Netz angewendet werden. Die Entscheidung, welche moosige, verwitterte Steinstruktur auf ein mittelalterliches Burgmodell angewendet werden soll, kann das Erscheinungsbild einer Szene vollständig verändern. Texturen enthalten Metadaten darüber, wie Licht auf das Material reagiert (z. B. Rauheit, Glanz usw.). Künstlern die Möglichkeit zu geben, Texturen auf der Grundlage von Text- oder Bildaufforderungen einfach zu generieren, wird enorm wertvoll sein, um die Iterationsgeschwindigkeit innerhalb des kreativen Prozesses zu erhöhen. Mehrere Teams verfolgen diese Gelegenheit, darunter BariumAI, Ponzu und ArmorLab.

Animation

Das Erstellen großartiger Animationen ist einer der zeitaufwändigsten, teuersten und geschicktesten Teile des Spielentwicklungsprozesses. Eine Möglichkeit, die Kosten zu senken und realistischere Animationen zu erstellen, ist die Verwendung von Motion Capture, bei der Sie einen Schauspieler oder Tänzer in einen Motion-Capture-Anzug stecken und ihn in einer speziell instrumentierten Motion-Capture-Bühne aufzeichnen.

Wir sehen jetzt generative KI-Modelle, die Animationen direkt aus einem Video aufnehmen können. Dies ist viel effizienter, sowohl weil es die Notwendigkeit eines teuren Motion-Capture-Rigs überflüssig macht, als auch weil es bedeutet, dass Sie Animationen aus vorhandenen Videos aufnehmen können. Ein weiterer spannender Aspekt dieser Modelle ist, dass sie auch verwendet werden können, um Filter auf bestehende Animationen anzuwenden, um sie beispielsweise betrunken, alt oder glücklich aussehen zu lassen. Zu den Unternehmen, die diesen Bereich anstreben, gehören Kinetix, Tiefe Bewegung, Radikale, Ai bewegen und Plask.

Leveldesign & Worldbuilding

Einer der zeitaufwändigsten Aspekte der Spieleerstellung ist der Aufbau der Welt eines Spiels, eine Aufgabe, für die die generative KI gut geeignet sein sollte. Spiele wie Minecraft, No Man's Sky und Diablo sind bereits dafür bekannt, prozedurale Techniken zum Generieren ihrer Levels zu verwenden, bei denen Levels zufällig erstellt werden, jedes Mal anders, aber nach den vom Leveldesigner festgelegten Regeln. Ein großes Verkaufsargument der neuen Spiel-Engine von Unreal 5 ist ihre Sammlung von prozeduralen Tools für das Open-World-Design, wie z. B. die Platzierung von Blättern.

Wir haben einige Initiativen im Raum gesehen, wie z Promethean, MLXAR, oder Metas Builder-Bot, und denken, dass es nur eine Frage der Zeit ist, bis generative Techniken prozedurale Techniken weitgehend ersetzen. Es gibt seit einiger Zeit akademische Forschung in diesem Bereich, einschließlich Generative Techniken für Minecraft or Leveldesign in Doom.

Ein weiterer zwingender Grund, sich auf generative KI-Tools für das Leveldesign zu freuen, wäre die Möglichkeit, Levels und Welten in verschiedenen Stilen zu erstellen. Man könnte sich vorstellen, Werkzeuge zu fragen, um eine Welt im New York der Flapper-Ära der 1920er Jahre zu erschaffen, vs. dystopische, Blade-Runner-ähnliche Zukunft, vs. Tolkien-ähnliche Fantasy-Welt.

Die folgenden Konzepte wurden von Midjourney unter Verwendung der Eingabeaufforderung „ein Spiellevel im Stil von …“ generiert.

Audio

Sound und Musik sind ein großer Teil des Spielerlebnisses. Wir fangen an, Unternehmen zu sehen, die generative KI verwenden, um Audio zu generieren, um die Arbeit zu ergänzen, die bereits auf der Grafikseite stattfindet.

Geräuschkulisse

Soundeffekte sind ein attraktives offenes Feld für KI. Da waren wissenschaftliche Arbeiten Erforschung der Idee, KI zu verwenden, um „Foley“ in Filmen (z. B. Schritte) zu erzeugen, aber bisher nur wenige kommerzielle Produkte in Spielen.

Wir denken, dass dies nur eine Frage der Zeit ist, da die interaktive Natur von Spielen dies zu einer offensichtlichen Anwendung für generative KI macht, die sowohl statische Soundeffekte als Teil der Produktion erzeugt („Laserpistolen-Sound im Stil von Star Wars“) als auch Erstellen von interaktiven Echtzeit-Soundeffekten zur Laufzeit.

Betrachten Sie etwas so Einfaches wie das Erzeugen von Schrittgeräuschen für den Charakter des Spielers. Die meisten Spiele lösen dies, indem sie eine kleine Anzahl vorab aufgezeichneter Schrittgeräusche einschließen: Gehen auf Gras, Gehen auf Schotter, Laufen auf Gras, Laufen auf Schotter usw. Diese sind mühsam zu erzeugen und zu verwalten und klingen zur Laufzeit repetitiv und unrealistisch.

Ein besserer Ansatz wäre ein generatives KI-Echtzeitmodell für Foley-Soundeffekte, das passende Soundeffekte im Handumdrehen erzeugen kann, jedes Mal leicht anders, die auf In-Game-Parameter wie Bodenoberfläche, Gewicht des Charakters reagieren, Gang, Schuhe usw.

Musik

Musik war schon immer eine Herausforderung für Spiele. Es ist wichtig, da es helfen kann, den emotionalen Ton anzugeben, wie es in Film oder Fernsehen der Fall ist, aber da Spiele Hunderte oder sogar Tausende von Stunden dauern können, kann es schnell repetitiv oder nervig werden. Außerdem kann es aufgrund der interaktiven Natur von Spielen schwierig sein, dass die Musik genau mit dem übereinstimmt, was zu einem bestimmten Zeitpunkt auf dem Bildschirm passiert.

Adaptive Musik ist seit mehr als zwei Jahrzehnten ein Thema im Audiobereich von Spielen, das bis zu Microsofts „Direktmusik” System zum Erstellen interaktiver Musik. DirectMusic wurde nie weit verbreitet, hauptsächlich aufgrund der Schwierigkeit, in dem Format zu komponieren. Nur wenige Spiele, wie das von Monolith Niemand lebt für immer, erstellt wirklich interaktive Partituren.

Jetzt sehen wir eine Reihe von Unternehmen, die versuchen, KI-generierte Musik zu erstellen, wie z Klangvoll, Musiker, Harmonika, Unendliches Album und Aiva. Und während einige Tools heute, wie Musikbox von Open AI, sehr rechenintensiv sind und nicht in Echtzeit ausgeführt werden können, können die meisten in Echtzeit ausgeführt werden, sobald das ursprüngliche Modell erstellt wurde.

Sprache und Dialog

Es gibt eine große Anzahl von Unternehmen, die versuchen, realistische Stimmen für Charaktere im Spiel zu erstellen. Angesichts der langen Geschichte des Versuchs, Computern durch Sprachsynthese eine Stimme zu geben, ist dies nicht überraschend. Zu den Unternehmen gehören Sonantisch, coqui, Replikate Studios, ähneln.ai, Readspeaker.aiund viele mehr.

Die Verwendung von generativer KI für Sprache hat mehrere Vorteile, was teilweise erklärt, warum dieser Raum so überfüllt ist.

• Dialog on-the-fly generieren. Typischerweise wird Sprache in Spielen von Synchronsprechern vorab aufgezeichnet, aber diese sind auf vorab aufgezeichnete vorgefertigte Reden beschränkt. Mit dem generativen KI-Dialog können Charaktere alles sagen – was bedeutet, dass sie vollständig auf das reagieren können, was die Spieler tun. Kombiniert mit intelligenteren KI-Modellen für NPCs (außerhalb des Rahmens dieses Blogs, aber derzeit ein ebenso aufregendes Innovationsgebiet) wird das Versprechen von Spielen, die vollständig auf Spieler reagieren, bald kommen.
• Rollenspiel. Viele Spieler möchten als Fantasy-Charaktere spielen, die wenig Ähnlichkeit mit ihrer Identität in der realen Welt haben. Diese Fantasie bricht jedoch zusammen, sobald die Spieler mit ihrer eigenen Stimme sprechen. Die Verwendung einer generierten Stimme, die zum Avatar des Spielers passt, hält diese Illusion aufrecht.
  Kontrolle. Während die Sprache erzeugt wird, können Sie die Nuancen der Stimme wie Tambre, Tonfall, emotionale Resonanz, Phonemlänge, Akzente und mehr steuern.
• Lokalisierung Ermöglicht das Übersetzen von Dialogen in jede Sprache und das Sprechen mit derselben Stimme. Unternehmen mögen Deepdub sind speziell auf diese Nische fokussiert.

INHALTSVERZEICHNIS

NPCs oder Spielercharaktere

Viele Startups erwägen die Verwendung von generativer KI, um glaubwürdige Charaktere zu erstellen, mit denen Sie interagieren können, teilweise weil dies ein Markt mit einer so breiten Anwendbarkeit außerhalb von Spielen ist, wie z. B. virtuelle Assistenten oder Rezeptionisten.

Die Bemühungen, glaubwürdige Charaktere zu erschaffen, gehen auf die Anfänge der KI-Forschung zurück. Tatsächlich lautet die Definition des klassischen „Turing-Tests“ für künstliche Intelligenz, dass ein Mensch nicht in der Lage sein sollte, zwischen einem Chat-Gespräch mit einer KI und einem Menschen zu unterscheiden.

An diesem Punkt gibt es Hunderte von Unternehmen, die Allzweck-Chatbots bauen, von denen viele auf GPT-3-ähnlichen Sprachmodellen basieren. Eine kleinere Anzahl versucht speziell, Chatbots für Unterhaltungszwecke zu bauen, wie z Replika und Anima die versuchen, virtuelle Freunde aufzubauen. Das Konzept der Verabredung mit einer virtuellen Freundin, wie sie im Film Her erforscht wird, ist vielleicht näher als Sie denken.

Wir sehen jetzt die nächste Iteration dieser Chatbot-Plattformen, wie z Charisma.ai, Convai.com, oder Inworld.ai, das dazu gedacht ist, vollständig gerenderte 3D-Charaktere mit Emotionen und Handlungsfähigkeit zu versorgen, mit Tools, die es dem Ersteller ermöglichen, diesen Charakteren Ziele zu geben. Dies ist wichtig, wenn sie in ein Spiel passen oder einen narrativen Platz haben, um die Handlung voranzutreiben, anstatt nur Schaufensterdekoration zu sein.

INHALTSVERZEICHNIS

All-in-One-Plattformen

Eines der erfolgreichsten generativen KI-Tools überhaupt ist Runwayml.com, weil es eine breite Palette von Creator-Tools in einem einzigen Paket vereint. Derzeit gibt es keine solche Plattform für Videospiele, und wir denken, dass dies eine übersehene Gelegenheit ist. Wir würden gerne in eine Lösung investieren, die Folgendes bietet:

• Vollständiger Satz generativer KI-Tools, die den gesamten Produktionsprozess abdecken. (Code, Asset-Generierung, Texturen, Audio, Beschreibungen usw.)
• Eng integriert mit beliebten Spiele-Engines wie Unreal und Unity.
• Entwickelt, um in eine typische Spielproduktionspipeline zu passen.

INHALTSVERZEICHNIS

Zusammenfassung

Dies ist eine unglaubliche Zeit, um ein Spieleentwickler zu sein! Teilweise dank der in diesem Blogbeitrag beschriebenen Tools war es noch nie so einfach, die zum Erstellen eines Spiels erforderlichen Inhalte zu generieren – selbst wenn Ihr Spiel so groß ist wie der gesamte Planet!

Es ist sogar möglich, sich eines Tages ein vollständig personalisiertes Spiel vorzustellen, das nur für den Spieler erstellt wurde und genau auf den Wünschen des Spielers basiert. In der Science-Fiction gibt es das schon lange – wie das „AI Mind Game“ in Ender's Game oder das Holodeck in Star Trek. Aber da sich die in diesem Blogbeitrag beschriebenen Tools so schnell weiterentwickeln, ist es nicht schwer vorstellbar, dass diese Realität gleich um die Ecke ist.

Wenn Sie ein Gründer oder potenzieller Gründer sind, der daran interessiert ist, ein Unternehmen für KI für Spiele aufzubauen, wenden Sie sich bitte an uns! Wir wollen von dir hören!