De generatieve AI-revolutie in games

Om te begrijpen hoe radicaal gaming op het punt staat te worden getransformeerd door generatieve AI, hoeft u niet verder te zoeken dan dit recente Twitter bericht by @emanuel_2m. In deze post verkent hij het gebruik van Stable Diffusion + Dreambooth, populaire 2D Generative AI-modellen, om afbeeldingen van drankjes te genereren voor een hypothetisch spel.

Het transformatieve aan dit werk is niet alleen dat het tijd en geld bespaart terwijl het ook kwaliteit levert - waarmee het klassieke "je kunt er maar twee hebben van kosten, kwaliteit of snelheid"-driehoek doorbreekt. Kunstenaars maken nu binnen enkele uren afbeeldingen van hoge kwaliteit, die anders weken zouden kosten om met de hand te genereren. Wat echt transformerend is, is dat:

• Deze creatieve kracht is nu beschikbaar voor iedereen die een paar eenvoudige tools kan leren.
• Deze tools kunnen op een zeer iteratieve manier een eindeloos aantal variaties creëren.
• Eenmaal getraind, is het proces real-time - de resultaten zijn vrijwel onmiddellijk beschikbaar.

Sinds real-time 3D is er geen technologie geweest die zo revolutionair is voor gaming. Besteed op elk moment tijd aan het praten met gamemakers, en het gevoel van opwinding en verwondering is voelbaar. Dus waar gaat deze technologie heen? En hoe zal het gamen transformeren? Maar laten we eerst eens kijken wat generatieve AI is?

INHOUDSOPGAVE

Wat is generatieve AI

Generatieve AI is een categorie van machine learning waarbij computers originele nieuwe inhoud kunnen genereren als reactie op aanwijzingen van de gebruiker. Tegenwoordig zijn tekst en afbeeldingen de meest volwassen toepassingen van deze technologie, maar er is werk aan de gang in vrijwel elk creatief domein, van animatie tot geluidseffecten, tot muziek, tot zelfs het creëren van virtuele karakters met volledig uitgewerkte persoonlijkheden.

AI is natuurlijk niets nieuws in games. Zelfs vroege games, zoals Atari's Pong, hadden computergestuurde tegenstanders om de speler uit te dagen. Deze virtuele vijanden hadden echter geen AI zoals we die nu kennen. Het waren gewoon gescripte procedures die waren gemaakt door game-ontwerpers. Ze simuleerden een kunstmatig intelligente tegenstander, maar ze konden niet leren, en ze waren maar zo goed als de programmeurs die ze hadden gebouwd.

Wat nu anders is, is de hoeveelheid rekenkracht die beschikbaar is, dankzij snellere microprocessors en de cloud. Met deze kracht is het mogelijk om grote neurale netwerken te bouwen die patronen en representaties in zeer complexe domeinen kunnen identificeren.

Deze blogpost bestaat uit twee delen:

• Deel I bestaat uit onze observaties en voorspellingen op het gebied van Generatieve AI voor games.
• Deel II is onze marktkaart van de ruimte, waarin de verschillende segmenten worden geschetst en de belangrijkste bedrijven in elk worden geïdentificeerd.

INHOUDSOPGAVE

Veronderstellingen

Laten we eerst eens kijken naar enkele aannames die ten grondslag liggen aan de rest van deze blogpost:

1. De hoeveelheid onderzoek die wordt gedaan in het algemeen AI zal blijven groeien, waardoor steeds effectievere technieken ontstaan

Bekijk deze grafiek van het aantal academische papers dat is gepubliceerd over machine learning of kunstmatige intelligentie in de arXiv-archief elke maand:

Zoals u kunt zien, groeit het aantal kranten exponentieel, zonder tekenen van vertraging. En dit omvat alleen gepubliceerde artikelen - veel van het onderzoek wordt zelfs nooit gepubliceerd en gaat rechtstreeks naar open source-modellen of product-R&D. Het resultaat is een explosie van interesse en innovatie.

2. Van alle entertainment zullen games het meest worden beïnvloed door generatieve AI

Games zijn de meest complexe vorm van entertainment, gezien het enorme aantal soorten activa (2D-kunst, 3D-kunst, geluidseffecten, muziek, dialoog, enz.). Games zijn ook het meest interactief, met een sterke nadruk op real-time ervaringen. Dit creëert een steile toetredingsdrempel voor nieuwe game-ontwikkelaars, evenals hoge kosten om een ​​moderne game te maken die bovenaan de hitlijsten staat. Het creëert ook een geweldige kans voor verstoring van generatieve AI.

Beschouw een spel als Red Dead Redemption 2, een van de duurste games ooit geproduceerd, die bijna $ 500 miljoen kostte om te maken. Het is gemakkelijk te zien waarom - het heeft een van de mooiste, volledig gerealiseerde virtuele werelden van alle games op de markt. Het duurde ook bijna 8 jaar om te bouwen, bevat meer dan 1,000 niet-speelbare personages (elk met zijn eigen persoonlijkheid, artwork en stemacteur), een wereld van bijna 30 vierkante kilometer groot, meer dan 100 missies verdeeld over 6 hoofdstukken, en bijna 60 uur muziek gemaakt door meer dan 100 muzikanten. Alles aan dit spel is groot.

Vergelijk nu Red Dead Redemption 2 met Microsoft Flight Simulator, wat niet alleen groot is, het is enorm. Microsoft Flight Simulator stelt spelers in staat om rond de hele planeet Aarde te vliegen, alle 197 miljoen vierkante mijl ervan. Hoe heeft Microsoft zo'n enorm spel gebouwd? Door een AI het te laten doen. Microsoft werkte samen met blackshark.ai, en trainde een AI om genereer een fotorealistische 3D-wereld uit 2D-satellietbeelden.

Dit is een voorbeeld van een game die letterlijk onmogelijk te bouwen zou zijn geweest zonder het gebruik van AI, en die bovendien profiteert van het feit dat deze modellen in de loop van de tijd voortdurend kunnen worden verbeterd. Ze kunnen bijvoorbeeld het 'snelweg klaverbladviaduct'-model verbeteren, het hele bouwproces opnieuw uitvoeren en plotseling zijn alle snelwegviaducten op de hele planeet verbeterd.

3. Er komt een generatief AI-model voor elk activum dat betrokken is bij de productie van games

Tot nu toe hebben 2D-beeldgeneratoren zoals Stable Diffusion of MidJourney het grootste deel van de populaire opwinding over Generative AI weten te vangen vanwege de opvallende aard van de beelden die ze kunnen genereren. Maar er zijn al generatieve AI-modellen voor vrijwel alle middelen die bij games betrokken zijn, van 3D-modellen tot personage-animaties, tot dialogen en muziek. De tweede helft van deze blogpost bevat een marktkaart met een aantal bedrijven die zich op elk type inhoud richten.

4. De prijs van inhoud zal dramatisch dalen en in sommige gevallen zelfs tot nul gaan.

Wanneer we praten met game-ontwikkelaars die experimenteren met het integreren van generatieve AI in hun productiepijplijn, is de grootste opwinding over de dramatische vermindering van tijd en kosten. Een ontwikkelaar heeft ons verteld dat hun tijd om concept art te genereren voor een enkel beeld, van begin tot eind, is gedaald van 3 weken naar een enkel uur: een reductie van 120 naar 1. Wij geloven dat vergelijkbare besparingen mogelijk zullen zijn in de gehele productiepijplijn.

Voor alle duidelijkheid: artiesten lopen geen gevaar om vervangen te worden. Het betekent wel dat artiesten niet langer al het werk zelf hoeven te doen: ze kunnen nu de eerste creatieve richting bepalen en vervolgens een groot deel van de tijdrovende en technische uitvoering overlaten aan een AI. Hierin zijn ze als celschilders uit de begintijd van handgetekende animatie waarin zeer bekwame "inkkers" de contouren van animatie tekenden, en vervolgens legers van goedkopere "schilders" het tijdrovende werk zouden doen van het schilderen van de animatie. animatiecellen, de lijnen invullen. Het is de "auto-complete" voor het maken van games.

5. We staan ​​nog in de kinderschoenen van deze revolutie en veel praktijken moeten nog worden verfijnd

Ondanks alle opwinding van de afgelopen tijd staan ​​we nog maar aan het begin. Er ligt een enorme hoeveelheid werk voor de boeg terwijl we uitzoeken hoe we deze nieuwe technologie voor games kunnen gebruiken, en er zullen enorme kansen worden gecreëerd voor bedrijven die snel naar deze nieuwe ruimte verhuizen.

INHOUDSOPGAVE

Voorspellingen

Gezien deze aannames, zijn hier enkele voorspellingen over hoe de game-industrie kan worden getransformeerd:

1. Leren hoe u generatieve AI effectief kunt gebruiken, wordt een verkoopbare vaardigheid

We zien nu al dat sommige onderzoekers generatieve AI effectiever gebruiken dan andere. Om optimaal gebruik te maken van deze nieuwe technologie, moet u een verscheidenheid aan tools en technieken gebruiken en weten hoe u daartussen kunt schakelen. We voorspellen dat dit een verkoopbare vaardigheid zal worden, waarbij de creatieve visie van een artiest wordt gecombineerd met de technische vaardigheden van een programmeur.

Chris Anderson staat bekend om zijn uitspraak: "Elke overvloed creëert een nieuwe schaarste." Naarmate inhoud overvloediger wordt, denken we dat het de artiesten zijn die weten hoe ze het meest kunnen samenwerken en effectief kunnen werken met de AI-tools die het meest schaars zullen zijn.

Het gebruik van generatieve AI voor productieillustraties brengt bijvoorbeeld speciale uitdagingen met zich mee, waaronder:

• Samenhang. Met elk productiemiddel moet u later wijzigingen of bewerkingen aan het middel kunnen aanbrengen. Met een AI-tool betekent dit dat u het asset met dezelfde prompt moet kunnen reproduceren, zodat u vervolgens wijzigingen kunt aanbrengen. Dit kan lastig zijn, omdat dezelfde prompt enorm verschillende resultaten kan genereren.
• Stijl. Het is belangrijk dat alle kunst in een bepaald spel een consistente stijl heeft - wat betekent dat je tools moeten worden getraind op of anderszins moeten worden gekoppeld aan je bepaalde stijl.

2. Het verlagen van barrières zal resulteren in meer risicobereidheid en creatieve verkenning

Mogelijk gaan we binnenkort een nieuwe "gouden eeuw" van game-ontwikkeling in, waarin een lagere toetredingsdrempel resulteert in een explosie van meer innovatieve en creatieve games. Niet alleen omdat lagere productiekosten resulteren in een lager risico, maar omdat deze tools de mogelijkheid ontsluiten om inhoud van hoge kwaliteit te creëren voor een breder publiek. Dat leidt tot de volgende voorspelling...

3. Een toename van AI-ondersteunde "microgame-studio's"

Gewapend met Generative AI-tools en -services, zullen we meer levensvatbare commerciële games gaan zien die worden geproduceerd door kleine "microstudio's" van slechts 1 of 2 werknemers. Het idee van een kleine indie-gamestudio is niet nieuw - hitgame Onder ons is gemaakt door studio Innersloth met slechts 5 werknemers - maar de omvang en schaal van de games die deze kleine studio's kunnen maken, zal groeien. Dit zal resulteren in…

4. Een toename van het aantal games dat elk jaar wordt uitgebracht

Het succes van Unity en Roblox heeft aangetoond dat het bieden van krachtige creatieve tools ertoe leidt dat er meer games worden gebouwd. Generatieve AI zal de lat nog verder verlagen, waardoor een nog groter aantal games ontstaat. De industrie heeft al te kampen met ontdekkingsuitdagingen – meer dan Er zijn 10,000 spellen toegevoegd aan Steam alleen al vorig jaar - en dit zal de ontdekking nog meer onder druk zetten. Maar we zullen ook zien…

5. Er zijn nieuwe speltypes gemaakt die vóór Generative AI niet mogelijk waren

We zullen zien dat er nieuwe gamegenres worden uitgevonden die simpelweg niet mogelijk waren zonder Generative AI. We hadden het al over de vluchtsimulator van Microsoft, maar er zullen geheel nieuwe genres worden uitgevonden die afhankelijk zijn van het in realtime genereren van nieuwe inhoud.

Overwegen pijlmancerdoor spreukenborstel. Dit is een RPG-game met door AI gemaakte personages voor vrijwel onbeperkte nieuwe gameplay.

We kennen ook een andere game-ontwikkelaar die AI gebruikt om spelers hun eigen in-game avatar te laten maken. Voorheen hadden ze een verzameling met de hand getekende avatarafbeeldingen die spelers konden mixen en matchen om hun avatar te maken - nu hebben ze dit helemaal weggegooid en genereren ze eenvoudigweg de avatarafbeelding uit de beschrijving van de speler. Spelers inhoud laten genereren via een AI is veiliger dan spelers hun eigen inhoud vanaf nul te laten uploaden, omdat de AI kan worden getraind om te voorkomen dat er aanstootgevende inhoud wordt gemaakt, terwijl spelers toch een groter gevoel van eigenaarschap krijgen.

6. Er zal waarde worden toegevoegd aan branchespecifieke AI-tools, en niet alleen aan fundamentele modellen

De opwinding en het geroezemoes rond basismodellen zoals Stable Diffusion en Midjourney genereren oogverblindende waarderingen, maar de aanhoudende stroom van nieuw onderzoek zorgt ervoor dat nieuwe modellen zullen komen en gaan naarmate nieuwe technieken worden verfijnd. Overweeg websitezoekverkeer naar 3 populaire generatieve AI-modellen: Dall-E, Midjourney en Stable Diffusion. Elk nieuw model komt aan de beurt in de spotlights.

Een alternatieve benadering kan zijn om op de industrie afgestemde suites met tools te bouwen die zich richten op de generatieve AI-behoeften van een bepaalde branche, met diepgaande kennis van een bepaald publiek en rijke integratie in bestaande productiepijplijnen (zoals Unity of Unreal voor games).

Een goed voorbeeld is Startbaan die is gericht op de behoeften van videomakers met AI-ondersteunde tools zoals videobewerking, verwijdering van groene schermen, inpainting en bewegingsregistratie. Dergelijke tools kunnen een bepaald publiek opbouwen en er geld mee verdienen, door in de loop van de tijd nieuwe modellen toe te voegen. We hebben nog geen suite zoals Runway voor games zien verschijnen, maar we weten dat het een ruimte van actieve ontwikkeling is.

7. Juridische uitdagingen komen eraan

Wat al deze generatieve AI-modellen gemeen hebben, is dat ze worden getraind met behulp van enorme datasets met inhoud, vaak gemaakt door het internet zelf te schrapen. Stable Diffusion is bijvoorbeeld getraind op meer dan 5 miljard afbeelding/bijschrift-paren, die van internet zijn gehaald.

Op dit moment beweren deze modellen te werken onder de "fair use" copyright-doctrine, maar dit argument is nog niet definitief getoetst in de rechtbank. Dat lijkt duidelijk juridische uitdagingen komen eraan wat waarschijnlijk het landschap van generatieve AI zal veranderen.

Het is mogelijk dat grote studio's concurrentievoordeel zoeken door bedrijfseigen modellen te bouwen op basis van interne inhoud waar ze duidelijk recht op hebben. Microsoft is hier bijvoorbeeld bijzonder goed gepositioneerd 23 first party studio's vandaag, en nog eens 7 erna de overname van Activision wordt afgerond.

8. De programmering zal niet zo diep worden verstoord als de artistieke inhoud - althans nog niet

Software-engineering is de andere grote kostenpost van game-ontwikkeling, maar zoals onze collega's van het a16z Enterprise-team in hun recente blogpost hebben gedeeld, Kunst is niet dood, het is gewoon machinaal gegenereerdvereist het genereren van code met een AI-model meer testen en verificatie en levert het dus een kleinere productiviteitsverbetering op dan het genereren van creatieve middelen. Codeertools zoals Copilot bieden misschien matige prestatieverbeteringen voor ingenieurs, maar zullen niet dezelfde impact hebben... in ieder geval niet snel.

INHOUDSOPGAVE

Aanbevelingen

Op basis van deze voorspellingen doen we de volgende aanbevelingen:

1. Begin nu met het verkennen van generatieve AI

Het zal even duren om erachter te komen hoe we de kracht van deze komende generatieve AI-revolutie volledig kunnen benutten. Bedrijven die nu starten, hebben later een voordeel. We kennen verschillende studio's die interne experimentele projecten hebben lopen om te onderzoeken hoe deze technieken de productie kunnen beïnvloeden.

2. Zoek naar kansen op de marktkaart

Sommige delen van onze marktkaart zijn al erg druk, zoals Animations of Speech & Dialog, maar andere gebieden zijn wijd open. We moedigen ondernemers die geïnteresseerd zijn in deze ruimte aan om hun inspanningen te concentreren op de gebieden die nog onontgonnen zijn, zoals "Runway for Games".

INHOUDSOPGAVE

Huidige stand van de markt

We hebben een marktkaart gemaakt om een ​​lijst vast te leggen van de bedrijven die we hebben geïdentificeerd in elk van deze categorieën waar we zien dat generatieve AI invloed heeft op games. Deze blogpost doorloopt elk van deze categorieën, legt het wat gedetailleerder uit en belicht de meest opwindende bedrijven in elke categorie.

INHOUDSOPGAVE

2D-beelden

Het genereren van 2D-afbeeldingen op basis van tekstprompts is al een van de meest toegepaste gebieden van generatieve AI. Hulpmiddelen zoals halverwege de reis, Stabiele diffusie en Dall-E 2 kunnen 2D-afbeeldingen van hoge kwaliteit uit tekst genereren en hebben hun weg naar gameproductie al gevonden in meerdere stadia van de gamelevenscyclus.

Concept kunst

Generatieve AI-tools zijn uitstekend in het "ideeren" of helpen niet-artiesten, zoals game-ontwerpers, concepten en ideeën zeer snel te verkennen om conceptillustraties te genereren, een belangrijk onderdeel van het productieproces. Een studio (en blijft anoniem) gebruikt bijvoorbeeld verschillende van deze tools samen om hun concept art-proces radicaal te versnellen, waarbij ze één dag nodig hebben om een ​​afbeelding te maken, wat voorheen drie weken zou duren.

• Ten eerste gebruiken hun game-ontwerpers Midjourney om verschillende ideeën te verkennen en afbeeldingen te genereren die ze inspirerend vinden.
• Deze worden overgedragen aan een professionele conceptartiest die ze samenvoegt en over het resultaat schildert om één samenhangend beeld te creëren - dat vervolgens wordt ingevoerd in Stable Diffusion om een ​​aantal variaties te creëren.
• Ze bespreken deze variaties, kiezen er een uit, schilderen handmatig enkele bewerkingen in en herhalen het proces totdat ze tevreden zijn met het resultaat.
• Geef in dat stadium dit beeld nog een laatste keer door aan Stable Diffusion om het te "opschalen" om het laatste kunstwerk te creëren.

2D Productie Art

Sommige studio's experimenteren al met het gebruik van dezelfde tools voor in-game productieillustraties. Hier is bijvoorbeeld een mooie les van Albert Bozesan over het gebruik van Stable Diffusion om in-game 2D-items te maken.

INHOUDSOPGAVE

3D-illustraties

3D-middelen zijn de bouwsteen van alle moderne games, evenals de aankomende metaverse. Een virtuele wereld, of spelniveau, is in wezen slechts een verzameling 3D-items, geplaatst en aangepast om de omgeving te bevolken. Het maken van een 3D-item is echter complexer dan het maken van een 2D-afbeelding en omvat meerdere stappen, waaronder het maken van een 3D-model en het toevoegen van texturen en effecten. Voor geanimeerde personages gaat het ook om het maken van een intern "skelet" en vervolgens het maken van animaties bovenop dat skelet.

We zien verschillende startups na elke fase van dit proces voor het maken van 3D-activa, inclusief het maken van modellen, personage-animatie en het bouwen van niveaus. Dit is echter nog geen opgelost probleem – nog geen van de oplossingen is klaar om volledig in de productie te worden geïntegreerd.

3D-middelen

Startups die het probleem van het maken van 3D-modellen proberen op te lossen, zijn onder meer Kaedim, Mirage en Hypothetisch. Ook grotere bedrijven kijken naar het probleem, waaronder die van Nvidia Krijg 3D en die van Autodesk ClipForge. Kaedim en Get3d zijn gericht op beeld-naar-3D; ClipForge en Mirage zijn gericht op tekst-naar-3D, terwijl Hypothetic geïnteresseerd is in zowel tekst-naar-3D-zoeken als beeld-naar-3D.

3D-texturen

Een 3D-model ziet er alleen zo realistisch uit als de textuur of materialen die op de mesh zijn aangebracht. Beslissen welke bemoste, verweerde steentextuur op een middeleeuws kasteelmodel moet worden toegepast, kan het uiterlijk en het gevoel van een scène volledig veranderen. Texturen bevatten metadata over hoe licht reageert op het materiaal (dwz ruwheid, glans, enz.). Door artiesten in staat te stellen eenvoudig texturen te genereren op basis van tekst- of beeldprompts, zal dit enorm waardevol zijn voor het verhogen van de iteratiesnelheid binnen het creatieve proces. Verschillende teams streven naar deze mogelijkheid, waaronder BariumAI, ponzu en ArmorLab.

Animatie

Het maken van geweldige animaties is een van de meest tijdrovende, dure en bekwame onderdelen van het maken van een game. Een manier om de kosten te verlagen en om meer realistische animaties te maken, is het gebruik van motion capture, waarbij je een acteur of danser in een motion capture-pak stopt en ze beweegt in een speciaal geïnstrumenteerd motion capture-podium.

We zien nu generatieve AI-modellen die animatie rechtstreeks uit een video kunnen vastleggen. Dit is veel efficiënter, zowel omdat het de noodzaak van een dure motion capture-installatie overbodig maakt, als omdat het betekent dat je animatie van bestaande video's kunt vastleggen. Een ander opwindend aspect van deze modellen is dat ze ook kunnen worden gebruikt om filters toe te passen op bestaande animaties, zoals ze er dronken, oud of gelukkig uit laten zien. Bedrijven die achter deze ruimte aan gaan, zijn onder meer Kinetix, Diepe beweging, Radicaal, Verplaats AI en Plak.

Levelontwerp en wereldopbouw

Een van de meest tijdrovende aspecten van het maken van games is het uitbouwen van de wereld van een game, een taak waarvoor generatieve AI zeer geschikt zou moeten zijn. Games zoals Minecraft, No Man's Sky en Diablo staan ​​al bekend om het gebruik van procedurele technieken om hun niveaus te genereren, waarin niveaus willekeurig worden gemaakt, elke keer anders, maar volgens de regels die zijn vastgelegd door de ontwerper van het niveau. Een groot verkoopargument van de nieuwe Unreal 5-game-engine is de verzameling procedurele hulpmiddelen voor het ontwerpen van een open wereld, zoals het plaatsen van bladeren.

We hebben een paar initiatieven in de ruimte gezien, zoals Promethean, MLXAR, of Meta's Bouwer Bot, en denken dat het slechts een kwestie van tijd is voordat generatieve technieken grotendeels procedurele technieken vervangen. Er is al een tijdje academisch onderzoek in de ruimte, waaronder generatieve technieken voor Minecraft or levelontwerp in Doom.

Een andere dwingende reden om uit te kijken naar generatieve AI-tools voor het ontwerpen van niveaus, is de mogelijkheid om niveaus en werelden in verschillende stijlen te creëren. Je zou je kunnen voorstellen om tools te vragen om een ​​wereld te creëren in het New York van de jaren 1920, versus de dystopische blade-runner-achtige toekomst, versus de Tolkien-achtige fantasiewereld.

De volgende concepten zijn gegenereerd door Midjourney met behulp van de prompt "een spelniveau in de stijl van ..."

Audio

Geluid en muziek maken een groot deel uit van de gameplay-ervaring. We beginnen te zien dat bedrijven generatieve AI gebruiken om audio te genereren als aanvulling op het werk dat al aan de grafische kant gebeurt.

Geluidseffecten

Geluidseffecten zijn een aantrekkelijke open ruimte voor AI. Er zijn geweest academische papers het idee verkennen om AI te gebruiken om "foley" in film te genereren (bijv. Voetstappen), maar tot nu toe weinig commerciële producten in gaming.

We denken dat dit slechts een kwestie van tijd is, aangezien het interactieve karakter van games dit een voor de hand liggende toepassing maakt voor generatieve AI, zowel het creëren van statische geluidseffecten als onderdeel van de productie ("laser gun sound, in de stijl van Star Wars"), en real-time interactieve geluidseffecten creëren tijdens runtime.

Overweeg zoiets eenvoudigs als het genereren van voetstapgeluiden voor het personage van de speler. De meeste games lossen dit op door een klein aantal vooraf opgenomen voetstapgeluiden op te nemen: lopen op gras, lopen op grind, rennen op gras, rennen op grind, enz. Deze zijn vervelend om te genereren en te beheren, en klinken repetitief en onrealistisch tijdens runtime.

Een betere aanpak zou een real-time generatief AI-model zijn voor foley-geluidseffecten, dat tijdens de vlucht geschikte geluidseffecten kan genereren, elke keer iets anders, die reageren op in-game parameters zoals grondoppervlak, gewicht van karakter, gang, schoeisel, enz.

Muziek

Muziek is altijd een uitdaging geweest voor games. Het is belangrijk, omdat het kan helpen de emotionele toon te zetten, net zoals bij film of televisie, maar aangezien games honderden of zelfs duizenden uren kunnen duren, kan het snel repetitief of vervelend worden. Vanwege de interactieve aard van games kan het ook moeilijk zijn voor de muziek om precies overeen te komen met wat er op een bepaald moment op het scherm gebeurt.

Adaptieve muziek is al meer dan twee decennia een onderwerp in game-audio en gaat helemaal terug tot Microsoft's "DirecteMuziek” systeem voor het maken van interactieve muziek. DirectMusic is nooit breed aangepast, grotendeels vanwege de moeilijkheid om in het formaat te componeren. Slechts een paar spellen, zoals die van Monolith Niemand leeft voor altijd, echt interactieve partituren gemaakt.

Nu zien we een aantal bedrijven die door AI gegenereerde muziek proberen te maken, zoals degelijk, Musico, harmonie, Oneindig album en Aiva. En hoewel sommige tools tegenwoordig, zoals Jukebox door Open AI, zijn zeer rekenintensief en kunnen niet in realtime worden uitgevoerd, de meerderheid kan in realtime worden uitgevoerd zodra het eerste model is gebouwd.

Spraak en Dialoog

Er zijn een groot aantal bedrijven die realistische stemmen proberen te creëren voor in-game personages. Dit is niet verwonderlijk gezien de lange geschiedenis van pogingen om computers een stem te geven door middel van spraaksynthese. Bedrijven omvatten Sonantisch, Coqui, Replica Studio's, lijken.ai, Leesspreker.ai, En nog veel meer.

Het gebruik van generatieve AI voor spraak heeft meerdere voordelen, wat deels verklaart waarom deze ruimte zo druk is.

• Genereer dialoog on-the-fly. Meestal wordt spraak in games vooraf opgenomen door stemacteurs, maar deze zijn beperkt tot vooraf opgenomen ingeblikte toespraken. Met generatieve AI-dialoog kunnen personages alles zeggen, wat betekent dat ze volledig kunnen reageren op wat spelers doen. Gecombineerd met intelligentere AI-modellen voor NPC's (buiten het bestek van deze blog, maar op dit moment een even opwindend gebied van innovatie), komt de belofte van games die volledig reactief zijn voor spelers binnenkort.
• Rollenspel. Veel spelers willen spelen als fantasiepersonages die weinig lijken op hun identiteit in de echte wereld. Deze fantasie breekt echter af zodra spelers in hun eigen stem spreken. Het gebruik van een gegenereerde stem die overeenkomt met de avatar van de speler houdt die illusie in stand.
  Controle. Terwijl de spraak wordt gegenereerd, kunt u de nuance van de stem regelen, zoals tambre, stembuiging, emotionele resonantie, foneemlengte, accenten en meer.
• Lokalisatie. Hiermee kunnen dialogen in elke taal worden vertaald en met dezelfde stem worden uitgesproken. Bedrijven houden van deepdub richten zich specifiek op deze niche.

INHOUDSOPGAVE

NPC's of spelerspersonages

Veel startups kijken naar het gebruik van generatieve AI om geloofwaardige personages te creëren waarmee je kunt communiceren, deels omdat dit een markt is met zo'n brede toepasbaarheid buiten games, zoals virtuele assistenten of receptionisten.

Pogingen om geloofwaardige personages te creëren gaan terug tot het begin van AI-onderzoek. In feite is de definitie van de klassieke "Turing-test" voor kunstmatige intelligentie dat een mens geen onderscheid zou moeten kunnen maken tussen een chatgesprek met een AI en een mens.

Op dit moment zijn er honderden bedrijven die chatbots voor algemene doeleinden bouwen, waarvan vele worden aangedreven door de GPT-3-achtige taalmodellen. Een kleiner aantal probeert specifiek chatbots te bouwen voor amusementsdoeleinden, zoals Replika en Anima die virtuele vrienden proberen op te bouwen. Het concept van daten met een virtuele vriendin, zoals onderzocht in de film Her, is misschien dichterbij dan je denkt.

We zien nu de volgende iteratie van deze chatbot-platforms, zoals charisma.ai, Convai. comof Inworld.ai, bedoeld om volledig gerenderde 3D-personages te voorzien van emoties en keuzevrijheid, met tools waarmee de maker deze personages doelen kan geven. Dit is belangrijk als ze in een game passen of een verhalende plek hebben om het plot vooruit te helpen, in plaats van puur als window dressing.

INHOUDSOPGAVE

Alles-in-één platformen

Een van de meest succesvolle generatieve AI-tools in het algemeen is Runwayml.com, omdat het een brede reeks tools voor makers samenbrengt in één pakket. Momenteel is er geen dergelijk platform voor videogames, en we denken dat dit een kans is die over het hoofd wordt gezien. We investeren graag in een oplossing met:

• Volledige set generatieve AI-tools voor het hele productieproces. (code, activageneratie, texturen, audio, beschrijvingen, enz.)
• Nauw geïntegreerd met populaire game-engines zoals Unreal en Unity.
• Ontworpen om te passen in een typische pijplijn voor gameproductie.

INHOUDSOPGAVE

Conclusie

Dit is een ongelooflijke tijd om een ​​game-maker te zijn! Mede dankzij de tools die in deze blogpost worden beschreven, is het nog nooit zo eenvoudig geweest om de content te genereren die nodig is om een ​​game te bouwen, zelfs als je game zo groot is als de hele planeet!

Het is zelfs mogelijk om je op een dag een volledig gepersonaliseerd spel voor te stellen, speciaal gemaakt voor de speler, gebaseerd op precies wat de speler wil. Dit is al heel lang in sciencefiction – zoals de "AI Mind Game" in Ender's Game of het holodek in Star Trek. Maar met de tools beschreven in deze blogpost die zo snel vooruitgaan als ze zijn, is het niet moeilijk voor te stellen dat deze realiteit om de hoek ligt.

Als u een oprichter of potentiële oprichter bent en geïnteresseerd bent in het bouwen van een AI for Gaming-bedrijf, neem dan contact met ons op! We willen van je horen!