Tekoälyn käyttäminen 3D-mallien luomiseen

Monet digitaaliset taiteilijat, arkkitehdit, insinöörit ja pelien kehittäjät luottavat nykyään 3D-malleihin. Näiden digitaalisten objektien luominen on kuitenkin usein aikaa vievä ja monimutkainen prosessi. Uudet tekoälymallit voivat tarjota ratkaisun.

Tekoälyn luoma taide on viime aikoina saavuttanut paljon mainetta, vaikkakin lähinnä 2D-kuvien muodossa. Nyt useat yritykset ovat julkistaneet koneoppimisohjelmiston, joka voi mennä askeleen pidemmälle muuttamalla viitetekstiä tai -kuvia 3D-malleiksi.

Generatiivinen tekoäly tänään

Syyskuussa 2022 Google julkisti tekstistä 3D-mallin nimeltään DreamFusion. Tämä algoritmi perustuu aiempaan Dream Fields -algoritmiin, joka julkaistiin vuonna 2021 ja jossa tutkijat harjoittelivat kirjastoa, jossa on tekstitunnisteilla varustettuja 3D-malleja. DreamFusion ei kuitenkaan tarvitse olemassa olevia 3D-malleja ymmärtääkseen pyyntöjäsi, mikä tekee siitä paljon käytännöllisemmän.

Kaksi kuukautta myöhemmin näytönohjainjätti Nvidia julkaisi samanlaisen mallin. Heidän ohjelmistonsa, nimeltään Magic3D, on lähes identtinen ulkopuolelta katsottuna. Kirjoitat haluamasi 3D-mallin kuvauksen, ja algoritmi hahmontaa sellaisen. Nvidian ratkaisu väittää kuitenkin olevan kaksi kertaa nopeampi.

Kolmas merkittävä 3D-generatiivinen tekoäly, jonka löydät tänään, tulee OpenAI:lta, ChatGPT:n ja Dall-E:n tekijöiltä. Tämä malli, Point-E, luo myös 3D-renderöinnit tekstistä, mutta voi tehdä sen niin nopeasti kuin XNUMX-XNUMX minuuttia yhdellä GPU:lla.

"Point-E luo 3D-renderöinnit tekstistä vain yhdestä kahdessa minuutissa yhdellä grafiikkasuorittimella." 

Kuinka generatiiviset 3D-mallit toimivat

Vaikka kaikilla kolmella suurella 3D-malleja luovalla tekoälyratkaisulla on ainutlaatuisia etuja ja erityisiä lähestymistapoja, ne noudattavat samaa yleistä prosessia. Tässä on lähempi tarkastelu näiden algoritmien toiminnasta.

Tekoälyn koulutus referensseistä

Varhaiset lähestymistavat tällaiseen tekoälyyn, kuten Dream Fields, kouluttivat heitä käyttämään 3D-malleja ja niiden tekstitunnisteita. Tämä ei kuitenkaan jätä heille paljon harjoitusdataa, mikä rajoittaa niiden soveltamisalaa. Siksi uudemmat mallit oppivat luomaan 3D-malleja merkityistä 2D-kuvista.

Tämän päivän 3D-malleja luova tekoäly alkaa tekstistä kuvaksi -algoritmeina. Tästä syystä koulutuksen ensimmäinen vaihe on syöttää sille merkittyjä 2D-kuvia, kuten koiran kuvaa, jonka mukana on teksti "koira". Nämä tiedot ovat paljon helpommin saatavilla, kun pelkkä ImageNet isännöi enemmän kuin 14 miljoonaa merkittyjä kuvia, joten se on parempi tapa kouluttaa tekoälyä.

Ennen pitkää sinulla pitäisi olla malli, joka voi yhdistää 2D-kuvat tekstikuvauksiin melko tarkasti. Voit sitten siirtyä sen opettamiseen muuttaaksesi ne 3D-hahmonnuksiksi.

"3D-malleja luova tekoäly alkaa tekstistä kuvaksi -algoritmeina." 

interpolointi

Seuraava vaihe 3D-mallien luomisessa tekoälyllä on interpolointi. Tämä on prosessi, jossa yhdistetään useita 2D-kuvia samasta aiheesta eri kulmista 3D-version tuottamiseksi.

Taustalla oleva tekniikka, joka mahdollistaa tämän prosessin, on hermosäteilykenttä (NeRF). NeRF:t ovat hermoverkkoja, jotka tarkastelevat kohteen useita näkymiä ja määrittävät, missä kukin katselukulma on avaruudessa. He voivat sitten yhdistää ne yhteen ja tasoittaa alueita, joilla eri näkymät menevät päällekkäin, jolloin saadaan yhtenäinen 3D-malli.

Perinteisesti NeRF:t toimivat käyttämällä kuvia kohteesta useista kulmista. Tekstistä 3D-malliin ne kuitenkin luovat omat 2D-kuvansa eri kulmista ennen niiden yhdistämistä. Kuten arvata saattaa, tämä on erittäin monimutkainen prosessi, mutta viimeaikaiset edistysaskeleet ovat tehneet siitä paljon nopeamman.

3D-mallien optimointi

Tuote, jonka saat yhdestä kierrosta jonkin näistä NeRF:istä, on todennäköisesti matalaresoluutioinen ja saattaa sisältää virheitä. Tästä syystä on tärkeää puhdistaa ja optimoida kaikki interpolointiprosessin jälkeen tulevat 3D-mallit.

Jotkut tekoälyratkaisut nykyään, kuten Googlen DreamFusion, suorittavat renderöinnin useiden interpolointiprosessien läpi poistaakseen kohinan ja parantaakseen resoluutiota. Nvidian Magic3D käyttää toinen diffuusiomalli joka vähentää kohinaa ja tarkentaa sitä alkuperäisen 2D:n mukaan sen resoluution nostamiseksi.

Jopa tämän optimoinnin jälkeen saatat joutua puhdistamaan mallit. Siksi nämä ratkaisut esittävät ne säädettävänä tiedostona, jota voit muokata muuttaaksesi niiden resoluutiota, muotoa, väriä, valaistusta ja muita tekijöitä.

Rajoitukset ja mahdollisuudet

Aivan kuten kodin automaatiojärjestelmät tekevät turvallisuudesta mukavampaa ja helpompaa, 3D-kuvien luomisen automatisointi voi virtaviivaistaa monia työnkulkuja. Taiteilijat voivat kehittää pelejä tai luoda digitaalisia kohtauksia paljon nopeammin Mitä tulee elokuviin, sillä he eivät käyttäisi niin paljon aikaa mallien luomiseen. Rakentamisen aikajanat voivat myös lyhentyä, koska arkkitehdit luovat 3D-piirustuksia lyhyemmässä ajassa.

Näihin algoritmeihin liittyy kuitenkin edelleen joitakin huolenaiheita. Tekoälyn tuottama taide kokonaisuutena on joutunut tulen kohteeksi, koska joidenkin taiteilijoiden töitä on ilmaantunut koulutusaineistoihin ilman heidän lupaansa, mikä on avannut oven tekijänoikeuksille ja eettisille hankaluuksille. Toiset pelkäävät, että nämä työkalut voivat uhata ihmistaiteilijoiden työllisyyttä ja palkkaa.

Tekoälytaiteen kasvaessa sitä rakentavien ja käyttävien yritysten on otettava huomioon nämä ongelmat. Harkittavalla, ihmiskeskeisellä lähestymistavalla nämä mallit voivat kuitenkin olla vallankumouksellisia työkaluja, jotka auttavat taiteilijoita työskentelemään, eivät korvaa niitä.

"3D-kuvien luomisen automatisointi voi virtaviivaistaa monia työnkulkuja." 

Tekoäly voi mullistaa 3D-renderöinnin

Tekoäly siirtyi 2D-kuvien luomisesta 3D-mallien hahmontamiseen suhteellisen lyhyessä ajassa. Tämä edistysaskel avaa oven vaikuttavalle valikoimalle mahdollisuuksia, kunhan datatieteilijät ja loppukäyttäjät lähestyvät tekniikkaa huolellisesti.

Tekoälyn 3D-mallien sukupolvi saattaa mullistaa digitaalisen taiteen ja suunnittelun vielä alkuvaiheissaan. Toimialat arkkitehtuurista elokuvantekoon voivat tehostua tämän seurauksena.

Lue myös Tuleeko koneista taiteellisempia kuin ihmiset