Tehisintellekti kasutamine 3D-mudeli kavandite loomiseks

Paljud digitaalsed kunstnikud, arhitektid, insenerid ja mängude arendajad toetuvad tänapäeval 3D-mudelitele. Nende digitaalsete objektide loomine on aga sageli aeganõudev ja kaasatud protsess. Uued tehisintellekti (AI) mudelid võivad pakkuda lahendust.

AI-ga loodud kunst on viimasel ajal palju tuntust kogunud, kuigi enamasti 2D-kujutiste kujul. Nüüd on mitmed ettevõtted teatanud masinõppetarkvarast, mis võib minna sammu kaugemale, muutes viiteteksti või -pildid 3D-kujunduseks.

Generatiivne AI täna

2022. aasta septembris Google avalikustas teksti-3D-mudeli nimega DreamFusion. See algoritm tugineb eelmisele, 2021. aastal välja antud unistuste väljadele, mille käigus teadlased koolitasid tekstisiltidega 3D-mudelite raamatukogu. DreamFusion aga ei vaja teie taotluste mõistmiseks olemasolevaid 3D-mudeleid, muutes selle palju praktilisemaks.

Kaks kuud hiljem andis graafikakaardihiiglane Nvidia välja sarnase mudeli. Nende tarkvara, mille nimi on Magic3D, on välisest vaatenurgast peaaegu identne. Sisestate soovitud 3D-mudeli kirjelduse ja algoritm renderdab selle. Nvidia lahendus väidab aga olevat kaks korda kiirem.

Kolmas suur 3D generatiivne AI, mille täna leiate, pärineb OpenAI-lt, ChatGPT ja Dall-E tegijatelt. See mudel Point-E loob tekstist ka 3D-renderdusi, kuid suudab seda teha niipea kui üks kuni kaks minutit ühel GPU-l.

"Punkt E loob tekstist 3D-renderduse ühe kuni kahe minutiga ühel GPU-l." 

Kuidas 3D generatiivsed mudelid töötavad

Kuigi kõigil kolmel suurel 3D-mudeleid looval AI-lahendusel on tänapäeval ainulaadsed eelised ja spetsiifilised lähenemisviisid, järgivad nad sama üldist protsessi. Siin on nende algoritmide tööpõhimõtted.

AI koolitamine viidete alal

Varased lähenemised seda tüüpi tehisintellektile, nagu Dream Fields, õpetasid neid 3D-mudelite ja nende tekstisiltide osas. Kuid see ei jäta neile palju treeningandmeid, piirates nende ulatust. Seetõttu õpivad uuemad mudelid hoopis märgistatud 3D-piltidest 2D-mudeleid genereerima.

Tänapäeva 3D-mudelit genereeriv AI algab teksti-pildiks algoritmidest. Järelikult on koolituse esimene etapp talle söötmine märgistatud 2D-kujutistega, nagu koera pilt koos tekstiga "koer". Need andmed on palju paremini juurdepääsetavad, kui majutab ainult ImageNet rohkem kui 14 miljonit märgistatud pilte, nii et see on parem viis tehisintellekti treenimiseks.

Varsti peaks teil olema mudel, mis suudab 2D-kujutisi tekstikirjeldustega üsna täpselt seostada. Seejärel saate jätkata selle õpetamisega, et muuta need 3D-renderdusteks.

"3D-mudelit genereeriv AI algab teksti-pildiks algoritmidest." 

Interpoleerimine

Järgmine samm AI-ga 3D-mudelite loomisel on interpoleerimine. See on 2D-versiooni saamiseks sama objekti mitme 3D-pildi kombineerimine erinevatest nurkadest.

Alustehnoloogia, mis seda protsessi võimaldab, on neuraalne kiirgusväli (NeRF). NeRF-id on närvivõrgud, mis vaatavad objekti mitut vaadet ja määravad kindlaks, kus iga vaatenurk ruumis eksisteerib. Seejärel saavad nad need kokku panna, siludes alad, kus erinevad vaated kattuvad, et luua ühtne 3D-mudel.

Traditsiooniliselt töötavad NeRF-id, kasutades objekti fotosid mitme nurga alt. Tekst-3D-mudelis loovad nad aga oma 2D-pildid erinevate nurkade alt enne nende kombineerimist. Nagu arvata võis, on see märkimisväärselt keeruline protsess, kuid hiljutised edusammud on muutnud selle palju kiiremaks.

3D-mudelite optimeerimine

Toode, mille saate ühe neist NeRF-idest ühel läbimisel, on tõenäoliselt madala eraldusvõimega ja võib sisaldada vigu. Järelikult on oluline puhastada ja optimeerida kõik 3D-mudelid, mis ilmuvad pärast interpoleerimisprotsessi.

Mõned tänapäeval tehisintellektilahendused, nagu Google'i DreamFusion, läbivad müra eemaldamiseks ja eraldusvõime parandamiseks renderdamise mitme interpolatsiooniprotsessi kaudu. Nvidia Magic3D kasutab teine ​​difusioonimudel mis vähendab müra ja täpsustab seda vastavalt algsele 2D-le, et tõsta selle eraldusvõimet.

Isegi pärast seda optimeerimist peate võib-olla mudeleid puhastama. Seetõttu esitlevad need lahendused neid reguleeritava failina, mida saate muuta nende eraldusvõime, kuju, värvi, valgustuse ja muude tegurite muutmiseks.

Piirangud ja võimalused

Nii nagu koduautomaatikasüsteemid muudavad turvalisuse mugavamaks ja juurdepääsetavamaks, võib 3D-piltide genereerimise automatiseerimine muuta paljusid töövooge sujuvamaks. Kunstnikud võiksid arendada mänge või luua digitaalseid stseene palju kiiremini mis puudutab filme, sest nad ei kulutaks nii palju aega modelliloomele. Ehituse ajakava võib samuti lüheneda, kuna arhitektid loovad 3D-plaanid lühema ajaga.

Need algoritmid tekitavad siiski mõningaid probleeme. Tehisintellektiga loodud kunst tervikuna on sattunud kriitika alla, kuna mõnede kunstnike tööd on ilmunud koolitusandmetesse ilma nende loata, avades ukse autoriõiguste ja eetiliste komplikatsioonide tekkeks. Teised kardavad, et need tööriistad võivad ohustada inimkunstnike tööhõivet ja palka.

AI-kunsti kasvades peavad seda ehitavad ja kasutavad ettevõtted nende komplikatsioonidega arvestama. Läbimõeldud ja inimkeskse lähenemise korral võivad need mudelid olla revolutsioonilised tööriistad, mis aitavad kunstnikel töötada, mitte neid asendada.

"3D-piltide genereerimise automatiseerimine võib paljusid töövooge sujuvamaks muuta." 

Tehisintellekt võib 3D-renderdamises revolutsiooni teha

AI liikus 2D-piltide genereerimiselt 3D-mudelite renderdamisele suhteliselt lühikese aja jooksul. See samm edasi avab ukse muljetavaldavatele võimalustele seni, kuni andmeteadlased ja lõppkasutajad lähenevad tehnoloogiale hoolikalt.

Kuigi AI 3D-mudelite genereerimine võib alles algstaadiumis muuta digitaalkunsti ja disaini revolutsiooni. Selle tulemusel võivad tööstusharud arhitektuurist filminduseni muutuda tõhusamaks.

Samuti loe Kas masinad muutuvad kunstilisemaks kui inimesed?