Brug af kunstig intelligens til at generere 3D-modeldesign

Mange digitale kunstnere, arkitekter, ingeniører og spiludviklere er i dag afhængige af 3D-modeller. Men at skabe disse digitale objekter er ofte en tidskrævende, involveret proces. Nye kunstig intelligens (AI) modeller kan give en løsning.

AI-genereret kunst har vundet meget berømthed på det seneste, dog mest i form af 2D-billeder. Nu har flere virksomheder annonceret maskinlæringssoftware, der kan gå et skridt videre og forvandle referencetekst eller billeder til 3D-design.

Generativ AI i dag

I september 2022, Google afsløret en tekst-til-3D-model kaldet DreamFusion. Denne algoritme bygger på en tidligere kaldet Dream Fields, udgivet i 2021, hvor forskere trænede på et bibliotek af 3D-modeller med tekstetiketter. DreamFusion har dog ikke brug for eksisterende 3D-modeller for at forstå dine anmodninger, hvilket gør det langt mere praktisk.

To måneder senere udgav grafikkortgiganten Nvidia en lignende model. Deres software, kaldet Magic3D, er næsten identisk set udefra. Du indtaster en beskrivelse af den 3D-model, du ønsker, og algoritmen vil gengive en. Nvidias løsning hævder dog at være dobbelt så hurtig.

Den tredje store 3D generative AI, du finder i dag, kommer fra OpenAI, skaberne af ChatGPT og Dall-E. Denne model, Point-E, skaber også 3D-gengivelser fra teksten, men kan gøre det på så lidt som et til to minutter på en enkelt GPU.

"Point-E opretter 3D-gengivelser fra en tekst på så lidt som et til to minutter på en enkelt GPU." 

Sådan fungerer 3D-generative modeller

Mens alle tre store 3D-modelgenererende AI-løsninger i dag har unikke fordele og specifikke tilgange, følger de den samme generelle proces. Her er et nærmere kig på, hvordan disse algoritmer fungerer.

Træning af AI på referencer

Tidlige tilgange til denne form for kunstig intelligens, som Dream Fields, trænede dem i 3D-modeller og deres tekstetiketter. Dette efterlader dem dog ikke meget træningsdata, hvilket begrænser deres omfang. Derfor lærer nyere modeller i stedet at generere 3D-modeller ud fra mærkede 2D-billeder.

Dagens 3D-modelgenererende AI starter som tekst-til-billede-algoritmer. Det første trin i træningen er derfor at fodre den med mærkede 2D-billeder, som et billede af en hund med den ledsagende tekst "hund". Disse data er langt mere tilgængelige med ImageNet alene hosting mere end 14 millioner mærkede billeder, så det er en bedre måde at træne AI på.

Inden længe bør du have en model, der ret præcist kan forbinde 2D-billeder med tekstbeskrivelser. Du kan derefter gå videre til at lære det at omdanne dem til 3D-gengivelser.

"3D-modelgenererende AI starter som tekst-til-billede-algoritmer." 

interpolation

Det næste trin i at generere 3D-modeller med AI er en interpolation. Dette er processen med at kombinere flere 2D-billeder af det samme motiv fra forskellige vinkler for at producere en 3D-version.

Den underliggende teknologi, der muliggør denne proces, er et neuralt udstrålingsfelt (NeRF). NeRF'er er neurale netværk, der ser på flere visninger af et objekt og bestemmer, hvor hver betragtningsvinkel findes i rummet. De kan derefter sætte dem sammen og udjævne de områder, hvor forskellige visninger overlapper hinanden, for at producere en sammenhængende 3D-model.

Traditionelt arbejder NeRF'er ved hjælp af fotos af et objekt fra flere vinkler. I en tekst-til-3D-model genererer de dog deres egne 2D-billeder fra forskellige vinkler, før de kombinerer dem. Som du måske forventer, er dette en bemærkelsesværdig kompleks proces, men de seneste fremskridt har gjort det meget hurtigere.

Optimering af 3D-modeller

Produktet, du får fra én gang gennem en af ​​disse NeRF'er, vil sandsynligvis være i lav opløsning og kan indeholde fejl. Derfor er det vigtigt at rydde op og optimere alle 3D-modeller, der kommer ud efter interpolationsprocessen.

Nogle AI-løsninger i dag, som Googles DreamFusion, vil passere gengivelsen gennem flere interpolationsprocesser for at fjerne støj og forbedre opløsningen. Nvidias Magic3D bruger en anden diffusionsmodel der reducerer støj og forfiner den i henhold til den originale 2D for at øge dens opløsning.

Selv efter denne optimering skal du muligvis rydde op i modellerne. Det er derfor, disse løsninger præsenterer dem som en justerbar fil, som du kan redigere for at ændre deres opløsning, form, farve, belysning og andre faktorer.

Begrænsninger og muligheder

Ligesom hjemmeautomatiseringssystemer gør sikkerhed mere bekvem og tilgængelig, kan automatisering af 3D-billedgenerering strømline mange arbejdsgange. Kunstnere kunne udvikle spil eller skabe digitale scener meget hurtigere når det kommer til film, da de ikke ville bruge så meget tid på modelskabelse. Byggetidslinjer kan også forkortes, da arkitekter genererer 3D-tegninger på kortere tid.

Disse algoritmer rummer dog stadig nogle bekymringer. AI-genereret kunst som helhed er kommet under beskydning, fordi nogle kunstneres arbejde er dukket op i træningsdatasæt uden deres tilladelse, hvilket åbner døren for ophavsretlige og etiske komplikationer. Andre frygter, at disse værktøjer kan true beskæftigelse og betaling for menneskelige kunstnere.

Efterhånden som kunstig intelligens vokser, bliver de virksomheder, der bygger og bruger den, nødt til at overveje disse komplikationer. Med en tankevækkende, menneskecentreret tilgang kunne disse modeller dog være revolutionerende værktøjer til at hjælpe kunstnere med at arbejde, ikke erstatte dem.

"Automatisk generering af 3D-billeder kan strømline mange arbejdsgange." 

Kunstig intelligens kunne revolutionere 3D-gengivelse

AI gik fra at generere 2D-billeder til at gengive 3D-modeller på relativt kort tid. Dette skridt fremad åbner døren til en imponerende række af muligheder, så længe dataforskere og slutbrugere nærmer sig teknologien omhyggeligt.

Mens den stadig er i sine tidlige stadier, kan AI 3D-modelgenerering revolutionere digital kunst og design. Industrier fra arkitektur til filmproduktion kunne blive mere effektive som et resultat.

Læs også Vil maskiner blive mere kunstneriske end mennesker