Använda artificiell intelligens för att skapa 3D-modeller

Många digitala konstnärer, arkitekter, ingenjörer och spelutvecklare förlitar sig idag på 3D-modeller. Men att skapa dessa digitala objekt är ofta en tidskrävande och involverad process. Nya modeller av artificiell intelligens (AI) kan ge en lösning.

AI-genererad konst har blivit mycket känd på sistone, dock mestadels i form av 2D-bilder. Nu har flera företag annonserat mjukvara för maskininlärning som kan gå ett steg längre och förvandla referenstext eller bilder till 3D-designer.

Generativ AI idag

I september 2022, Google presenterade en text-till-3D-modell kallas DreamFusion. Denna algoritm bygger på en tidigare kallad Dream Fields, släppt 2021, där forskare tränade på ett bibliotek av 3D-modeller med textetiketter. DreamFusion behöver dock inte befintliga 3D-modeller för att förstå dina önskemål, vilket gör det mycket mer praktiskt.

Två månader senare släppte grafikkortsjätten Nvidia en liknande modell. Deras mjukvara, kallad Magic3D, är nästan identisk utifrån ett perspektiv. Du skriver in en beskrivning av den 3D-modell du vill ha, och algoritmen renderar en. Nvidias lösning säger sig dock vara dubbelt så snabb.

Den tredje stora 3D-generativa AI du hittar idag kommer från OpenAI, skaparna av ChatGPT och Dall-E. Denna modell, Point-E, skapar också 3D-renderingar från texten men kan göra det på så lite som en till två minuter på en enda GPU.

"Point-E skapar 3D-renderingar från en text på så lite som en till två minuter på en enda GPU." 

Hur 3D-generativa modeller fungerar

Även om alla tre stora 3D-modellgenererande AI-lösningar idag har unika fördelar och specifika tillvägagångssätt, följer de samma allmänna process. Här är en närmare titt på hur dessa algoritmer fungerar.

Utbildning av AI på referenser

Tidiga förhållningssätt till denna typ av AI, som Dream Fields, tränade dem på 3D-modeller och deras textetiketter. Men detta lämnar dem inte med mycket träningsdata, vilket begränsar deras omfattning. Det är därför nyare modeller lär sig att generera 3D-modeller från märkta 2D-bilder istället.

Dagens 3D-modellgenererande AI börjar som text-till-bild-algoritmer. Följaktligen är det första steget i träningen att mata den märkta 2D-bilder, som en bild på en hund med den åtföljande texten "hund". Denna data är mycket mer tillgänglig, med ImageNet enbart värd mer än 14 miljoner märkta bilder, så det är ett bättre sätt att träna AI.

Snart bör du ha en modell som kan associera 2D-bilder med textbeskrivningar ganska exakt. Du kan sedan gå vidare till att lära den att omvandla dem till 3D-renderingar.

"3D-modellgenererande AI börjar som text-till-bild-algoritmer." 

Interpole

Nästa steg i att generera 3D-modeller med AI är en interpolation. Detta är processen att kombinera flera 2D-bilder av samma motiv från olika vinklar för att skapa en 3D-version.

Den underliggande teknologin som möjliggör denna process är ett neuralt strålningsfält (NeRF). NeRF är neurala nätverk som tittar på flera vyer av ett objekt och bestämmer var varje betraktningsvinkel finns i rymden. De kan sedan sätta ihop dem och jämna ut de områden där olika vyer överlappar varandra för att skapa en sammanhängande 3D-modell.

Traditionellt arbetar NeRFs med hjälp av foton av ett objekt från flera vinklar. I en text-till-3D-modell genererar de dock sina egna 2D-bilder från olika vinklar innan de kombineras. Som du kan förvänta dig är detta en anmärkningsvärt komplex process, men de senaste framstegen har gjort det mycket snabbare.

Optimera 3D-modeller

Produkten du får från ett pass genom en av dessa NeRF:er kommer sannolikt att vara lågupplöst och kan innehålla fel. Följaktligen är det viktigt att rensa upp och optimera alla 3D-modeller som kommer ut efter interpoleringsprocessen.

Vissa AI-lösningar idag, som Googles DreamFusion, kommer att passera renderingen genom flera interpolationsprocesser för att ta bort brus och förbättra upplösningen. Nvidias Magic3D använder en andra diffusionsmodell som minskar brus och förfinar det enligt den ursprungliga 2D för att höja dess upplösning.

Även efter denna optimering kan du behöva städa upp modellerna. Det är därför dessa lösningar presenterar dem som en justerbar fil som du kan redigera för att ändra deras upplösning, form, färg, ljussättning och andra faktorer.

Begränsningar och möjligheter

Precis som hemautomationssystem gör säkerheten mer bekväm och tillgänglig, kan automatiserad 3D-bildgenerering effektivisera många arbetsflöden. Artister kunde utveckla spel eller skapa digitala scener mycket snabbare när det kommer till filmer, eftersom de inte skulle lägga så mycket tid på att skapa modeller. Byggtidslinjer kan också förkortas eftersom arkitekter genererar 3D-ritningar på kortare tid.

Dessa algoritmer har dock fortfarande vissa bekymmer. AI-genererad konst som helhet har hamnat under eld eftersom vissa konstnärers verk har dykt upp i utbildningsdataset utan deras tillstånd, vilket öppnat dörren för upphovsrättsliga och etiska komplikationer. Andra fruktar att dessa verktyg kan hota anställning och betalning för mänskliga konstnärer.

När AI-konsten växer måste företagen som bygger och använder den överväga dessa komplikationer. Med ett genomtänkt, människocentrerat tillvägagångssätt kan dock dessa modeller vara revolutionerande verktyg för att hjälpa konstnärer att arbeta, inte ersätta dem.

"Automatisk generering av 3D-bilder kan effektivisera många arbetsflöden." 

Artificiell intelligens kan revolutionera 3D-rendering

AI gick från att generera 2D-bilder till att rendera 3D-modeller på relativt kort tid. Detta steg framåt öppnar dörren till ett imponerande utbud av möjligheter så länge datavetare och slutanvändare närmar sig tekniken noggrant.

Även om den fortfarande är i ett tidigt skede, kan generering av AI 3D-modeller revolutionera digital konst och design. Branscher från arkitektur till filmskapande skulle kunna bli mer effektiva som ett resultat.

Läs också Kommer maskiner att bli mer konstnärliga än människor