Mesterséges intelligencia használata 3D modelltervek létrehozásához

Manapság sok digitális művész, építész, mérnök és játékfejlesztő támaszkodik a 3D-s modellekre. Ezeknek a digitális objektumoknak a létrehozása azonban gyakran időigényes, magával ragadó folyamat. Megoldást jelenthetnek az új mesterséges intelligencia (AI) modellek.

A mesterséges intelligencia által generált művészet az utóbbi időben nagy hírnévre tett szert, bár leginkább 2D-s képek formájában. Most már több vállalat bejelentette gépi tanulási szoftverét, amely egy lépéssel tovább mehet, és referenciaszöveget vagy képeket 3D-s tervekké alakíthat.

Generatív AI ma

2022 szeptemberében a Google bemutatott egy szöveg-3D modellt DreamFusion néven. Ez az algoritmus egy korábbi, 2021-ben kiadott Dream Fields nevű algoritmusra épül, amelyben a kutatók szöveges címkékkel ellátott 3D-s modellek könyvtárát képezték ki. A DreamFusionnak azonban nincs szüksége meglévő 3D-s modellekre, hogy megértse a kéréseit, így sokkal praktikusabb.

Két hónappal később a grafikus kártya óriás, az Nvidia kiadott egy hasonló modellt. A Magic3D névre keresztelt szoftverük kívülről nézve szinte teljesen azonos. Beírja a kívánt 3D-s modell leírását, és az algoritmus előállít egyet. Az Nvidia megoldása azonban kétszer olyan gyorsnak állítja magát.

A harmadik nagy 3D generatív mesterséges intelligencia, amelyet ma talál, az OpenAI-tól származik, a ChatGPT és a Dall-E gyártóitól. Ez a modell, a Point-E, szintén 3D-s rendereléseket hoz létre a szövegből, de ezt akár rövid idő alatt is megteheti. egy-két percig egyetlen GPU-n.

"A Point-E egy-két perc alatt 3D-s megjelenítést hoz létre egy szövegből egyetlen GPU-n." 

Hogyan működnek a 3D generatív modellek

Míg manapság mindhárom nagy 3D-s modellgeneráló AI-megoldás egyedi előnyökkel és sajátos megközelítéssel rendelkezik, ugyanazt az általános folyamatot követik. Íme egy közelebbi pillantás ezeknek az algoritmusoknak a működésére.

Az AI képzése a referenciákról

Az ilyen típusú mesterséges intelligencia korai megközelítései, mint például a Dream Fields, megtanították őket a 3D modellekre és azok szöveges címkéire. Ez azonban nem hagy sok edzési adatot, ami korlátozza a hatókörüket. Ez az oka annak, hogy az újabb modellek megtanulják 3D-s modelleket generálni címkézett 2D-s képekből.

A mai 3D-s modellgeneráló mesterséges intelligencia szöveg-kép algoritmusként indul. Következésképpen a kiképzés első szakasza 2D-s képek etetése, mint egy kutya kép, a kísérő szöveg „kutya” felirattal. Ezek az adatok sokkal könnyebben hozzáférhetők, egyedül az ImageNet tárhelyével több mint 14 millió címkézett képeket, így ez egy jobb módja az AI betanításának.

Hamarosan rendelkeznie kell egy olyan modellel, amely meglehetősen pontosan tudja társítani a 2D képeket a szöveges leírásokhoz. Ezután továbbtanulhatja annak tanítását, hogy ezeket 3D-s megjelenítésekké alakítsa.

"A 3D-s modellgeneráló mesterséges intelligencia szöveg-kép algoritmusként indul." 

interpoláció

A 3D modellek mesterséges intelligencia segítségével történő létrehozásának következő lépése az interpoláció. Ez az a folyamat, amikor több 2D-s képet kombinálnak ugyanarról a témáról különböző szögekből, hogy 3D-s változatot kapjanak.

A mögöttes technológia, amely lehetővé teszi ezt a folyamatot, egy neurális sugárzási mező (NeRF). A NeRF-ek olyan neurális hálózatok, amelyek egy objektum több nézetét nézik, és meghatározzák, hogy az egyes látószögek hol találhatók a térben. Ezt követően összerakhatják őket, kisimítva azokat a területeket, ahol a különböző nézetek átfedik egymást, így összefüggő 3D-s modellt hozhatnak létre.

Hagyományosan a NeRF-ek egy objektum több szögből készült fotóival működnek. Szöveg-3D modellben azonban saját 2D-s képeket generálnak különböző szögekből, mielőtt kombinálják őket. Amint az várható volt, ez egy rendkívül összetett folyamat, de a közelmúltbeli előrelépések sokkal gyorsabbá tették.

3D modellek optimalizálása

A termék, amelyet egy ilyen NeRF-en keresztül kap, valószínűleg alacsony felbontású lesz, és hibákat tartalmazhat. Következésképpen fontos megtisztítani és optimalizálni az interpolációs folyamat után megjelenő 3D modelleket.

Néhány mai mesterséges intelligencia-megoldás, például a Google DreamFusion, több interpolációs folyamaton megy keresztül a zaj eltávolítása és a felbontás javítása érdekében. Az Nvidia Magic3D-je egy második diffúziós modell amely csökkenti a zajt és finomítja az eredeti 2D szerint a felbontás növelése érdekében.

Előfordulhat, hogy az optimalizálás után is meg kell tisztítani a modelleket. Ezért ezek a megoldások állítható fájlként jelenítik meg őket, amelyek szerkesztésével módosíthatja felbontásukat, alakjukat, színüket, megvilágításukat és egyéb tényezőket.

Korlátozások és lehetőségek

Ahogy az otthoni automatizálási rendszerek kényelmesebbé és elérhetőbbé teszik a biztonságot, a 3D-s képkészítés automatizálása számos munkafolyamatot egyszerűsíthet. A művészek játékokat, ill sokkal gyorsabban hozhat létre digitális jeleneteket ami a filmeket illeti, mivel nem szánnának annyi időt modellalkotásra. Az építési határidők is lerövidülhetnek, mivel az építészek rövidebb idő alatt készítenek 3D-s tervrajzokat.

Ezek az algoritmusok azonban továbbra is aggályokat hordoznak. A mesterséges intelligencia által generált művészet egésze azért került kritika alá, mert egyes művészek munkái engedélyük nélkül megjelentek a képzési adatkészletekben, ami lehetőséget teremtett a szerzői jogi és etikai bonyodalmakra. Mások attól tartanak, hogy ezek az eszközök veszélyeztethetik az emberi művészek foglalkoztatását és fizetését.

Ahogy a mesterséges intelligencia művészete növekszik, az azt építő és használó cégeknek figyelembe kell venniük ezeket a bonyodalmakat. Átgondolt, emberközpontú megközelítéssel azonban ezek a modellek forradalmi eszközök lehetnek a művészek munkájában, nem pedig helyettesítésében.

„A 3D képgenerálás automatizálása számos munkafolyamatot egyszerűsíthet.” 

A mesterséges intelligencia forradalmasíthatja a 3D renderelést

A mesterséges intelligencia viszonylag rövid idő alatt a 2D-s képek generálásáról a 3D-s modellek renderelésére került. Ez a lépés a lehetőségek lenyűgöző tárháza előtt nyitja meg az ajtót mindaddig, amíg az adattudósok és a végfelhasználók óvatosan közelítenek a technológiához.

Még a kezdeti szakaszában az AI 3D modellgeneráció forradalmasíthatja a digitális művészetet és tervezést. Ennek eredményeként az építészettől a filmgyártásig hatékonyabbá válhatnak az iparágak.

Is, Olvassa el A gépek művészibbek lesznek, mint az emberek?